Import massivo di 2,5M di righe

di
Badwarez
il
4 risposte
B
Badwarez
Pochi posts
Iscritto da
set, 2022
Messaggi:
4

Import massivo di 2,5M di righe

Ciao a tutti,
sicuramente per voi sarà un problema semplice ma io al momento non riesco a trovare soluzione.
Devo importare nel DB circa 2,5 milioni di record.

Prima soluzione, 2,5 Milioni di Import in modo sequenziale, che implica circa 19 ore di runtime.
Seconda soluzione, import csv che da log in 10 ha importato 200 record.

Ci sono altri metodi più veloci ? O mi devo rassegnare ?

Grazie a tutti

Ciao

Badwarez

4 Risposte

  • P
    PiGi78
    Utente Attivo
    Iscritto da
    giu, 2021
    Messaggi:
    265

    Re: Import massivo di 2,5M di righe

    Ma le righe da dove devi importarle?

    Secondo me puoi usare una Bulk Insert (piu' veloce delle insert) oppure una LOAD DATA se devi leggere da file.
  • B
    Badwarez
    Pochi posts
    Iscritto da
    set, 2022
    Messaggi:
    4

    Re: Import massivo di 2,5M di righe

    Ho provato a caricarlo trami la lettura del file csv ma è troppo lento.

    Non sono a conoscenza del metodo Bulk Insert.
  • M
    migliorabile
    Super Famoso
    Iscritto da
    apr, 2013
    Messaggi:
    5865

    Re: Import massivo di 2,5M di righe

    In generale, un dbms apre una transazione e fa il COMMIT per OGNI INSERT.

    Una, commit e' un'operazione parecchio complicata e richiede tempo (millisecondi o secondi)

    Il trucco consiste nel gestire a mano la tranzazione e fare il commit ogni 1000 oppure 10000 record.

    in questo modo si riduce il numero di commit.

    La insert da CSV funziona esattamente così.
  • gian82
    gian82
    Molto attivo
    Iscritto da
    gen, 2015
    Messaggi:
    1190

    Re: Import massivo di 2,5M di righe

    Prova a dare un occhio all'inserimento di più righe per volta https://www.mysqltutorial.org/mysql-insert-multiple-rows/
Devi accedere o registrarti per scrivere nel forum
4 risposte