Import massivo di 2,5M di righe

di Badwarez il
4 risposte
Pochi posts
Iscritto da
set, 2022
Messaggi
4
Ciao a tutti,
sicuramente per voi sarà un problema semplice ma io al momento non riesco a trovare soluzione.
Devo importare nel DB circa 2,5 milioni di record.

Prima soluzione, 2,5 Milioni di Import in modo sequenziale, che implica circa 19 ore di runtime.
Seconda soluzione, import csv che da log in 10 ha importato 200 record.

Ci sono altri metodi più veloci ? O mi devo rassegnare ?

Grazie a tutti

Ciao

Badwarez

4 Risposte

  • Utente Attivo
    Iscritto da
    giu, 2021
    Messaggi
    265
    Ma le righe da dove devi importarle?

    Secondo me puoi usare una Bulk Insert (piu' veloce delle insert) oppure una LOAD DATA se devi leggere da file.
  • Pochi posts
    Iscritto da
    set, 2022
    Messaggi
    4
    Ho provato a caricarlo trami la lettura del file csv ma è troppo lento.

    Non sono a conoscenza del metodo Bulk Insert.
  • Super Famoso
    Iscritto da
    apr, 2013
    Messaggi
    6256
    In generale, un dbms apre una transazione e fa il COMMIT per OGNI INSERT.

    Una, commit e' un'operazione parecchio complicata e richiede tempo (millisecondi o secondi)

    Il trucco consiste nel gestire a mano la tranzazione e fare il commit ogni 1000 oppure 10000 record.

    in questo modo si riduce il numero di commit.

    La insert da CSV funziona esattamente così.
Devi accedere o registrarti per scrivere nel forum
4 risposte