Ho scritto con python un programma per salvare dei dati acquisiti in tempo reale, ogni giorno mi genera un "quantitativo di dati" pari a 20MB, che sto momentaneamente salvando in excel. Se assumo ,semplificando, una crescita lineare in 100 giorni dovrei trovarmi con un dataset da 2GB, che è il limite di archiviazione per i file excel.
Vi chiedo, dato che di gestione e creazione di dataset non me ne intendo, che strada dovrei seguire? Dovrei salvare il dataset su pickle, csv? Dovrei salvare il mio dataset su SQL? Mi rendo conto che sia una domanda generica ma era giusto per avere un idea iniziale per dove orientarmi. Grazie in anticipo