In questo periodo, per motivi di lavoro, sto masticando LLM, quindi sto approfondendo tutti gli aspetti necessari per MANIPOLARE questi strumenti in contesti lavorativi. Va da se che seguendo anche i vari youtuber (quelli "seri" :-) ) e le "mikia...e" markettare, penso si possano fare alcune considerazioni.
1) un LLM e' un generatore di testo. STOP. Ha SOLO la capacita' di generare la prossima parola in base a una statistica. STOP. NON E' intelligente, NON HA un'anima, NON HA un cervello, E' SOLO l'applicazione alla n-potenza di algebra lineare, statistica, generatore di numeri PSEUDO-casuali. SE LLM e' "intelligente" allora lo e' anche il "computer" che lo esegue.
2) un LLM e' un sistema di COMPRESSIONE del testo! TUTTO quello che ha ingerito lo ha convertito i valori numerici e COMPRESSO nelle strutture dati interne. STESSA IDENTICA IDEA del JPG o del PNG per le immagini. E' un sistema di compressione A PERDITA DI INFORMAZIONE. NON HA compresione di quello che ha compresso, sa SOLO che la compressione fatta in quel modo genera il MINOR ERRORE in fase di "decompressione".
3) PIU' un LLM e' grande e MENO informazione perde. Quindi, la capacita' di questi sistemi di fare qualcosa di buono DIPENDE DALLA LORO DIMENSIONE. PIU' SONO GRANDI, meno informazioni perdono e MENO allucinazioni hanno, e piu' cose interessanti sanno (??? NON SANNO NIENTE!) fare.
Vedasi il caso di "Emma". Ora il "bocconiano" a capo dell'azienda ha fatto la classica cavolata: parole altisonanti per un prodotto che uno si puo' implementare anche a casa. Le 'allucinazioni' del modello erano OVVIE, visto che il modello e' piccolissimo. Doveva semplicemente presentarsi con qualcosa del genere: vogliamo creare l'AI "sovrana". Questo e' il nostro primo modellino che vogliamo sperimentare. Allucina alla grande, MA e' divertente, quindi "divertitevi"!
4) un LLM E' addestrato per fare bene delle cose. L'area del codice e' particolarmente adatta perche' hai modo di fargli generare del testo che rappresenta un pezzo di codice e di controllare ALMENO che compila o che sia sitatticamente corretto.
5) un LLM NON COMUNICA con il resto del mondo! Lui genera un pezzo di testo "strutturato" che il contenitore che lo gestisce sa interpretare e sa sfruttare per chiamare dei tool "esteni" (basati su MCP)
6) l'addestramento di un LLM consiste un un processo di "ottimizzazione", cioe' nella MINIMIZZAZIONE di un qualche tipo di errore. E questo si ottiene modificando i pesi interni del modello stesso. E poiche' questi pesi sono milioni, miliardi (bilioni) o trilioni (migliaia di miliardi) organizzati in modo abbastanza "regolare" (n-mila livelli di transformers), piu' o meno i posti in cui i pesi vengono modificati sono gli stessi per tutti gli LLM.
.
Ora, poiche' la loro capacita' di fare qualcosa DIPENDE dalla loro dimensione E la dimensione richiede hardware adeguato E l'hardware costa, E la corrente per alimentare l'hardware costa, E l'acqua per raffredare l'hardware costa, Ele centrali elettriche necessarie per la corrente costano, E poiche' piu' sono grandi piu' sono lenti, perche' devono fare piu' calcoli, E piu' sono lenti MENO utenti al secondo possono soddisfare E quindi per soddisfare abbastanza utenti che ripaghino i costi bisogna fare PIU' data center PIU' grandi, E per fare piu' data center piu' grandi si mangiano TUTTA la nostra ram, TUTTE le nostre CPU, TUTTE le nostre CPU, facendo si che un computer che l'anno scorso costava 2500 euro ora ne costa 5000, o 128GB di ram che l'anno scorso ho pagato 400 euro ora costano 1200 euro !!!!!!!!! (ma che cadano loro i pistolini mentre fanno la pipi!!!!!!!!!!)
va da se che questi sistemi non sono economicamente sostenibili se NON PAGANDO UN BOTTO il loro utilizzo.
Al momento tutti offrono abbonamenti che non ripagano i costi sostenuti per utente. Oppure il numero di token che possono essere utilizzati e' sufficientemete ridicolo da non permettere di fare cose particolarmente interessanti. Quindi, quello che succederea' e' che il costo di questi sistemi sara' talmente grande che un'azienda non potra' farne un uso "spregiudicato". Sara' una risorsa "limitata" da utilizzarsi solo ed esclusivamente per ambiti in cui effettivamente il costo del servizio AI viene abbondantemente ripagato dal risparmio O dal guadagno.
Banalita': MA se il costo dell'AI per sostituire una segretaria e' uguale o maggiore dello stipendio della segretaria stessa (o e' anche solo un epsilon inferiore), usero' l'AI o la segretaria? Segretaria, tra l'atro, che in caso di "casini" RISOLVE, dove per risovere i casini dell' IA ti tocca chiamare il tecnico, che magari aggiusta l'IA ma non sa gnete del "casino", E richiamare la segretaria che avevi appena licenziato !!!!
Ora, SE un sistema AI fa qualcosa, DEVE fare quella cosa ed io NON DEVO perdere tempo a controllare se ha fatto o meno in modo corretto quella cosa. Se un AI genera codice, non ha senso per un programmatore mettersi a spulciare SE il codice scritto e' scritto bene o male. DEVE essere una scatola nera a cui il "programmatore" (che a questo punto programmatore non lo e' piu') non e' interessato. Il suo compito e' ordinare scatole (nere), specificare QUALI sono i bocchettoni di input e di output, e connettere le scatole mediante i bocchettoni. SE qualcosa non funziona, deve richiedere dei test ai bocchettoni, scatola per scatola per capire quale scatola non funziona correttamente e richiedere la sostituzione della scatola non funzionante con una che soddisfi i test. Va da se che anche se uno non sa programmare, deve avere comunque chiaro come fare tutto questo.
...
A questo punto, bisogna stare attenti alla terminologia che il markkkketting ha iniziato ad utilizzare (solo per farsi dare finanziamenti dai "broccoloni" che sperano di fare una portaerei di soldi a scapito degli stupidotti che stanno diventando sempre piu' stupidotti e che dovranno per forza appoggiarsi all IA per fare qualcosa di intelligente)
1) si usa IA (Intelligenza Artificiale) per un un settore microsocopico (i LLM - Large Language Models, particolare applicazione del NLP - Natual Language Processing) del mondo della Artifical Intelligence, SOTTO settore della Computer Science, che comprende di tutto e di piu: dall'ottimizzazione, ai sistemi di simulazione, alle serie temporali, analisi dei dati, elaborazione di immagini, calcolo numerico, ed n-milardi di altre cose.
2) si usano termini come "mente" o "pensiero" per strutture dati che non sono altro che applicazioni dell'algebra lineare, e a sua volta non e' altro che applicazione in grande (diciamo pure in super-mega-giga-tera gigantesco) stile delle 4 operazioni. 4 operazioni fatte con numeri in floating point di 4, 2 o addirittura UN BIT!!!! Ma che cavoli !!!!
3) si usa il termine "intelligenza" per un banale processo "stocastico"
4) si usa il termine "pensiero" al valore di certe celle di memoria del computer. Valore che non e' altro che il risultato di un processo di ottimizzazione.
...
Insomma, che l'esser umano, per sua struttura genetico-costituzionale "umanizzi" cani e gatti, ci puo' anche stare perche' cani e gatti, vivendo ed interagendo con gli esseri umani, acquisiscono comportamenti "umani". MA assegnare un comportamento umano, ma non solo, anche di "alto livello" ad un sistema, per quanto super-mega-giga-tera gigantesco, di calcoli in floating point a 4 bit, sta diventando "ridicolo".
Vabbene che siamo tutti "boccaloni", ma insomma, "boccaloni" si, ma "fessi" anche no.
E supporre che l'AI lascera' a casa un sacco di persone, io direi anche no.
Ma attenzione, in QUESTO senso: se e' vero che certi lavori potranno essere sostituiti da un LLM, MA con SUPERVISIONE UMANA, perche' un IA NON E' un sistema deterministico MA stocastico e quindi la possibilita di fare "cazzate" e' dietro l'angolo, e quindi ci vuole un umano che si mette li a salvare il salvabile quando fa le "cazzate" (e le fa in continuazione!!!!), e' anche vero che:
1) gli LLM costano, quindi e' ragionevole supporre che un'azienda preferisca avere un proprio sistema in locale. Anche perche' non si puo' permettere che gli cambino il modello sotto il fondoschiena ogni 2x3
2) gli LLM devono essere addestrati per quel particolare lavoro, cosa che deve fare qualcuno in "presenza"
3) gli LLM vanno ottimizzati ed aggiornati,
4) gli LLM vanno adattati all'harware che c'e' a disposizione. Un'azienda non puo' spendere n-mila euro una volta all'anno solo perche' NVIDIA ha prodotto la nuova scheda con quantizazzione in hardware di nuova generazione, e quindi i nuovi modelli funzionano SOLO con quell'hardware. Bisogna prendere il modello "pulito" e riquantizzarlo in base all'hardware a disposizione dell'azienda.
Sono tutte attivita' NUOVE che rappresentano nuove opportunita' di lavoro.
Stessa cosa del essere passati dal carrozza+cavallo, all' automobile a combustione interna. Non serve la stalla ma il garage. Non serve il fieno ma la benzina. Non serve il maniscalco ma il meccanico ...
...
Mi e' venuta in mente questa scena, che immagino non sia ancora mai capitata, ma non e' impossibile che capiti:
pensa se il mega-capo dell'azienda, incazzato come una biscia, manda una mail di insulti alla segretaria perche l'IA ha fatto una cazzata grande come il monte Everest, e il sistema di risposta automatica, basata su AI, che segue il tono della mail, manda a quel paese (si, avrei usato l'altra parola che inizia con "cag...", ma siamo in un forum :-), rimaniamo edicati) il mega-capo :-)
Segretaria licenziata in tronco, sistema AI preso e lanciato in orbita a suon di calci :-)
...
NB: io sono assolutamente a favore dei modelli "abliterated"/SENZA censure, il che vuol dire che con un modello del genere la cosa non e' impossibile :-)