03/09/2025 - Baraka ha scritto:
1) le IA di oggi sono bravissime nel calcolo (come hai dimostrato tu),
2) ma spesso falliscono nell'intelligenza (come nel tuo esempio).
3) Ma se si disponesse di uno strumento che permetta a un umano di insegnare loro proprio quel tipo di intelligenza contestuale che tu hai usato naturalmente per risolvere il rompicapo?
4) In pratica, un metodo per dire all'IA: "Vedi? Hai sbagliato. Ricordati che in questi contesti le risorse si riciclano. La prossima volta, ragiona così" e fare così in modo che la volta seguente mostri una risposta che implementa l' insegnamento fornito dall' utente?
5) Non sarebbe interessante come processo di "apprendimento" in tempo reale?
6) Se qualcun altro avesse delle osservazioni sulla fattibilità tecnica di tale idea gli sarei enormemente grato.
1) NON SONO AI, sono LLM (Large Language Models) e NON CAPISCONO NA' CIPPA DI CALCOLO MA generano SOLO testo (anzi, tokens, PARTI di parole) IN MODO PROBABILISTICO in base al "contesto" che non e' altro che una sequenza di token da usare per GENERARE IL PROSSIMO TOKEN
Lascia perdere le stupidaggini che raccontano i vari siti di "pseudo esperti".
Per essere chiari: se tu insegni ad un LLM le tabelline, lui impara a fare la moltiplicazione di di due numeri di UNA cifra, MA NON DI due o piu' cifre.
Un ALGORITMO, PARTENDO dalle tabelline, e' in grado di fare moltiplicazioni di due numeri con un numero ARBITRARIO di cifre (10, 100, un milione, un miliardo, mille miliardi, ...)
2) NON SONO INTELLIGENTI, non capiscono NIENTE, GENERANO SOLO TESTO un token alla volta. NON HANNO NESSUNA CONOSCENZA. Al piu' applicano PATTERN di TOKENS che hanno imparato a riconoscere durante l'addestramento. Ma un PATTERN non rappresenta un'intelligenza, perche' non e' in grado di distinguere un oggetti con sematiche diverse. Vedasi il fatto he ti possono dare la ricetta della pizza fatta con solventi ed acidi :-) Tanto che sia olio o acido solforico, sepre un liquido e' :-)
Vedasi anche lo scemo che ha sostituito il cloruro di sodio (il sale da cucina) con "bromuro di sodio" ( https://it.wikipedia.org/wiki/Bromuro_di_sodio ). Fuori di testa!
https://www.wired.it/article/chatgpt-uomo-chiede-come-ridurre-il-consumo-di-sale-bromuro-di-sodio-allucinazioni/
Vedasi il fatto che e' nata una nuova "disciplina" (che e' piu' un rito voodoo che una scienza) che si chiama "Prompt Engineering" che serve per creare "frasi" che FORZANO una particolare probabilita di generare token che alla fine generano una frase "di senso compiuto e consistente con la richiesta".
MA SE aggiungi parole "a caso" che un umano scarterebbe automaticamente, l'LLM darebbe "di matto", cioe' genera risposte "a capocchia".
Ma non solo: il "prompt" da usare e' DIVERSO per ogni azienda che offre un LLm MA ANCHE PER OGNI VERSIONE di LLM: il prompt per la versione 4 NON E' DETTO che funzioni ANCHE per la versione 5. E spesso cambia ANCHE tra la versione 4.0 e 4.1!
3) un LLM NON E' IN GRADO DI ESEGUIRE ALGORITMI, checche' ne dicano le aziende di LLM. Non lo puo' fare, "ne oggi, ne mai" come direbbe qualcuno di nostra antica conoscenza (Manzoni). Ci sono LLM in grado di chiamare "funzioni esterne", MA NON E' GENRALIZZATO, lo puo' fare SOLO con un insieme limitato di funzionalita che DIPENDONO dall'addestramento (MCP: https://modelcontextprotocol.io/docs/getting-started/intro )
4) tutto quello che puoi fare e' aggiungere testo al contesto SPERANDO di forzare la generazione di token che forniscono una risposta "sensata"
5) e' una scocciatura stare li a dire allo "LLM scemo" che sta' sbagliando, perche' NON IMPARA, si e no si RICORDA, ma dopo un po non si ricorda piu' perche' sfori la dimensione massima della finestra di contesto. Vabbe, negli ultimi modelli, la finestra di contesta e' di MEGA-tokens, ma comunque NON TI ASSICURA che la generazione di token rimanca "consistente" a mano a mano che aggiungi "conoscenza" (cioe' token in testa al contesto)
un LLM IMPARA se fai "addestramento" oppure "fine tuning"
un LLM RICORDA se usi le tecniche di RAG, ma anche questa hanno n-MILIONI di problemi
6) devi approffondire meglio come funziona un LLM, come funziona untransformer, metodi di adestramento e di fine tuning
7) E' IMPOSSIBILE adestrare un LLM di ragionevoli dimensioni con hardware consumer: ci vorrebbero centinaia o migliaia di anni.
Si puo' fare qualcosa mediante "distillazione" (ci sono articoli su come si fa su Towardsdatascience).
Si puo' fare qualcosa mediante fine tuning MA comunque serve hardware "serio", il PC di casa, per quanto pompato, non basta
.
Al momento, l'UNICO youtuber (CHE SA QUELLO CHE DICE) italiano che ho trovato (al momento non ne conosco altri cosi' competenti, gli altri sono al piu' fuffaguru) che racconta cose "intelligenti" sugli LLM e Enkk. E un ricercatore di Torino che si occupa di NLP (Natural Language Processing) di cui gli LLM sono un sottoprodotto.
Ed io li sto studiando e utilizzando per lavoro.
.
Per concludere, il problema e' che il "feedback" SE NON E' STRUTTURATO NEL MODO CORRETTO, genera piu' problemi di quelli che vorrebbe risolvere.
Inoltre il fine tuning (l'UNICO approccio possibile) e' MOOLTO DELICATO: basta poco per scassare tutto l'LLM.
Vero e' che basta fare il reset della parte addestrata con il fine tuning, ma COMUNQUE richiede varie prove (e tanto tempo) per trovare l'addestramento che funziona meglio.
.
Gli LLM generici sono, APPUNTO, generici.
Per avere un LLM specifico, BASTA ADDESTRARLO con testi "specifici", o fare un fine tuning con testi "specifici".
il RAG risolve problemi di conoscenza "spicciola"/"aggiornata", NON di "corpus di conoscenze" (tutto quello che c'e' da sapere in medicina, o in ambito legale).
Questo perche' la conoscenza collezionata mediante RAG e' semplicemente "testo" che va a fare parte del "contesto. QUINDI non puo' avere dimensioni troppo grandi.
.
Ma vale sempre il detto: chi non risica, non rosica :-)