Salve,
L'ho creato da zero. Non utilizza piattaforme esterne (non è OpenAI, Hugging Face, ecc.).
Il codice è interamente scritto in:
- JavaScript per il frontend e il Neural Engine
- Node.js per il server coordinatore
- WebGL per l'accelerazione GPU nel browser
- IndexedDB per la persistenza locale
L'architettura è un Transformer decoder-only (simile a GPT) implementato da zero, senza librerie ML come TensorFlow o PyTorch. Tutto gira nel browser degli utenti.
L'addestramento (training) è il processo con cui la rete neurale impara dai dati.
In pratica:
- La rete legge un testo (es. articolo Wikipedia)
- Cerca di predire la parola successiva
- Confronta la sua predizione con la parola reale
- Calcola l'errore (loss function)
- Aggiusta i propri pesi interni per ridurre l'errore (backpropagation)
- Ripete milioni di volte
Ogni utente che "mina" su Ailo fa proprio questo, addestra localmente la rete su dati pubblici e invia i "gradienti" (le correzioni) al server, che li aggrega.
Tipo di rete, Transformer Decoder-Only (architettura LLM)
Specifiche tecniche:
- 840 milioni di parametri (target 1.2B)
- 24 layer trasformatori
- 1600 dimensioni embedding
- 25 teste di attenzione
- Vocabolario: 32.000 token (BPE)
-
- Genera testo basandosi sul contesto (next-token prediction)
- Può rispondere a domande, completare frasi, generare contenuti
È un Language Model (LLM) come GPT, ma decentralizzato
Paper fondamentali:
"Attention Is All You Need" (2017) - Vaswani et al.
"Language Models are Few-Shot Learners" (GPT-3, 2020) - Brown et al.
"Communication-Efficient Learning of Deep Networks from Decentralized Data" (2017) - McMahan et al.
"Federated Optimization in Heterogeneous Networks" (FedAvg) (2019)
Come si guadagna:
Differenze da Bitcoin:
| Bitcoin | AiloCoin |
|---|
| Proof-of-Work (spreco energia) | Proof-of-Contribution (lavoro utile) |
| Mining = calcolare hash inutili | Mining = addestrare AI |
| Nessun prodotto finale | Produce un modello AI sempre più intelligente |
Blockchain: