Si può addestrare un modello AI su un PC di casa?
Sì, se il modello è piccolo. Il 20 ottobre uno sviluppatore ha raccontato sul suo blog, Ken's Cat Log, come ha addestrato da zero una sua copia di GPT-2. L'ha fatto sul PC di casa, con una sola scheda grafica RTX 4090. Il modello ha 124 milioni di parametri, cioè i valori che impara durante l'addestramento. L'addestramento è durato circa 21 ore. Secondo la sua stima, l'elettricità della sola scheda grafica è costata circa 300 yen.
Non è l'unico. Quest'estate uno sviluppatore di 14 anni ha pubblicato Plasma 1.1, un modello da 521 milioni di parametri. L'ha addestrato da zero in circa nove giorni su una sola RTX 5080, senza usare il cloud. Lo ha raccontato su Reddit e sulla pagina del progetto su GitHub.
La ricetta, del resto, è pubblica. L'esperimento di Ken's Cat Log segue il codice del ricercatore Andrej Karpathy. Nel suo progetto build-nanogpt, Karpathy scriveva che riprodurre il piccolo GPT-2 richiede circa un'ora e circa 10 dollari su GPU noleggiate in cloud. La novità è che ora il lavoro ci sta su una scrivania.
Come funziona, in pratica?
Il post divide il lavoro in tre passaggi. Un assistente AI per programmatori, Claude Code, lo ha aiutato a scrivere gli script e a seguire l'addestramento.
- Dati pubblici. Ha usato FineWeb-Edu, una raccolta gratuita di pagine web educative in inglese, pubblicata su Hugging Face con licenza aperta. Scaricarla e prepararla ha richiesto circa 12 minuti.
- Addestramento di base. Il modello ha letto circa 8,4 miliardi di token, piccoli pezzi di parole, in circa 21 ore, secondo i conti dell'autore. Alla fine ha ottenuto il 30,5% su HellaSwag, un test di buon senso, contro il 29,4% del GPT-2 originale.
- Insegnargli a conversare. Un'altra ora e 50 minuti su circa 460.000 conversazioni di esempio hanno trasformato una macchina che continua il testo in un assistente che risponde e poi si ferma.
Cosa non dimostra l'esperimento?
Non dimostra che puoi costruirti il tuo ChatGPT. I limiti li elenca l'autore. Il modello poteva sostenere che Parigi ha 2,4 miliardi di abitanti o che 12 più 7 fa 30. Poiché aveva visto solo testi in inglese, ha trattato una domanda in giapponese come un testo da correggere. La sua conclusione è che la grammatica arriva presto e i fatti no. L'addestramento alla conversazione gli ha dato un tono da chat in cinque minuti, ma ha cambiato poco la sua precisione.
Perché conta per la tua azienda o il tuo ente?
La nostra lettura: addestrare un modello AI voleva dire avere un data center. Oggi un modello piccolo si addestra o si adatta su una sola macchina in ufficio. I documenti restano in sede, e niente dipende dai prezzi o dalle condizioni di un fornitore cloud. L'elettricità non è la voce che pesa. Pesano la scheda grafica, il computer e il tempo di chi segue il lavoro, e il post non li quantifica.
Per un'azienda ci sono tre lavori diversi, e chiedono uno sforzo molto diverso.
- Addestrare da zero. Il modello impara la lingua stessa, da miliardi di parole. È quello che ha fatto l'esperimento, e quasi nessuna azienda ne ha bisogno.
- Adattare, il cosiddetto fine-tuning. Prendi un modello aperto che scrive già bene e gli insegni il tuo formato e il tuo lessico con i tuoi esempi. Il passaggio alla conversazione dell'esperimento è un lavoro di questo tipo, ed è durato meno di due ore.
- Usarlo con i tuoi documenti. Il modello legge i tuoi file quando risponde, senza essere riaddestrato. È da lì che arrivano i tuoi fatti, perché l'esperimento mostra che adattare cambia il tono più che le conoscenze.
E noi?
In un caso tipico non addestreremmo un modello da zero. Come lo useremmo: prendi un'azienda che ogni giorno risponde a richieste di preventivo con le stesse formule e le stesse regole di prezzo. Prenderemmo un modello aperto piccolo, lo adatteremmo ai suoi preventivi passati su una macchina nel suo ufficio e gli faremmo leggere il listino aggiornato mentre scrive la bozza. Ogni preventivo lo controlla una persona prima che parta. È il tipo di sistema che costruisce il nostro servizio AI agents & automation.
Quindi cosa fai?
- Se hai documenti riservati e un compito ripetitivo, come risposte standard o preventivi, adatta un modello aperto piccolo e fallo girare su una macchina che controlli tu.
- Se ti serve una conoscenza generale ampia, usa un modello grande tramite il servizio di un fornitore (l'API) e tieni fuori i dati sensibili.
- Se non sei sicuro, parti dai tuoi documenti, non dall'addestramento. Guarda cosa azzecca un modello leggendoli, prima di adattare qualsiasi cosa.
“Addestrare meno, leggere di più. Quasi tutto quello che serve a un'azienda dall'AI sta già nei suoi documenti, non in un modello nuovo.”
DBrothers — come impostiamo i sistemi
Cosa chiedono più spesso su addestrare un'AI in casa?
Quanto costa addestrare un modello piccolo in casa?
In questo esperimento, circa 300 yen di elettricità per la scheda grafica, secondo la stima dell'autore. Il post non conta il prezzo della scheda e del computer. Su GPU noleggiate in cloud, Karpathy indicava per lo stesso modello piccolo circa un'ora e 10 dollari.
I miei dati escono dall'ufficio?
No, se addestramento e uso girano su una tua macchina. L'esperimento ha addestrato il modello su un PC di casa con dati pubblici. Con i tuoi documenti, la stessa impostazione li tiene in sede.
Un modello piccolo può sostituire ChatGPT per il mio team?
No. Un modello di queste dimensioni scrive bene ma inventa fatti, come mostra l'autore. Va bene per compiti stretti e ripetitivi, con una persona che controlla il risultato, non per domande aperte.
Se vuoi un'AI che lavora sui tuoi documenti senza mandarli fuori, parti da un compito e da un campione di file reali. Valutiamo insieme se basta adattare un modello aperto piccolo su una macchina tua.
