Cos'ha presentato Google?
Google Research ha pubblicato sul suo blog «The sleep framework», un metodo per far imparare un modello linguistico dopo che è stato messo in uso. Lo firmano Ali Behrouz e Vahab Mirrokni, con ricercatori della Cornell University e della University of Southern California.
Il problema che affronta è noto. Un modello come quelli dietro ChatGPT o Gemini sa quello che ha visto fino a una certa data. Quello che gli dici in una conversazione lo usa finché la conversazione è aperta, poi lo perde. Se invece lo riaddestri con dati nuovi, spesso peggiora su quello che sapeva già. I ricercatori lo chiamano oblio catastrofico.
Come funziona il «sonno» di un modello?
Il modello alterna due stati. Nella fase attiva lavora: riceve domande, risponde e tiene le informazioni nuove in una memoria a breve termine. Nella fase di sonno smette di ricevere richieste e lavora su sé stesso, in due passaggi.
- Consolidamento. Il modello apre blocchi di memoria a lungo termine tenuti di riserva e ci copia quello che ha imparato in conversazione, senza toccare i blocchi già pieni. Poi svuota la memoria a breve termine.
- Sogno. Il modello genera da solo esempi di esercizio, tiene quelli più utili e si allena su quelli. Google scrive che serve a migliorare il ragionamento, non solo a ricordare.
Google precisa che i nomi vengono dalle neuroscienze, ma il sistema resta dentro un'architettura fissa e regole di addestramento scritte da persone. Cambiano i pesi del modello, non il suo progetto.
Cosa dicono i test?
I numeri sono quelli pubblicati da Google, non verificati da terzi. Nella traduzione di lingue rare imparate in più tappe, come il mancese e il kalamang, il calo sulle tappe precedenti è vicino a zero, mentre i metodi di confronto dimenticano molto. Su testi lunghi il metodo regge fino a 10 milioni di token, cioè di pezzi di parola.
Sui fatti nuovi il modello arriva al 48,9% in un test su un solo compito e al 46,2% quando l'addestramento continua su più dati, meglio dei metodi di confronto scelti dagli autori.
Cosa non è (ancora)?
Non è un prodotto. Non c'è un modello da scaricare, un servizio da attivare o una data di arrivo in Gemini. Il post non dice quanto costa in calcolo una fase di sonno, né con che frequenza andrebbe fatta in un uso reale.
La nostra lettura: se l'idea arriverà nei prodotti, il punto delicato per un'azienda sarà il controllo. Un modello che cambia i propri pesi mentre è in uso va verificato di nuovo dopo ogni ciclo. Serve sapere cosa ha imparato, da quali dati e come tornare indietro se ha imparato una cosa sbagliata.
E noi?
Oggi negli agenti che costruiamo la memoria sta fuori dal modello: documenti, archivi e registri che il cliente può leggere e correggere. Se un giorno i modelli impareranno da soli, valuteremo l'opzione solo con un registro di cosa è cambiato a ogni ciclo e una versione precedente pronta da ripristinare.
Cosa fai adesso?
- Se usi già l'AI in azienda, non cambia niente: continua a dare al modello le informazioni aggiornate nei documenti e nelle istruzioni.
- Se stai scegliendo un fornitore, chiedi dove sta la memoria del sistema e chi può vederla e correggerla.
- Se segui la ricerca, guarda se arrivano test indipendenti e un modello provabile: senza quelli resta una promessa.
“Un modello che impara mentre lavora è utile solo se puoi vedere cosa ha imparato e tornare indietro.”
DBrothers — sulla ricerca di Google
Domande frequenti
Il modello impara dalle mie conversazioni?
Nella ricerca il modello consolida le informazioni ricevute nella fase attiva. Il post non parla di prodotti né di dati degli utenti: oggi nessun servizio Google pubblico funziona così.
Che cos'è l'oblio catastrofico?
È quando un modello, addestrato su un compito nuovo, peggiora molto su quelli che sapeva già fare. È uno dei motivi per cui oggi i modelli si aggiornano con nuove versioni e non poco alla volta.
Quando arriverà nei prodotti?
Google non lo dice. Il post descrive un risultato di ricerca con i suoi test: aggiorneremo questa pagina se arriva un annuncio di prodotto.
Se vuoi che un sistema AI usi informazioni sempre aggiornate senza aspettare la ricerca, parti da dove sono oggi quei dati e da chi li tiene in ordine. Possiamo ragionarci insieme.
