Inference
L'inference è l'uso di un modello già allenato: mandi un input, il modello applica ciò che il training ha codificato nei suoi parameter e ti restituisce una risposta, un token alla volta.
Niente gergo, niente formule
In parole semplici, che cos'è?
Dopo il training, i parameter restano bloccati e il lavoro cambia nome: inference. La tua richiesta viene tokenizzata in numeri. Il modello li fa girare nei suoi livelli e ne esce una probabilità per ogni possibile token successivo. Ne sceglie uno (l'audacia della scelta la decide la temperature), lo attacca alla sequenza e riparte, ora con un input più lungo. Questo ciclo spiega perché le risposte compaiono parola per parola e perché le risposte lunghe costano di più: ogni token è un passaggio completo attraverso miliardi di parameter, di solito su una GPU. La KV cache ricorda i calcoli già fatti, così i token dopo il primo costano meno. Il limite è la context window: troppi token e il modello non vede più l'inizio del tuo documento.
- 01
Tokenizzi. La tua richiesta diventa una lista di token numerati.
- 02
Primo passaggio. Il modello calcola le probabilità per il token successivo.
- 03
Scegli. Viene campionato un token, con audacia decisa dalla temperature.
- 04
Attacchi e ripeti. Il nuovo token si aggiunge all'input; il ciclo gira finché non arriva un segnale di stop.
- 05
Stream. I token tornano man mano che vengono generati, così la risposta appare parola per parola.
Termini che gli stanno vicini.
Training
Il training è il processo che trasforma un modello vuoto in un'IA funzionante: gli mostri migliaia o milioni di esempi, confronti le sue risposte con quelle corrette e correggi le sue impostazioni interne finché le risposte migliorano.
LeggiToken
Un token è il pezzo di testo che un modello linguistico legge e scrive davvero: in media circa tre quarti di una parola inglese, convertito in un numero preso da un vocabolario fisso prima che il modello possa elaborarlo.
LeggiTemperature
La temperature è un'impostazione del modello linguistico che controlla quanto sono casuali le sue scelte di parole: valori bassi fanno scegliere sempre la parola più probabile, valori alti lasciano vincere opzioni più rare e variate.
Leggi§ 04
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.