Token
Un token è il pezzo di testo che un modello linguistico legge e scrive davvero: in media circa tre quarti di una parola inglese, convertito in un numero preso da un vocabolario fisso prima che il modello possa elaborarlo.
Niente gergo, niente formule
In parole semplici, che cos'è?
I modelli non vedono lettere né parole. Un tokenizer taglia il tuo testo in token: “imprevedibile” diventa “imp”, “rev”, “edibile”. Ogni token corrisponde a un numero di un vocabolario fisso da circa 50.000 a 250.000 voci, e il modello lavora solo con quei numeri. Costi, velocità e memoria si contano tutti in token: la context window è un budget di token, e la maggior parte delle API fattura a milione di token. Il punto debole è diseguale: l'inglese sta su circa 0,75 parole a token, l'italiano ne richiede di più per la stessa frase, e una lingua per cui il tokenizer non è stato tarato può costare il doppio o il triplo. Verifica prima di fare il budget.
Termini che gli stanno vicini.
Tokenization
La tokenizzazione è il passaggio che trasforma il testo in token, le piccole unità che un language model legge davvero: l'input viene spezzato secondo un vocabolario fisso e ogni token viene mappato su un numero, così il modello elabora ID invece di parole.
LeggiContext Window
La context window è la memoria di lavoro del modello, misurata in token: tutto ciò che sta in un singolo prompt (istruzioni, documenti, conversazione fino a quel momento) deve entrarci, e oltre il limite il testo è semplicemente invisibile al modello.
LeggiInference
L'inference è l'uso di un modello già allenato: mandi un input, il modello applica ciò che il training ha codificato nei suoi parameter e ti restituisce una risposta, un token alla volta.
Leggi§ 03
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.