Tokenization

Niente gergo, niente formule

Prima che un modello legga una sola parola, il testo deve diventare numeri. La tokenizzazione lo fa in due mosse. Prima, spezza: il testo viene tagliato in token usando un vocabolario fisso di pezzi di parola, in genere intorno a 100.000 voci. Le parole comuni diventano un token, quelle rare o composte vengono spezzate in pezzi più piccoli. Poi, mappa: ogni token viene scambiato con il suo ID numerico, e il modello riceve una semplice sequenza di numeri. In uscita il processo si ribalta: il modello predice l'ID del prossimo token un passo alla volta e il detokenizer ricostruisce il testo. Tre conseguenze pratiche. Il costo si misura in token: un prompt più lungo costa di più e ogni limite è un conteggio di token. Un token non è una parola: l'italiano consuma più token dell'inglese per la stessa frase, e numeri, codice e refusi si sbriciolano in tanti pezzetti. E il vocabolario è fisso da quando il modello è stato allenato, quindi un termine nuovo arriva già spezzato in frammenti.