Context Window
La context window è la memoria di lavoro del modello, misurata in token: tutto ciò che sta in un singolo prompt (istruzioni, documenti, conversazione fino a quel momento) deve entrarci, e oltre il limite il testo è semplicemente invisibile al modello.
Niente gergo, niente formule
In parole semplici, che cos'è?
La context window è la scrivania del modello: tutto quello che vede in una volta sola, misurato in token. Istruzioni, documenti incollati e conversazione fino a quel momento condividono questo unico spazio. Dentro la finestra il modello può collegare qualsiasi cosa a qualsiasi cosa; fuori, niente esiste. Ne vengono fuori tre regole secche. Prima, la dimensione: una finestra di 128.000 token sembra enorme finché un contratto da 200 pagine non la divora, e oltre il limite arriva un errore o un taglio silenzioso, non un avviso gentile. Seconda, la memoria: la finestra si azzera tra chiamate separate, a meno che il sistema non rispedisca lo storico, ed è per questo che il modello dimentica la mail di lunedì il martedì. Terza, l'attenzione: i modelli vedono meglio l'inizio e la fine di un documento lungo e deperiscono nel mezzo, l'effetto 'lost in the middle' documentato. Lavorare attorno alla finestra è una disciplina: spezza i materiali lunghi, riassumi per livelli, recupera solo ciò che conta. Il RAG esiste in gran parte per questo limite.
Termini che gli stanno vicini.
Token
Un token è il pezzo di testo che un modello linguistico legge e scrive davvero: in media circa tre quarti di una parola inglese, convertito in un numero preso da un vocabolario fisso prima che il modello possa elaborarlo.
LeggiTokenization
La tokenizzazione è il passaggio che trasforma il testo in token, le piccole unità che un language model legge davvero: l'input viene spezzato secondo un vocabolario fisso e ogni token viene mappato su un numero, così il modello elabora ID invece di parole.
LeggiLarge Language Model
Un large language model (LLM) è un sistema AI allenato su enormi collezioni di testo per prevedere il token successivo, il che gli dà una capacità generale di scrivere, riassumere, tradurre e ragionare senza essere programmato per ogni singolo compito.
Leggi§ 03
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.