Temperature
La temperature è un'impostazione del modello linguistico che controlla quanto sono casuali le sue scelte di parole: valori bassi fanno scegliere sempre la parola più probabile, valori alti lasciano vincere opzioni più rare e variate.
Niente gergo, niente formule
In parole semplici, che cos'è?
Ogni volta che un modello linguistico scrive una parola, tiene in mano una classifica di candidati con punteggi (logits). La temperature rimodella quei punteggi prima del lancio dei dadi. Dividi i punteggi per una temperatura bassa e il divario tra prima e seconda scelta esplode: la parola in testa vince quasi sempre, e il testo diventa preciso, deterministico, ripetitivo. Dividi per una temperatura alta e i punteggi si appiattiscono: le parole improbabili ricevono chance reali, l'output varia di più e, ai valori estremi, diventa rumore. A esattamente 0 i dadi spariscono: il modello prende sempre la parola in cima (decodifica greedy). La temperature cambia lo stile, non la conoscenza: lo stesso modello a 0 e a 1 sa le stesse cose, ci si impegna solo in modo diverso. Dove si rompe: vicino a 0 produce loop e luoghi comuni, sopra 1.5 produce frasi senza senso. Regolala per compito: 0 per estrazione e classificazione, intorno a 0.7 per le bozze, oltre 1 per il brainstorming.
Termini che gli stanno vicini.
Large Language Model
Un large language model (LLM) è un sistema AI allenato su enormi collezioni di testo per prevedere il token successivo, il che gli dà una capacità generale di scrivere, riassumere, tradurre e ragionare senza essere programmato per ogni singolo compito.
LeggiToken
Un token è il pezzo di testo che un modello linguistico legge e scrive davvero: in media circa tre quarti di una parola inglese, convertito in un numero preso da un vocabolario fisso prima che il modello possa elaborarlo.
LeggiInference
L'inference è l'uso di un modello già allenato: mandi un input, il modello applica ciò che il training ha codificato nei suoi parameter e ti restituisce una risposta, un token alla volta.
Leggi§ 03
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.