Alignment
L'alignment è il lavoro di far fare a un sistema di AI ciò che intendevi davvero, non solo ciò che hai scritto letteralmente: obiettivi, limiti e rifiuti vengono modellati durante addestramento e messa in produzione, così il comportamento resta dentro ciò che operatori e società si aspettano.
Niente gergo, niente formule
In parole semplici, che cos'è?
Un modello addestrato a prevedere la parola successiva non sa nulla delle tue intenzioni: ottimizza solo per una risposta plausibile. L'alignment è la pila di tecniche che piega quell'ottimizzazione verso il tuo obiettivo reale. Parte in addestramento: dopo che il modello di base impara la lingua, valutatori umani giudicano le risposte e un passaggio di rinforzo premia quelle utili, oneste e sicure (è l'RLHF). Continua in produzione: il system prompt fissa il ruolo, il fine-tuning di sicurezza insegna i rifiuti, e le guardrails limitano cosa il modello può fare o dire. Vedi l'alignment all'opera quando il modello rifiuta di inventare uno sconto o segnala un ordine ambiguo invece di tirare a indovinare. Il limite: l'alignment è statistico, non assoluto. Una formulazione insolita può scavalcarlo (è il jailbreak), e per questo i modelli allineati stanno comunque dentro guardrails e audit.
Termini che gli stanno vicini.
RLHF
RLHF, reinforcement learning from human feedback, è la tecnica che regola il comportamento di un modello linguistico con il gusto umano: le persone classificano risposte di esempio, un reward model impara a prevedere quelle preferenze e il modello linguistico viene allenato a ottenere punteggi più alti.
LeggiFine-tuning
Il fine-tuning è un addestramento aggiuntivo che insegna a un modello generale i tuoi schemi specifici: gli mostri centinaia o migliaia di esempi dei tuoi compiti, del tuo tono e dei tuoi formati, e il modello aggiusta i suoi pesi finché quel comportamento diventa il suo default.
LeggiGuardrails
Le guardrails sono i controlli e i limiti avvolti attorno a un modello di AI per tenerne il comportamento dentro le tue regole: setacciano ciò che entra, vincolano ciò che il modello può fare e verificano ciò che esce prima che arrivi a una persona o a un sistema.
Leggi§ 03
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.