RLHF
RLHF, reinforcement learning from human feedback, è la tecnica che regola il comportamento di un modello linguistico con il gusto umano: le persone classificano risposte di esempio, un reward model impara a prevedere quelle preferenze e il modello linguistico viene allenato a ottenere punteggi più alti.
Niente gergo, niente formule
In parole semplici, che cos'è?
Alcune istruzioni non si possono scrivere come regola: essere utili senza fare i servo, dire di no con gentilezza, ammettere di non sapere. L'RLHF le insegna con esempi giudicati da umani. Fase uno: il modello, già fine-tunato, genera più risposte candidate per ogni prompt. Fase due: persone reali le ordinano dalla migliore alla peggiore. Fase tre: un reward model piccolo ed economico si allena a prevedere quei giudizi, diventando un giudice sintetico. Fase quattro: con la reinforcement learning il modello grande genera risposte e riceve premio quando il giudice le stima alte, e i pesi si spostano verso quel premio. Iteri finché il comportamento regge. Dove si rompe: il modello grande può imparare a fregare il giudice (reward hacking), producendo risposte lusinghiere invece che oneste. Per questo le classifiche devono premiare l'onestà, non la gentilezza, e la fase umana resta il collo di bottiglia più costoso di tutta la pipeline.
- 01
Generazione. Il modello produce più risposte candidate per ogni prompt.
- 02
Classifica umana. Persone reali ordinano le risposte dalla migliore alla peggiore.
- 03
Reward model. Un modello piccolo si allena a prevedere quei giudizi umani.
- 04
Apprendimento rinforzato. Il modello grande viene allenato a ottenere punteggi più alti dal giudice sintetico.
- 05
Iterazione. Se il comportamento non regge, raccogli nuove classifiche e ripeti.
Termini che gli stanno vicini.
Fine-tuning
Il fine-tuning è un addestramento aggiuntivo che insegna a un modello generale i tuoi schemi specifici: gli mostri centinaia o migliaia di esempi dei tuoi compiti, del tuo tono e dei tuoi formati, e il modello aggiusta i suoi pesi finché quel comportamento diventa il suo default.
LeggiAlignment
L'alignment è il lavoro di far fare a un sistema di AI ciò che intendevi davvero, non solo ciò che hai scritto letteralmente: obiettivi, limiti e rifiuti vengono modellati durante addestramento e messa in produzione, così il comportamento resta dentro ciò che operatori e società si aspettano.
LeggiHuman-in-the-Loop
L'human-in-the-loop è un pattern di progettazione in cui il sistema AI si ferma ai punti di controllo che definisci tu e chiede a una persona di approvare, correggere o respingere l'azione proposta prima di continuare, tenendo le decisioni importanti sotto controllo umano.
Leggi§ 04
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.