Distillazione
La distillazione è una tecnica di addestramento in cui un piccolo modello 'studente' impara a riprodurre le risposte di un modello 'insegnante' grande e accurato, così puoi mettere in produzione il piccolo e tenerti quasi tutta l'accuratezza a una frazione del costo di esecuzione.
Niente gergo, niente formule
In parole semplici, che cos'è?
Vuoi la qualità di un modello enorme con la bolletta di uno piccolo. La distillazione ti dà entrambe. Prendi un insegnante grande e uno studente più piccolo. Dai a entrambi le stesse domande, spesso milioni di esempi senza etichetta. Le risposte dell'insegnante, incluse le probabilità dietro di esse, diventano gli obiettivi di allenamento dello studente. Lo studente non si limita a memorizzare le risposte giuste: assorbe il senso dell'insegnante di cosa sia 'quasi giusto', ed è per questo che uno studente può battere un modello delle stesse dimensioni addestrato solo sui dati grezzi. Ripeti finché lo studente non si avvicina abbastanza all'insegnante sul tuo test set, poi metti in produzione lo studente e spegni l'insegnante. Il modo in cui si rompe: se l'insegnante sbaglia qualcosa, lo studente impara l'errore fedelmente. Gli errori si copiano.
- 01
Esercizio. Entra un batch di domande di esercizio, e il modello studente risponde a ciascuna.
- 02
Obiettivi. Le risposte dell'insegnante, con le loro probabilità, diventano gli obiettivi di allenamento.
- 03
Confronto. Un controllo misura quanto le risposte dello studente si avvicinano a quelle dell'insegnante.
- 04
Rilascio. Abbastanza vicino: il piccolo studente va in produzione e l'insegnante va in pensione.
- 05
Riprova. Non abbastanza vicino: lo studente si allena di nuovo sugli stessi obiettivi.
Termini che gli stanno vicini.
Large Language Model
Un large language model (LLM) è un sistema AI allenato su enormi collezioni di testo per prevedere il token successivo, il che gli dà una capacità generale di scrivere, riassumere, tradurre e ragionare senza essere programmato per ogni singolo compito.
LeggiFine-tuning
Il fine-tuning è un addestramento aggiuntivo che insegna a un modello generale i tuoi schemi specifici: gli mostri centinaia o migliaia di esempi dei tuoi compiti, del tuo tono e dei tuoi formati, e il modello aggiusta i suoi pesi finché quel comportamento diventa il suo default.
LeggiInference Optimization
L'Inference Optimization è la disciplina ingegneristica che rende un modello già addestrato più veloce e meno costoso da eseguire: misuri dove vanno tempo e compute a ogni richiesta, poi applichi leve come caching, quantizzazione, batching e taglio dei prompt per ridurre entrambi.
Leggi§ 04
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.