Inference Optimization
L'Inference Optimization è la disciplina ingegneristica che rende un modello già addestrato più veloce e meno costoso da eseguire: misuri dove vanno tempo e compute a ogni richiesta, poi applichi leve come caching, quantizzazione, batching e taglio dei prompt per ridurre entrambi.
Niente gergo, niente formule
In parole semplici, che cos'è?
L'inference è la fase in cui paghi le bollette: ogni richiesta dell'utente brucia compute. L'ottimizzazione parte dalla misura, non dalle supposizioni. Cronometri ogni fase di una richiesta: la lettura del prompt (prefill), la generazione dei token uno alla volta, i viaggi di rete. La fase più lenta sceglie la leva. Se il modello è troppo grande, lo quantizzi o distilli. Se le stesse domande si ripetono, metti in cache le risposte. Se i prompt sono gonfiati di boilerplate, tagli i token. Se le richieste arrivano a ondate, le raggruppi in batch così la GPU lavora a piena occupazione. Ogni leva ha un costo: la cache richiede regole di invalidazione, il batch aggiunge una piccola attesa, il taglio può togliere il contesto che serviva al modello. Quindi cambi una cosa alla volta, ri-misuri sullo stesso test set fisso e tieni solo ciò che migliora i numeri. Come si rompe: ottimizzare prima di misurare significa lavorare sulla fase sbagliata e non poter provare nulla.
- 01
Misura. Cronometra ogni fase di una richiesta: prefill, generazione dei token, rete.
- 02
Individua. La fase più lenta decide quale leva vale la pena tirare.
- 03
Riduci. Se il collo di bottiglia è il modello, quantizzalo o distillalo.
- 04
Cache. Se le domande si ripetono, servi le risposte già memorizzate.
- 05
Taglia. Se i prompt portano boilerplate, elimina i token che il modello non usa.
- 06
Ri-misura. Riesegui lo stesso test set e tieni solo ciò che migliora i numeri.
Termini che gli stanno vicini.
Inference
L'inference è l'uso di un modello già allenato: mandi un input, il modello applica ciò che il training ha codificato nei suoi parameter e ti restituisce una risposta, un token alla volta.
LeggiLatenza
La latenza è il ritardo tra una richiesta e la sua risposta, misurato in millisecondi. Nei sistemi di AI si accumula tra coda di attesa, lettura del prompt, generazione dei token e viaggi di rete, e decide se uno strumento sembra istantaneo o inutilizzabile.
LeggiQuantizzazione
La quantizzazione è una tecnica di compressione che riscrive i pesi di un modello da decimali ad alta precisione (float a 32 bit) a numeri più piccoli (interi a 8 o 4 bit), così il modello occupa meno memoria e gira più veloce su hardware più economico, a un costo di accuratezza piccolo e misurabile.
Leggi§ 04
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.