Latenza
La latenza è il ritardo tra una richiesta e la sua risposta, misurato in millisecondi. Nei sistemi di AI si accumula tra coda di attesa, lettura del prompt, generazione dei token e viaggi di rete, e decide se uno strumento sembra istantaneo o inutilizzabile.
Niente gergo, niente formule
In parole semplici, che cos'è?
Ogni risposta di AI attraversa una catena, e la latenza è il tempo totale della catena. Prima la coda: la tua richiesta aspetta il suo turno dietro ad altre. Secondo, il prefill: il modello legge tutto il prompt, in fretta ma non gratis. Terzo, la generazione: il modello scrive la risposta un token alla volta, e ogni token richiede un passaggio completo attraverso il modello. Di solito è il tratto più lungo e cresce con la lunghezza della risposta. Quarto, i viaggi di rete tra te, l'API e il ritorno. Riduci la latenza dove vive davvero: un prompt più corto taglia il prefill, chiedere una risposta più breve taglia la generazione, un server vicino o un modello sul dispositivo tagliano la rete. Il confine è la percezione umana. Una chat che risponde in 300 millisecondi sembra istantanea; oltre circa un secondo l'attesa si nota; oltre pochi secondi l'utente abbandona il compito. La voce è più severa: il turno di parola si spezza sopra gli 800 millisecondi circa.
Termini che gli stanno vicini.
Inference
L'inference è l'uso di un modello già allenato: mandi un input, il modello applica ciò che il training ha codificato nei suoi parameter e ti restituisce una risposta, un token alla volta.
LeggiInference Optimization
L'Inference Optimization è la disciplina ingegneristica che rende un modello già addestrato più veloce e meno costoso da eseguire: misuri dove vanno tempo e compute a ogni richiesta, poi applichi leve come caching, quantizzazione, batching e taglio dei prompt per ridurre entrambi.
LeggiEdge AI
L'Edge AI è l'esecuzione di modelli AI sul dispositivo dove nascono i dati: una camera, un sensore, un telefono, un gateway di fabbrica, invece di spedire tutto a un data centre nel cloud e aspettare la risposta.
Leggi§ 03
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.