Edge AI
L'Edge AI è l'esecuzione di modelli AI sul dispositivo dove nascono i dati: una camera, un sensore, un telefono, un gateway di fabbrica, invece di spedire tutto a un data centre nel cloud e aspettare la risposta.
Niente gergo, niente formule
In parole semplici, che cos'è?
Un modello piccolo (quantizzato, alleggerito) viene installato accanto alla sorgente dei dati. Il sensore produce dati; il modello li trasforma in numeri e li processa in loco, in millisecondi, perché non c'è nessun viaggio in rete. A monte conta solo l'esito: un flag, un conteggio, un allarme, oppure niente. È una divisione del lavoro. L'edge gestisce il 99% dei dati che è noioso, tutto normale, e il cloud riceve le eccezioni e il training pesante. Il guadagno è latenza, funzionamento offline e privacy: nulla di sensibile lascia lo stabilimento, a meno che tu non lo mandi. Dove si rompe: i dispositivi hanno budget di memoria e potenza minuscoli, quindi i modelli devono essere piccoli e potati. E aggiornare cinquecento dispositivi sparsi è un problema operativo a parte, altro che aggiornare un server.
- 01
Sensa. Una camera, un sensore o una macchina produce dati grezzi sul posto.
- 02
Valuta in loco. Un modello compatto sul dispositivo o sul suo gateway processa i dati in millisecondi.
- 03
Decidi. Il modello giudica se qualcosa non va: i problemi restano, tutto il resto viene scartato sul posto.
- 04
Agisci sul posto. I problemi scatenano un allarme o un'azione locale, senza aspettare la rete.
- 05
Manda solo le eccezioni. Eventi segnalati e riepiloghi viaggiano verso il sistema centrale, nient'altro.
Termini che gli stanno vicini.
NPU
La NPU è una neural processing unit: un acceleratore AI a basso consumo integrato in laptop, telefoni e dispositivi industriali, così l'inference gira sul dispositivo stesso senza alcun viaggio nel cloud.
LeggiLatenza
La latenza è il ritardo tra una richiesta e la sua risposta, misurato in millisecondi. Nei sistemi di AI si accumula tra coda di attesa, lettura del prompt, generazione dei token e viaggi di rete, e decide se uno strumento sembra istantaneo o inutilizzabile.
LeggiInference
L'inference è l'uso di un modello già allenato: mandi un input, il modello applica ciò che il training ha codificato nei suoi parameter e ti restituisce una risposta, un token alla volta.
Leggi§ 04
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.