NPU
La NPU è una neural processing unit: un acceleratore AI a basso consumo integrato in laptop, telefoni e dispositivi industriali, così l'inference gira sul dispositivo stesso senza alcun viaggio nel cloud.
Niente gergo, niente formule
In parole semplici, che cos'è?
La NPU fa la stessa matematica delle matrici di una GPU, ma progettata su un budget di potenza in watt, non in kilowatt. Il modello vive nella memoria del dispositivo, compresso e alleggerito (quantizzato) per starci. Il tuo input, un comando vocale, un fotogramma della camera, una lettura di vibrazione, viene convertito in numeri e passato alla NPU, che restituisce una risposta in millisecondi perché nulla attraversa la rete. Due conseguenze: funziona anche a internet spento, e i dati sensibili non lasciano mai la macchina. Dove si rompe: il chip si congela al momento dell'acquisto. Una NPU fa girare benissimo modelli piccoli e non farà mai girare un modello da 70 miliardi di parametri; quando il compito supera il chip, il lavoro deve comunque andare a un server o al cloud.
Termini che gli stanno vicini.
Edge AI
L'Edge AI è l'esecuzione di modelli AI sul dispositivo dove nascono i dati: una camera, un sensore, un telefono, un gateway di fabbrica, invece di spedire tutto a un data centre nel cloud e aspettare la risposta.
LeggiGPU
La GPU è un processore progettato per eseguire migliaia di piccoli calcoli in parallelo. Nata per la grafica, si è rivelata il motore perfetto dell'AI: eseguire una rete neurale è in gran parte un'enorme pila di moltiplicazioni tra matrici.
LeggiAI Accelerator
Un acceleratore AI è un processore costruito per un solo lavoro: le moltiplicazioni di matrici di cui sono fatti le reti neurali. GPU, TPU e NPU sono tutti acceleratori: scambiano la flessibilità di una CPU con una resa molto più alta per watt sui carichi AI.
Leggi§ 03
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.