GPU
La GPU è un processore progettato per eseguire migliaia di piccoli calcoli in parallelo. Nata per la grafica, si è rivelata il motore perfetto dell'AI: eseguire una rete neurale è in gran parte un'enorme pila di moltiplicazioni tra matrici.
Niente gergo, niente formule
In parole semplici, che cos'è?
La CPU ha pochi core velocissimi e furbi; la GPU ne ha migliaia, semplici. Una rete neurale è una lunga catena di moltiplicazioni tra matrici, e ogni elemento del risultato si calcola in modo indipendente: la GPU distribuisce il lavoro su tutti i core in una volta sola. L'altra metà della storia è la memoria: i pesi del modello vivono nella memoria veloce della scheda (VRAM) e devono arrivare ai core in tempo, altrimenti i core restano fermi ad aspettare numeri. Il training gira il calcolo in avanti, misura l'errore e lo rigira all'indietro per correggere i pesi, milioni di volte; l'inference fa solo il passo in avanti. Dove si rompe: se il modello è più grande della tua VRAM non ci entra proprio, e lo stesso lavoro su una CPU può richiedere da 10 a 50 volte più tempo.
Termini che gli stanno vicini.
AI Accelerator
Un acceleratore AI è un processore costruito per un solo lavoro: le moltiplicazioni di matrici di cui sono fatti le reti neurali. GPU, TPU e NPU sono tutti acceleratori: scambiano la flessibilità di una CPU con una resa molto più alta per watt sui carichi AI.
LeggiVRAM
La VRAM è la memoria dedicata su una scheda grafica o un acceleratore AI che contiene i pesi del modello e i numeri intermedi di ogni calcolo, così i processori che fanno il lavoro AI non aspettano la RAM di sistema, più lenta.
LeggiInference
L'inference è l'uso di un modello già allenato: mandi un input, il modello applica ciò che il training ha codificato nei suoi parameter e ti restituisce una risposta, un token alla volta.
Leggi§ 03
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.