VRAM
La VRAM è la memoria dedicata su una scheda grafica o un acceleratore AI che contiene i pesi del modello e i numeri intermedi di ogni calcolo, così i processori che fanno il lavoro AI non aspettano la RAM di sistema, più lenta.
Niente gergo, niente formule
In parole semplici, che cos'è?
Un modello AI è una tabella enorme di numeri (i suoi parametri), e farlo girare significa leggere tutta quella tabella per ogni risposta. La VRAM è la memoria costruita per stare a pochi millimetri dai core di calcolo, su un collegamento largo, così migliaia di numeri passano a ogni ciclo di clock. Cosa entra: il file del modello più la domanda. Cosa succede: ogni livello del modello moltiplica la sua fetta di tabella contro il tuo input, tenendo i risultati intermedi nella stessa memoria. Cosa esce: la risposta, e un'occupazione di memoria che puoi misurare. Dove si rompe: la capacità è un muro, non una pendenza. Un modello che con pesi e spazio di lavoro supera la tua VRAM non gira più lento: rifiuta di caricarsi. Per questo un modello da 70 miliardi di parametri chiede circa 140 GB a piena precisione, e per questo i team riducono i modelli con la quantizzazione per farli stare su schede più piccole.
Termini che gli stanno vicini.
GPU
La GPU è un processore progettato per eseguire migliaia di piccoli calcoli in parallelo. Nata per la grafica, si è rivelata il motore perfetto dell'AI: eseguire una rete neurale è in gran parte un'enorme pila di moltiplicazioni tra matrici.
LeggiAI Accelerator
Un acceleratore AI è un processore costruito per un solo lavoro: le moltiplicazioni di matrici di cui sono fatti le reti neurali. GPU, TPU e NPU sono tutti acceleratori: scambiano la flessibilità di una CPU con una resa molto più alta per watt sui carichi AI.
LeggiQuantizzazione
La quantizzazione è una tecnica di compressione che riscrive i pesi di un modello da decimali ad alta precisione (float a 32 bit) a numeri più piccoli (interi a 8 o 4 bit), così il modello occupa meno memoria e gira più veloce su hardware più economico, a un costo di accuratezza piccolo e misurabile.
Leggi§ 03
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.