Quantizzazione

Niente gergo, niente formule

Una rete neurale è un mucchio di numeri, i pesi. Una volta addestrati, vengono memorizzati come decimali con molte cifre (float a 32 bit). La quantizzazione arrotonda ogni peso a una griglia molto più grossolana: invece di 0,673891 memorizza 0,7, o un codice intero che lo rappresenta. Ne derivano due vantaggi. Primo, la memoria: un peso a 8 bit occupa un quarto dello spazio, quindi un modello da 14 GB entra in meno di 4 GB. Secondo, la velocità: la matematica intera è ciò che CPU e chip dei telefoni fanno nativamente, quindi i token escono più in fretta anche senza una GPU grossa. Il compromesso è l'accuratezza. L'arrotondamento sfuma un po' i pesi, e il modello può peggiorare leggermente nei compiti esatti: aritmetica, parole rare, formati precisi. Spingendoti a 4 bit la sfumatura cresce, e alcuni modelli crollano. Quindi quantizzi, poi testi sul tuo compito reale e tieni la dimensione più piccola che non fa male. Quel test non è facoltativo.