TPU

Niente gergo, niente formule

Come una GPU, la TPU macina matrici in parallelo, ma l'hardware è una pipeline fissa modellata su un'unica operazione: moltiplicare numeri e sommarli, in scala. Affitti i chip TPU dentro Google Cloud, collegati in pod da migliaia di unità con un'interconnessione su misura, così tanti chip si comportano come un unico cervello enorme. Prima che il modello giri, il software di Google lo compila in una mappa statica di quella pipeline. Ciò che si mappa bene va velocissimo per watt e per euro; le operazioni esotiche che non entrano nella pipeline vanno più piano o aspettano il supporto software. Dove si rompe: la flessibilità. Architetture nuove o insolite possono compilare male o per niente, e resti legato al cloud di Google, ai suoi prezzi e ai suoi tempi di rilascio.