Transformer
Il transformer è l'architettura di rete neurale, pubblicata dai ricercatori Google nel 2017, alla base di ogni modello linguistico moderno: processa tutti i token di un testo in una volta sola e usa l'attenzione per far pesare a ogni token la rilevanza di ogni altro token.
Niente gergo, niente formule
In parole semplici, che cos'è?
Un transformer legge la frase intera in un colpo solo, non parola per parola. Il testo viene diviso in token e ognuno diventa un vettore, una lista di numeri che ne codifica il significato. Da ogni vettore il modello ricava tre vettori più piccoli: query, key e value. L'attenzione calcola un punteggio tra la query di ogni token e la key di ogni altro: punteggio alto significa 'guardami'. I punteggi diventano pesi e ogni token assorbe una miscela pesata dei value di tutti gli altri, così l'informazione attraversa tutta la frase in un'unica passata. Questo blocco, attenzione più una piccola rete feed-forward, viene impilato decine di volte: livello dopo livello la rappresentazione si affina, dall'ortografia alla grammatica fino a 'questa penale si riferisce a quella clausola'. Senza loop sulle posizioni, tutto gira in parallelo: allenare su miliardi di parole è diventato pratico. Due confini: il costo cresce col quadrato della lunghezza, limitando quanto testo entra in una passata, e il modello impara schemi statistici, non regole, quindi i casi rari possono ancora sorprenderlo.
- 01
Tokenizza. Il testo viene diviso in token, ognuno con un ID.
- 02
Vettorizza. Ogni token diventa un vettore numerico che ne porta il significato.
- 03
Valuta l'attenzione. Ogni token misura quanto ogni altro token gli è rilevante (query per key).
- 04
Mescola. Il value di ogni token viene fuso in proporzione a quei pesi.
- 05
Impila. Decine di livelli raffinano la miscela; l'informazione posizionale mantiene l'ordine delle parole.
- 06
Prevedi. Il vettore finale alimenta una probabilità per il token successivo.
Termini che gli stanno vicini.
Attention Mechanism
L'attention mechanism è il meccanismo dentro un transformer che lascia pesare a ogni token quanto conta ogni altro token prima di essere processato, così il modello segue a cosa si riferisce 'esso' o a quale data appartiene quale clausola.
LeggiRete Neurale
Una rete neurale è una funzione costruita a strati di unità semplici. Ogni unità moltiplica i propri input per dei pesi, li somma, passa la somma attraverso una piccola non linearità e inoltra il risultato. L'addestramento regola i pesi finché l'intera pila produce output utili.
LeggiLarge Language Model
Un large language model (LLM) è un sistema AI allenato su enormi collezioni di testo per prevedere il token successivo, il che gli dà una capacità generale di scrivere, riassumere, tradurre e ragionare senza essere programmato per ogni singolo compito.
Leggi§ 04
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.