Attention Mechanism
L'attention mechanism è il meccanismo dentro un transformer che lascia pesare a ogni token quanto conta ogni altro token prima di essere processato, così il modello segue a cosa si riferisce 'esso' o a quale data appartiene quale clausola.
Niente gergo, niente formule
In parole semplici, che cos'è?
L'attenzione assegna a ogni token tre vettori. La query dice cosa il token sta cercando, la key cosa può offrire, il value è il contenuto offerto. Il modello moltiplica le query per le key e ottiene un punteggio per ogni coppia: quando 'penale' incontra la clausola di liquidazione dei danni, il punteggio schizza. Una softmax trasforma i punteggi in pesi con somma uno, e ogni token si ricostruisce come somma pesata di tutti i value. È come leggere un contratto con un evidenziatore: ogni parola decide da sola quali altre parole evidenziare, e l'evidenziazione determina cosa la parola significa nel contesto. La multi-head attention ripete il gioco più volte in parallelo con prospettive diverse: una testa presa dalla grammatica, una dai rinvii tra clausole. Il modo in cui si rompe è la distanza: in un documento lunghissimo i pochi token che contano possono essere sovrastati dai tanti che stanno solo intorno, ed è così che il modello perde il numero sepolto in mezzo.
- 01
Query. Ogni token chiede, in forma vettoriale, cosa sta cercando.
- 02
Key. Ogni token annuncia quale informazione può offrire.
- 03
Punteggio. Query per key produce un punteggio di rilevanza per ogni coppia di token.
- 04
Pesatura. Una softmax trasforma i punteggi in pesi con somma uno.
- 05
Miscela. Ogni token diventa una somma pesata di tutti i value: il contesto entra dentro la parola.
Termini che gli stanno vicini.
Transformer
Il transformer è l'architettura di rete neurale, pubblicata dai ricercatori Google nel 2017, alla base di ogni modello linguistico moderno: processa tutti i token di un testo in una volta sola e usa l'attenzione per far pesare a ogni token la rilevanza di ogni altro token.
LeggiLarge Language Model
Un large language model (LLM) è un sistema AI allenato su enormi collezioni di testo per prevedere il token successivo, il che gli dà una capacità generale di scrivere, riassumere, tradurre e ragionare senza essere programmato per ogni singolo compito.
LeggiEmbedding
Un embedding è una lista di numeri che cattura il significato di un testo, un'immagine o un audio, così che contenuti dal significato simile ricevano numeri simili e il computer possa misurare la vicinanza con aritmetica normale.
Leggi§ 04
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.