Un modello multimodale è un unico modello AI che gestisce più di un tipo di input e output, testo, immagini, audio, video, ragionando su tutti in una rappresentazione interna condivisa invece di richiedere uno strumento separato per formato.
Niente gergo, niente formule
Hai testo, foto e audio e invece di tre strumenti separati ne usi uno. Ogni modalità ha il suo encoder: il testo diventa token, l'immagine diventa patch, l'audio diventa segmenti, e ognuno viene proiettato nello stesso spazio numerico condiviso, dove parole, forme e suoni comparabili finiscono vicini. Dentro, un transformer fa attention attraverso le modalità: chiedi “che valore segna questo manometro?” e l'attenzione collega la tua domanda alle patch dell'immagine che contano. In uscita, un decoder scrive nella modalità che chiedi: testo, oppure istruzioni per generare immagine o voce. Il limite: le debolezze si sommano. Se l'occhio del modello fraintende il quadrante, la risposta esce sicura e sbagliata, e resta sempre un predittore di plausibilità, non una banca dati.
Un large language model (LLM) è un sistema AI allenato su enormi collezioni di testo per prevedere il token successivo, il che gli dà una capacità generale di scrivere, riassumere, tradurre e ragionare senza essere programmato per ogni singolo compito.
LeggiUn embedding è una lista di numeri che cattura il significato di un testo, un'immagine o un audio, così che contenuti dal significato simile ricevano numeri simili e il computer possa misurare la vicinanza con aritmetica normale.
LeggiIl transformer è l'architettura di rete neurale, pubblicata dai ricercatori Google nel 2017, alla base di ogni modello linguistico moderno: processa tutti i token di un testo in una volta sola e usa l'attenzione per far pesare a ogni token la rilevanza di ogni altro token.
Leggi§ 03
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.