Embedding
Un embedding è una lista di numeri che cattura il significato di un testo, un'immagine o un audio, così che contenuti dal significato simile ricevano numeri simili e il computer possa misurare la vicinanza con aritmetica normale.
Niente gergo, niente formule
In parole semplici, che cos'è?
Un modello di embedding legge un contenuto e ne comprime il significato in qualche centinaio di numeri, un vettore. Pensalo come un indirizzo postale del significato: “guarnizione pompa idraulica” e “kit tenuta per perdite d'olio” finiscono nello stesso quartiere anche senza condividere una parola. Il modello è allenato perché la distanza in questo spazio di numeri corrisponda alla differenza di significato: la cosine similarity, la misura standard dell'angolo tra due vettori, dà il punteggio di vicinanza. Gli embedding sono la materia prima della ricerca semantica e dei vector database: quando ogni documento ha un indirizzo, trovare documenti correlati diventa un problema di geometria invece che di corrispondenza tra parole. Il tranello: gli indirizzi hanno senso solo dentro il modello che li ha creati, e da soli non portano fatti, solo somiglianza.
- 01
Contenuto in ingresso. Testo, immagine o audio entrano nel modello di embedding.
- 02
Compressione. Il modello distilla il significato in qualche centinaio di numeri.
- 03
Il vettore. I numeri formano l'embedding: l'indirizzo del contenuto nello spazio dei significati.
- 04
Somiglianza. Numeri vicini significano significati vicini, misurati con la cosine similarity.
- 05
Memorizzazione. Il vettore finisce in un vector database, pronto per la ricerca per somiglianza.
Termini che gli stanno vicini.
Vector Database
Un vector database è un database costruito per memorizzare impronte numeriche di contenuti (embedding) e trovare in millisecondi quelle più vicine a una qualsiasi query: è il motore della ricerca semantica, dei suggerimenti e del retrieval dell'AI.
LeggiRicerca semantica
La ricerca semantica trova contenuti per significato invece che per parole esatte: la query e i documenti vengono convertiti in embedding, e vengono restituite le corrispondenze più vicine anche quando non condividono una parola.
LeggiChunking
Il chunking è il modo in cui i documenti lunghi vengono tagliati prima dell'indicizzazione: i tagli decidono cosa la ricerca può trovare, quindi un buon frammento è un passaggio autosufficiente che mantiene il significato anche letto da solo.
Leggi§ 04
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.