I dati non strutturati sono informazioni senza schema fisso: documenti, email, immagini, audio, log di chat, PDF. La maggior parte di ciò che un'azienda sa vive in questa forma, ma il software deve prima convertirla prima di poterla cercare o contare.
Niente gergo, niente formule
Una cella di un foglio di calcolo porta le sue etichette: questa è una data, quella è un prezzo. Un PDF non porta nulla, solo inchiostro disposto su pagine, e il significato sta nella disposizione. Questi sono dati non strutturati: contratti, email, scansioni, foto, registrazioni di chiamate, note di manutenzione. Circa quattro quinti di ciò che un'organizzazione sa sta in questa forma, illeggibile per chi si aspetta colonne. Per usarli passi dei convertitori: l'OCR trasforma le scansioni in testo, la trascrizione trasforma l'audio in testo, e frammentazione ed embedding trasformano il testo in vettori cercabili. Da lì possono entrare nel mondo strutturato, e puoi interrogare un decennio di contratti come se fosse una tabella. Il limite è onesto: scansioni brutte e audio stentato producono testo brutto, quindi tutto ciò che ha bassa confidenza passa prima da un occhio umano.
Lo structured output è una modalità in cui il modello è costretto a rispondere in un formato leggibile dalle macchine (JSON, una tabella, uno schema fisso) invece che in testo libero, così la risposta può essere validata, salvata e passata ad altro software senza che un umano la ritrascriva.
LeggiL'OCR (Optical Character Recognition, riconoscimento ottico dei caratteri) è un software che trasforma immagini di testo, come pagine scannerizzate, note di consegna fotografate o PDF esportati, in testo leggibile dalle macchine, che altri programmi possono cercare, contare e modificare.
LeggiIl chunking è il modo in cui i documenti lunghi vengono tagliati prima dell'indicizzazione: i tagli decidono cosa la ricerca può trovare, quindi un buon frammento è un passaggio autosufficiente che mantiene il significato anche letto da solo.
Leggi§ 03
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.