L'explainability è la proprietà di un sistema di AI (o di uno strato aggiunto) che ti permette di vedere perché ha dato una risposta specifica: quali input hanno pesato, quali regole sono scattate e cosa avrebbe cambiato l'esito.
Niente gergo, niente formule
Un modello grande è una scatola nera: miliardi di pesi tarati trasformano il tuo input in un output, senza quadranti da leggere. L'explainability è la cassetta degli attrezzi per farci luce dentro, o intorno. Ci sono due famiglie. I sistemi interpretabili per progettazione sono abbastanza semplici da leggere direttamente: una scorecard, un albero di decisione, un motore di regole; vedi l'intero percorso. Le spiegazioni post-hoc lavorano sui modelli scatola nera: l'attribuzione delle feature (punteggi alla SHAP) classifica quali input hanno spinto la risposta su o giù; i controfattuali ti dicono quale piccola modifica l'avrebbe capovolta (“due consegne in ritardo in meno e questo fornitore sarebbe passato”). Nessuna delle due è una confessione del modello: i punteggi post-hoc sono approssimazioni fedeli, utili per audit e debug, non la prova del vero motivo. È il confine: una spiegazione può essere plausibile ed essere comunque una ricostruzione. Gli usi critici chiedono spiegazione più audit più revisione umana, soprattutto dove lo richiede l'AI Act.
L'interpretabilità è il grado in cui puoi guardare dentro un modello di AI e capire cosa rappresentano le sue parti interne e come si combinano per produrre una risposta, a differenza dell'explainability, che costruisce una giustificazione plausibile dopo la decisione.
LeggiL'AI audit è una revisione strutturata di come un'organizzazione usa davvero l'IA: ogni strumento, modello e flusso di lavoro viene inventariato, poi testato su accuratezza, esposizione dei dati, costi e conformità, con i risultati classificati per rischio e un piano di rimedio allegato.
LeggiLa model evaluation è il processo di misurare le prestazioni di un modello su dati che non ha mai visto, con metriche e test set concordati prima, affidandogli decisioni reali solo a valutazione superata.
Leggi§ 03
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.