Model Evaluation
La model evaluation è il processo di misurare le prestazioni di un modello su dati che non ha mai visto, con metriche e test set concordati prima, affidandogli decisioni reali solo a valutazione superata.
Niente gergo, niente formule
In parole semplici, che cos'è?
La valutazione risponde a una domanda prima di fidarti di un modello: come si comporta su dati che non ha mai visto? Prima tieni da parte un test set, separato dal training, così il modello non può impararlo a memoria. Poi scegli metriche adatte al compito: accuratezza o F1 per classificare, errore nelle unità di misura per prevedere, un modello giudice con una griglia per le risposte generative. Il candidato viene misurato sul test set e poi confrontato con due punti di riferimento: una baseline semplice e il modello attualmente in produzione. La media non basta: devi anche spezzare i risultati per regione, prodotto o tipo di cliente, perché un 95% complessivo può nascondere un 60% sui ricambi lenti. Supera il cancello e il modello va in produzione; fallisce e torna indietro con un report. Dove si rompe: un test set che finisce nel training, oppure metriche che premiano il comportamento sbagliato, come l'accuratezza su un dataset frodi dove le frodi sono lo 0,1% delle righe e rispondere sempre “non frode” vince.
- 01
Riserva. Un test set viene tenuto separato dai dati di training.
- 02
Misura. Metriche adatte al compito vengono calcolate su dati mai visti.
- 03
Confronta. Il candidato viene valutato contro una baseline e contro il modello attuale.
- 04
Spezza. I risultati vengono analizzati per regione, prodotto o tipo di cliente.
- 05
Cancello. Superato significa produzione; fallito significa report e altro lavoro.
Termini che gli stanno vicini.
Benchmark
Un benchmark è un test standardizzato che classifica i modelli su un compito, un dataset e un metodo di valutazione fissi, così sistemi diversi si confrontano sullo stesso terreno invece che sulle promesse dei vendor.
LeggiMLOps
MLOps è l'insieme di pratiche, strumenti e pipeline che portano un modello di machine learning dal notebook di un data scientist alla produzione e lo mantengono affidabile: versionano dati e codice, allenano, valutano, rilasciano e monitorano il modello come qualsiasi altro software critico.
LeggiOverfitting
L'overfitting è quando un modello memorizza i suoi dati di training invece di imparare lo schema sottostante: quasi perfetto sugli esempi che ha visto, inaffidabile su tutto il resto.
Leggi§ 04
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.