Overfitting
L'overfitting è quando un modello memorizza i suoi dati di training invece di imparare lo schema sottostante: quasi perfetto sugli esempi che ha visto, inaffidabile su tutto il resto.
Niente gergo, niente formule
In parole semplici, che cos'è?
Il training riduce l'errore sul training set, e c'è un punto in cui smette di essere progresso. Se continui a correggere, il modello inizia ad adattarsi al rumore dei dati: i refusi esatti, i picchi una tantum, le bizze del trimestre scorso. Il segnale stanno in due curve: l'errore di training continua a scendere mentre quello su dati mai visti sale. I parameter hanno di fatto memorizzato le flashcard. Le cure seguono la diagnosi: fermarsi prima (early stopping), raccogliere più dati o migliori, usare un modello più piccolo, oppure regolarizzare. Il verdetto onesto arriva sempre dal test set che il modello non ha mai toccato, mai dal punteggio di training.
- 01
Alleni. Il modello corregge i suoi parameter sugli esempi di training.
- 02
Provi su dati mai visti. Il test set separato mostra se lo schema generalizza.
- 03
Riconosci il segnale. Perfetto sul training, scarso sui dati nuovi significa memorizzazione.
- 04
Curi. Più dati, early stopping o un modello più piccolo rompono la memorizzazione.
Termini che gli stanno vicini.
Training
Il training è il processo che trasforma un modello vuoto in un'IA funzionante: gli mostri migliaia o milioni di esempi, confronti le sue risposte con quelle corrette e correggi le sue impostazioni interne finché le risposte migliorano.
LeggiDataset
Un dataset è la raccolta organizzata di esempi da cui un'IA impara o sulla quale viene giudicata: migliaia o milioni di righe di testo, immagini o letture di sensori, ripulite, etichettate e divise in training, validation e test.
LeggiModel Evaluation
La model evaluation è il processo di misurare le prestazioni di un modello su dati che non ha mai visto, con metriche e test set concordati prima, affidandogli decisioni reali solo a valutazione superata.
Leggi§ 04
Vuoi che funzioni davvero nella tua azienda?
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.