Model Drift

Niente gergo, niente formule

Un modello è una fotografia congelata delle regolarità dei suoi dati di training. Valutarlo sui dati di domani non darà mai una corrispondenza perfetta, ma di solito regge. Drift è quando smette di reggere. Ci sono due varietà. Data drift: cambiano gli input, come un catalogo prodotti che raddoppia dopo un'acquisizione, così il modello incontra articoli che non ha mai visto. Concept drift: gli input sembrano uguali ma la relazione è cambiata, come clienti che reagiscono a un aumento di prezzo. In entrambi i casi l'effetto è identico: le predizioni degradano in silenzio mentre la pipeline le continua a servire tranquilla. Lo catturi monitorando due cose in produzione: la forma statistica dei dati in arrivo e le metriche di esito, quando le risposte vere arrivano. La cura è un nuovo giro di training su dati recenti, oppure un rollback. Dove si rompe: il drift è invisibile finché non misuri gli esiti, e a quel punto il danno è fatto, quindi il monitoraggio deve girare in continuo.