Cos'è l'overfitting, quando il modello impara a memoria
Ogni insieme di dati contiene regolarità vere e dettagli casuali. Un modello sano coglie le prime. Un modello in overfitting si attacca anche ai secondi: ricorda che i clienti di una certa provincia hanno pagato in ritardo in un periodo sfortunato e lo trasforma in una regola.
Il segnale tipico è la differenza tra i risultati sui dati di addestramento, ottimi, e quelli su dati mai visti, deludenti. Per questo una parte dei dati si mette sempre da parte e si usa solo per la verifica finale. I rimedi sono più dati, modelli più semplici e tecniche che penalizzano la complessità.
Un esempio in una PMI
Un'azienda di arredamento commissiona un modello per prevedere quali preventivi diventeranno ordini. Sui dati storici indovina quasi sempre, e tutti sono entusiasti. Dopo qualche mese di uso reale le previsioni valgono quanto il lancio di una moneta. Analizzando, si scopre che il modello aveva imparato i nomi dei singoli commerciali, e uno di loro nel frattempo se n'era andato.
Gli errori più comuni
- Valutare il modello sugli stessi dati con cui è stato addestrato.
- Entusiasmarsi per risultati quasi perfetti: spesso sono il primo sintomo del problema.
- Usare un modello molto complesso su pochi dati.
Perché ti interessa
Quando un fornitore ti presenta un modello con risultati straordinari, la domanda da fare è una sola: su quali dati sono stati misurati? Se sono dati che il modello aveva già visto, quei risultati non dicono nulla su come andrà da te.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
L'overfitting riguarda anche i modelli linguistici?
Sì, in forme diverse. Un modello rifinito su pochi esempi può ripeterne le frasi e funzionare peggio su richieste diverse.
Come si capisce se un modello è in overfitting?
Si confrontano i risultati sui dati di addestramento con quelli su dati tenuti da parte. Se la distanza è grande, c'è un problema.
Da leggere dopo
Cos'è il machine learning, spiegato senza formule
Il machine learning, o apprendimento automatico, è il modo di costruire programmi che imparano da esempi invece di seguire regole scritte a mano, e che si possono riaddestrare quando arrivano dati nuovi.
GlossarioCos'è l'addestramento di un modello AI
L'addestramento è la fase in cui un modello di AI impara da una grande quantità di esempi, regolando i propri parametri finché le sue risposte diventano corrette.
GlossarioCos'è il fine-tuning e quando conviene a una PMI
Il fine-tuning è un addestramento supplementare di un modello già pronto, fatto su esempi tuoi, per fargli imparare uno stile, un formato o un compito specifico.
GlossarioCos'è l'analisi predittiva per una PMI
L'analisi predittiva usa dati storici e modelli statistici o di machine learning per stimare cosa è probabile che succeda: quali clienti smetteranno di comprare, quali fatture saranno pagate in ritardo, quale macchina rischia un guasto. Non dà certezze, ma probabilità su cui decidere.
GlossarioCos'è un dataset e come si prepara per l'AI
Un dataset è una raccolta organizzata di dati dello stesso tipo, come righe di una tabella, documenti, immagini o registrazioni, preparata per uno scopo preciso: addestrare un modello, verificarne i risultati o analizzare un fenomeno.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.