Cos'è un dataset e come si prepara per l'AI
Nel machine learning il dataset è la materia prima. Di solito si divide in parti con ruoli diversi: una per addestrare il modello, una per regolarlo durante il lavoro, una tenuta da parte per la verifica finale, che il modello non deve mai vedere prima.
Un buon dataset è pertinente al problema, rappresenta i casi reali in proporzioni simili a quelle vere, è coerente nelle etichette e nei formati, ed è documentato: dice da dove vengono i dati, quando sono stati raccolti e con quali permessi. Il formato conta meno: un foglio di calcolo ordinato è già un dataset.
Un esempio in una PMI
Un'impresa di pulizie vuole stimare in anticipo le ore necessarie per ogni nuovo cantiere. Raccoglie in un foglio i lavori degli ultimi anni con metri quadri, tipo di locale, frequenza e ore effettive. Toglie i doppioni, corregge le unità di misura sbagliate ed elimina i nomi dei clienti. Quel foglio diventa il dataset su cui provare un primo modello.
Gli errori più comuni
- Raccogliere tutto quello che c'è senza chiedersi a quale domanda deve rispondere.
- Lasciare dentro dati personali che non servono allo scopo.
- Non annotare l'origine dei dati: dopo un anno nessuno sa più da dove venivano.
Perché ti interessa
Quasi ogni progetto di AI su misura si blocca o rallenta per i dati, non per il modello. Sapere cosa rende buono un dataset ti permette di capire prima se un'idea è fattibile con quello che hai, e di cominciare a raccogliere meglio oggi ciò che servirà domani.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
Posso usare dataset pubblici?
Sì, per molti compiti esistono dataset aperti. Va controllata la licenza, che a volte esclude l'uso commerciale, e va verificato che somiglino ai tuoi casi.
Quanti dati servono?
Dipende dal problema e dal tipo di modello. Per adattare un modello già addestrato possono bastare pochi esempi buoni; per costruirne uno da zero ne servono moltissimi.
Da leggere dopo
Cos'è l'addestramento di un modello AI
L'addestramento è la fase in cui un modello di AI impara da una grande quantità di esempi, regolando i propri parametri finché le sue risposte diventano corrette.
GlossarioCos'è il machine learning, spiegato senza formule
Il machine learning, o apprendimento automatico, è il modo di costruire programmi che imparano da esempi invece di seguire regole scritte a mano, e che si possono riaddestrare quando arrivano dati nuovi.
GlossarioCosa sono i dati sintetici e quando usarli
I dati sintetici sono dati creati artificialmente, da regole o da un modello di AI, che imitano le caratteristiche di dati reali senza corrispondere a persone o fatti veri. Si usano per provare software, addestrare modelli o condividere esempi senza esporre informazioni riservate.
GlossarioDati strutturati e non strutturati: la differenza
I dati strutturati sono organizzati in campi fissi, come le righe di un gestionale o di un foglio di calcolo. I dati non strutturati non hanno uno schema: mail, PDF, foto, registrazioni, chat. La maggior parte delle informazioni di un'azienda è non strutturata, ed è qui che l'AI aiuta di più.
GlossarioCos'è l'etichettatura dei dati per l'AI
L'etichettatura dei dati è il lavoro di associare a ogni esempio la risposta giusta, come "difettoso" o "buono" per una foto o "reclamo" per una mail, così che un modello impari dagli esempi a riconoscere da solo i casi nuovi.
GlossarioCos'è l'overfitting, quando il modello impara a memoria
L'overfitting, o sovradattamento, succede quando un modello impara troppo bene gli esempi di addestramento, compresi rumore e coincidenze, e poi funziona male sui casi nuovi. È come uno studente che ha memorizzato le risposte invece di capire la materia.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.