Cos'è il reinforcement learning, spiegato semplice
Non ci sono esempi con la risposta giusta, come nell'apprendimento supervisionato. C'è un obiettivo e un modo per misurarlo. Il sistema prova, sbaglia, riprova, e tiene ciò che funziona. È così che alcuni programmi hanno imparato a giocare a scacchi e a Go meglio dei campioni.
Oggi il rinforzo è centrale anche nei modelli linguistici. I modelli di ragionamento vengono allenati su problemi di matematica e programmazione con una risposta verificabile: se il risultato è giusto, il percorso che l'ha prodotto viene premiato. Il rischio classico è che il sistema trovi scorciatoie per ottenere il premio senza fare davvero il lavoro, quando la misura è scritta male.
Un esempio in una PMI
Il rinforzo si usa anche fuori dai laboratori. Un magazzino automatico può allenare in simulazione il sistema che decide dove collocare la merce in arrivo, premiando i percorsi brevi dei carrelli nei giorni successivi. Dopo molte simulazioni la strategia viene provata su una zona del magazzino e confrontata con quella in uso.
Gli errori più comuni
- Definire un premio che non corrisponde all'obiettivo vero: il sistema ottimizza la misura, non l'intenzione.
- Allenare direttamente sul processo reale, dove gli errori costano, invece che in simulazione.
- Pensare che serva a ogni problema: spesso un modello supervisionato è più semplice e basta.
Perché ti interessa
Per una PMI il reinforcement learning su misura è raro. Ma spiega come sono costruiti i modelli di ragionamento che usi, e insegna una lezione utile anche per gli agenti: qualunque sistema ottimizza ciò che misuri, quindi la misura va scelta con cura.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
Che differenza c'è con l'RLHF?
L'RLHF è un caso di reinforcement learning in cui il premio viene dal giudizio delle persone sulle risposte, invece che da una regola automatica.
Si usa nella logistica e nella produzione?
Sì, in pianificazione, robotica e controllo di impianti, quasi sempre allenando prima su un simulatore. Sono progetti impegnativi, adatti a problemi ben misurabili.
Da leggere dopo
Cos'è il machine learning, spiegato senza formule
Il machine learning, o apprendimento automatico, è il modo di costruire programmi che imparano da esempi invece di seguire regole scritte a mano, e che si possono riaddestrare quando arrivano dati nuovi.
GlossarioCos'è un modello di ragionamento e quando ne vale la pena
Un modello di ragionamento è un modello di AI che, prima di dare la risposta, produce una serie di passaggi intermedi in cui analizza il problema, e per questo è più bravo nei compiti complessi.
GlossarioCos'è l'addestramento di un modello AI
L'addestramento è la fase in cui un modello di AI impara da una grande quantità di esempi, regolando i propri parametri finché le sue risposte diventano corrette.
GlossarioCos'è l'RLHF, l'AI che impara dal giudizio umano
L'RLHF, apprendimento per rinforzo dal feedback umano, è una tecnica per rifinire un modello linguistico: delle persone confrontano più risposte e scelgono le migliori, e il modello viene addestrato a produrre più spesso risposte di quel tipo.
GlossarioApprendimento supervisionato e non supervisionato
Nell'apprendimento supervisionato il modello impara da esempi in cui la risposta giusta è già indicata, per poi prevederla sui casi nuovi. In quello non supervisionato riceve dati senza risposte e cerca da solo gruppi e somiglianze.
GlossarioCos'è un gemello digitale (digital twin)
Un gemello digitale è una copia virtuale di un oggetto, un impianto o un processo reale, tenuta aggiornata con i dati che arrivano dal mondo fisico, su cui puoi simulare cosa succederebbe prima di intervenire davvero.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.