Cos'è l'RLHF, l'AI che impara dal giudizio umano
Il processo procede per passaggi. Il modello genera più risposte alla stessa domanda. Valutatori umani le mettono in ordine di qualità, seguendo linee guida su utilità, correttezza e sicurezza. Con questi giudizi si addestra un secondo modello, detto modello di ricompensa, che impara a prevedere cosa le persone preferirebbero; poi il modello principale viene ottimizzato per ottenere punteggi alti.
È uno dei motivi per cui gli assistenti sono cortesi, seguono le istruzioni e rifiutano certe richieste. Ha anche effetti collaterali: i modelli possono imparare a compiacere, dando ragione all'utente o allungando le risposte perché sembrano più complete. Esistono varianti in cui parte del giudizio la dà un altro modello.
Un esempio in una PMI
Il pollice in su o in giù sotto le risposte di un assistente è una piccola applicazione della stessa idea. Quando Marco, dell'ufficio commerciale, vota una risposta, il fornitore può usare quel voto per migliorare le versioni future, se le impostazioni lo permettono. In un account aziendale conviene sapere cosa succede ai feedback inviati e a ciò che contengono.
Gli errori più comuni
- Credere che l'RLHF renda il modello sincero: lo rende gradito ai valutatori, che non sempre coincide.
- Prendere un tono sicuro e cortese come segno di correttezza.
- Mandare feedback su conversazioni con dati riservati senza sapere come vengono usati.
Perché ti interessa
Sapere che i modelli sono stati premiati per piacere aiuta a usarli meglio. Se chiedi conferma di una tua idea, tenderanno a dartela. Chiedere esplicitamente obiezioni e punti deboli dà risultati più utili.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
Posso fare RLHF sul mio modello?
In teoria sì, ma richiede molti giudizi coerenti e competenze specifiche. Per una PMI il fine-tuning con esempi o un buon prompt sono strade più realistiche.
Chi sono i valutatori?
Dipendenti dei produttori o di aziende specializzate, spesso esperti del settore per i temi tecnici. Seguono linee guida scritte dal produttore.
Da leggere dopo
Cos'è l'addestramento di un modello AI
L'addestramento è la fase in cui un modello di AI impara da una grande quantità di esempi, regolando i propri parametri finché le sue risposte diventano corrette.
GlossarioCos'è il fine-tuning e quando conviene a una PMI
Il fine-tuning è un addestramento supplementare di un modello già pronto, fatto su esempi tuoi, per fargli imparare uno stile, un formato o un compito specifico.
GlossarioCos'è il bias nell'AI e perché ti riguarda
Il bias di un modello AI è una distorsione sistematica nei suoi risultati, che lo porta a trattare in modo diverso persone o situazioni simili. Nasce quasi sempre dai dati di addestramento, che riflettono squilibri e pregiudizi del passato, o da come il sistema è stato progettato.
GlossarioModello base e modello istruito: che differenza c'è
Un modello base è un modello linguistico appena uscito dal pre-addestramento: sa continuare un testo ma non segue istruzioni. Il modello istruito è la stessa base rifinita con esempi di domande e risposte, per comportarsi da assistente.
GlossarioCos'è l'allineamento dell'AI e perché ti riguarda
L'allineamento è il lavoro per fare in modo che un sistema di AI faccia ciò che le persone intendono davvero, rispettando i limiti stabiliti, e non solo ciò che è scritto alla lettera nelle istruzioni o è stato premiato durante l'addestramento.
GlossarioCos'è il reinforcement learning, spiegato semplice
Il reinforcement learning, o apprendimento per rinforzo, è un modo di addestrare un sistema facendogli fare tentativi in un ambiente: ogni azione riceve un premio o una penalità, e il sistema impara le strategie che portano più premi nel tempo.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.