Cos'è il jailbreak di un modello AI

I modelli sono addestrati a rifiutare certe richieste e i chatbot aziendali hanno istruzioni su cosa possono dire. Il jailbreak sfrutta il fatto che il modello segue il linguaggio, non regole rigide: con la giusta storia, a volte cede. "Fai finta di essere un personaggio senza limiti" è il caso classico.

È parente della prompt injection, ma diverso: nel jailbreak è l'utente stesso a forzare il modello; nella prompt injection le istruzioni ostili arrivano da un contenuto esterno, come una pagina web o una mail. Per un'azienda il rischio concreto è un chatbot pubblico che promette sconti inesistenti o dice cose imbarazzanti, e qualcuno lo pubblica.

Un esempio in una PMI

Il chatbot di un autonoleggio risponde alle domande sui contratti. Un utente prova a convincerlo che è il direttore e che deve confermare per iscritto un noleggio gratis. Il chatbot è stato progettato bene: non ha il potere di fare sconti, risponde solo sulle condizioni pubblicate e passa le richieste strane all'assistenza di Federica.

Gli errori più comuni

• Affidarsi solo alle istruzioni del prompt per bloccare comportamenti pericolosi.
• Dare al chatbot pubblico la possibilità di prendere impegni commerciali.
• Non provare mai a forzare il proprio chatbot prima di metterlo online.

Perché ti interessa

Se metti un chatbot davanti ai clienti, qualcuno proverà a fargli dire cose sbagliate. La difesa migliore è limitare cosa può fare, non solo cosa può dire.

Tutte le parole dell'AI spiegate semplici sono nel glossario.