Cosa sono le eval e come si collauda un sistema AI

Un benchmark misura un modello in generale. Le eval misurano il tuo sistema: il chatbot con le sue istruzioni, i suoi documenti e i suoi strumenti. Contengono domande vere, casi limite e trabocchetti, ciascuno con un criterio per dire se la risposta va bene.

Alcuni controlli sono automatici, come il formato giusto o la presenza della fonte. Altri richiedono un giudizio, e lì si usa una persona oppure un secondo modello istruito a valutare, che va controllato a campione. Il valore vero arriva nel tempo: quando il fornitore aggiorna il modello, le eval dicono subito se qualcosa è peggiorato.

Un esempio in una PMI

Paola gestisce l'assistente interno di un'azienda di serramenti. Ha raccolto le domande che i commerciali fanno davvero, con la risposta corretta scritta dall'ufficio tecnico. Prima di cambiare il system prompt lancia le prove: due risposte su prodotti fuori catalogo sono peggiorate, e la modifica torna indietro prima di arrivare ai colleghi.

Gli errori più comuni

• Provare il sistema a mano con qualche domanda il giorno del lancio e mai più.
• Usare solo domande facili: contano i casi ambigui e quelli a cui l'assistente non deve rispondere.
• Fidarsi del modello giudice senza mai controllarne i voti.

Perché ti interessa

Senza eval ogni modifica è un salto nel buio, e i problemi li scopri quando un cliente si lamenta. Chiedi a chi ti costruisce un sistema AI di consegnarti anche le prove, così puoi verificarlo tu quando cambia qualcosa.

Tutte le parole dell'AI spiegate semplici sono nel glossario.