Cos'è la distillazione di un modello AI

La distillazione è una tecnica con cui si addestra un modello AI piccolo a imitare uno grande, trasferendogli buona parte della sua conoscenza.

L'idea è descritta in un articolo scientifico del 2015 di Geoffrey Hinton, Oriol Vinyals e Jeff Dean ¹: la conoscenza di un modello grande, o di un insieme di modelli, si può comprimere in un modello solo, molto più facile da usare in produzione ¹.

Come funziona, con un'immagine

Pensa a un apprendista che impara guardando un artigiano esperto. Non deve rifare tutti gli anni di esperienza del maestro: copia le sue scelte, una dopo l'altra, finché ne fa di molto simili. Il modello grande è il maestro, il piccolo è l'apprendista.

Perché ti interessa

Un modello piccolo richiede meno calcolo per ogni risposta. Meno calcolo vuol dire risposte più veloci, prezzi più bassi e, nei casi migliori, la possibilità di far girare il modello su un computer dell'azienda invece che nel cloud.

Quando un produttore lancia una versione "mini", "light" o di fascia media che si avvicina al suo modello di punta a una frazione del prezzo, spesso dietro c'è anche questa tecnica.

Cosa farne

Per i compiti ripetitivi, come rispondere alle stesse domande dei clienti o classificare richieste, prova prima un modello piccolo. Se fa il lavoro, risparmi. Se non lo fa, sali di una taglia. Partire dal più grande "per sicurezza" è il modo più comune di pagare troppo l'AI.