Cos'è l'inferenza nell'AI e perché decide i costi
La vita di un modello ha due fasi. L'addestramento, lungo e costosissimo, lo fa il produttore una volta. L'inferenza avviene ogni volta che qualcuno usa il modello, e il suo costo si ripete a ogni domanda.
Per un'azienda che usa l'AI, il costo che conta è quasi sempre quello dell'inferenza: quanti token, quante richieste, su quale modello, su quale macchina. Modelli più piccoli o distillati costano meno in inferenza, ed è per questo che scegliere la taglia giusta fa risparmiare.
Un esempio in una PMI
Un servizio clienti risponde a molte richieste al giorno con un modello grande. Spostando le domande semplici, come orari e stato dell'ordine, su un modello piccolo e tenendo il grande solo per i casi difficili, il costo di inferenza scende senza che i clienti notino differenze.
Gli errori più comuni
- Usare il modello più potente per ogni richiesta, anche le più banali.
- Ignorare la latenza: un modello lento rende un chatbot frustrante anche se risponde bene.
- Confondere i costi di inferenza con quelli di addestramento, che una PMI quasi mai sostiene.
Perché ti interessa
Quando valuti un progetto di AI, il costo da stimare è quello dell'inferenza moltiplicato per il volume reale: quante mail, quante telefonate, quanti documenti al mese. Chiedi al fornitore di fare il conto sui tuoi volumi e di dirti cosa succede alla spesa se raddoppiano.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
L'inferenza si può fare in azienda?
Sì, con modelli open weight su macchine proprie. Conviene quando i volumi sono alti o i dati non devono uscire.
Perché alcuni modelli rispondono più lentamente?
Per dimensione, per carico dei server e perché alcuni ragionano prima di rispondere, producendo più token.
Cosa vuol dire latenza?
È il tempo che passa tra la domanda e l'inizio della risposta. In un chatbot o al telefono conta quanto la qualità, perché un'attesa lunga fa abbandonare la conversazione.
Da leggere dopo
Cos'è l'addestramento di un modello AI
L'addestramento è la fase in cui un modello di AI impara da una grande quantità di esempi, regolando i propri parametri finché le sue risposte diventano corrette.
GlossarioCos'è un token nell'AI e perché decide quanto paghi
Un token è il pezzo di testo con cui un modello linguistico legge e scrive: può essere una parola intera, una parte di parola o un segno di punteggiatura.
GlossarioCos'è la distillazione di un modello AI
È il motivo per cui esistono modelli quasi bravi come i migliori, ma molto più economici.
GlossarioCos'è l'AI in locale e quando conviene tenerla in casa
Usare l'AI in locale significa far girare il modello su computer o server dell'azienda, invece che usarlo attraverso il servizio cloud di un fornitore, così che i dati restino dentro l'azienda.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.