Cos'è la latenza di un modello AI e perché conta
La latenza dipende da molti fattori: la dimensione del modello, la lunghezza del testo in ingresso, quanto deve scrivere, se ragiona prima di rispondere, quanto è carico il server, la distanza dal data center. I modelli di ragionamento sono più lenti per natura, perché pensano prima di parlare.
In una chat scritta qualche attesa si tollera, soprattutto se il testo compare a poco a poco. In un voicebot al telefono no: un silenzio lungo sembra un guasto. Per i lavori fatti in background, come classificare la posta durante la notte, la latenza conta poco e si può scegliere il modello più economico o l'elaborazione batch.
Un esempio in una PMI
Un centro assistenza caldaie prova un voicebot per fissare gli interventi. Con il modello più potente le risposte arrivano dopo una pausa che mette a disagio chi chiama. Irene passa a un modello più piccolo e veloce per la conversazione, e lascia al modello grande solo il riepilogo finale, che il cliente non deve aspettare.
Gli errori più comuni
- Scegliere il modello più intelligente per una conversazione vocale dove la velocità conta di più.
- Misurare la latenza solo in prova, con pochi utenti, e non nelle ore di punta.
- Mandare contesti inutilmente lunghi, che rallentano ogni risposta.
Perché ti interessa
Quando l'AI parla con i clienti in tempo reale, la velocità fa parte della qualità. Chiedi al fornitore come misura la latenza e cosa succede nei momenti di carico.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
L'AI in locale è più veloce?
Non per forza. Elimini il viaggio verso il server esterno, ma il tuo hardware è di solito meno potente di quello dei fornitori.
Come riduco la latenza?
Modelli più piccoli per i compiti semplici, prompt più corti, risposte mostrate mentre vengono scritte e prompt caching dove disponibile.
Da leggere dopo
Cos'è l'inferenza nell'AI e perché decide i costi
L'inferenza è il momento in cui un modello di AI già addestrato viene usato: riceve una richiesta, la elabora e produce una risposta. È la fase che si ripete a ogni domanda e che, nei servizi a consumo, si paga ogni volta.
GlossarioCos'è un voicebot e quando ha senso al telefono
Un voicebot è un assistente che parla al telefono o a voce: ascolta, trascrive quello che dici, capisce la richiesta con un modello di AI e risponde con una voce sintetica.
GlossarioCos'è un modello di ragionamento e quando ne vale la pena
Un modello di ragionamento è un modello di AI che, prima di dare la risposta, produce una serie di passaggi intermedi in cui analizza il problema, e per questo è più bravo nei compiti complessi.
GlossarioCos'è il prompt caching e quanto fa risparmiare
Il prompt caching è una funzione delle API dei modelli che memorizza la parte iniziale di un prompt usata spesso, come istruzioni fisse o un documento lungo, così le richieste successive con lo stesso inizio costano meno e rispondono più in fretta.
GlossarioCos'è un modello linguistico piccolo (SLM)
Un modello linguistico piccolo, o SLM, è un modello di linguaggio con molti meno parametri dei grandi modelli di punta. Sa fare meno cose, ma le fa in fretta, costa poco e spesso gira su un computer normale, anche dentro l'azienda senza mandare dati all'esterno.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.