Cos'è il prompt caching e quanto fa risparmiare
Molte applicazioni mandano ogni volta lo stesso blocco: le regole del chatbot, il catalogo, il manuale. Senza cache il modello rielabora tutto a ogni domanda e tu paghi tutto a ogni domanda. Con il caching il fornitore conserva per un po' quel lavoro già fatto e, se la richiesta successiva inizia allo stesso modo, lo riusa.
Lo sconto sui token letti dalla cache è consistente, mentre scriverli in cache a volte costa un po' di più: i valori cambiano da fornitore a fornitore e vanno letti nel listino. Per funzionare, la parte fissa deve stare all'inizio e restare identica, carattere per carattere. La cache dura poco tempo, quindi conviene quando le richieste sono frequenti.
Un esempio in una PMI
Un'azienda di software gestionale ha un assistente che risponde ai clienti con un manuale molto lungo allegato a ogni richiesta. Il conto delle API era alto. Chiara riorganizza il prompt: manuale e regole all'inizio, sempre uguali, domanda del cliente in fondo. Attiva il caching e la spesa per le stesse domande scende in modo netto.
Gli errori più comuni
- Mettere data, ora o nome del cliente all'inizio del prompt, rompendo la cache a ogni richiesta.
- Attivare il caching per richieste rare, che non arrivano mai in tempo a riusarla.
- Non controllare nei dati d'uso del fornitore se la cache viene davvero letta.
Perché ti interessa
Se paghi un'applicazione AI a consumo con documenti fissi in ogni richiesta, il caching è spesso il risparmio più facile. Chiedi al fornitore se lo usa.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
Il caching cambia le risposte del modello?
No. Riusa il lavoro di lettura già fatto sulla parte fissa; la risposta viene generata come sempre.
I miei dati restano memorizzati presso il fornitore?
Per un tempo breve, secondo le regole del fornitore. Va considerato insieme alle altre garanzie sul trattamento dei dati.
Da leggere dopo
Cos'è un token nell'AI e perché decide quanto paghi
Un token è il pezzo di testo con cui un modello linguistico legge e scrive: può essere una parola intera, una parte di parola o un segno di punteggiatura.
GlossarioCos'è un'API e perché serve per collegare l'AI ai tuoi programmi
Un'API è un'interfaccia che permette a un programma di usare i servizi di un altro in modo automatico, per esempio mandare un testo a un modello di AI e ricevere la risposta senza passare dalla chat.
GlossarioCos'è la finestra di contesto di un modello AI
La finestra di contesto è la quantità massima di testo, misurata in token, che un modello può considerare in una volta: istruzioni, conversazione, documenti e risposta insieme.
GlossarioCos'è il system prompt di un chatbot
Il system prompt è l'insieme di istruzioni fisse che il modello riceve prima di ogni conversazione: chi è, come deve parlare, cosa può e non può fare.
GlossarioCos'è l'elaborazione batch (Batch API) nell'AI
L'elaborazione batch è un modo di usare le API dei modelli in cui mandi in un colpo solo un grande gruppo di richieste e ricevi i risultati più tardi, entro una finestra di tempo, invece che subito. In cambio dell'attesa il fornitore applica di solito un prezzo ridotto.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.