Cos'è il livello di effort di un modello AI
I modelli di ragionamento, prima di dare la risposta, producono una serie di passaggi intermedi in cui analizzano il problema. Quei passaggi richiedono tempo e si pagano come testo prodotto. Con il livello di effort decidi quanto spazio concedere a questa fase.
Nelle app degli assistenti la scelta spesso è nascosta dietro opzioni come "pensa più a lungo" o in una selezione automatica. Via API invece si imposta per ogni richiesta. La regola pratica è semplice: effort basso per compiti di routine come classificare o riformulare, effort alto per analisi complesse, calcoli, codice o decisioni con molte variabili.
Un esempio in una PMI
Uno studio di consulenza del lavoro usa lo stesso modello per due compiti. Per smistare le mail in arrivo usa effort basso: risponde subito e costa poco. Per verificare un calcolo complesso su un contratto con molte variabili usa effort alto: la risposta arriva dopo qualche secondo in più, ma è più affidabile.
Gli errori più comuni
- Tenere sempre l'effort al massimo per sicurezza: paghi e aspetti senza vantaggi sui compiti semplici.
- Tenerlo sempre al minimo per risparmiare e poi stupirsi degli errori sui casi difficili.
- Non provare: il livello giusto si trova misurando su esempi veri.
Perché ti interessa
L'effort è una delle leve più semplici per regolare insieme qualità, velocità e spesa senza cambiare modello. Se un fornitore ti propone un'automazione, chiedi come lo ha impostato e perché.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
L'effort alto evita le allucinazioni?
Le riduce su problemi di logica e calcolo, ma non le elimina. Se mancano i dati giusti, ragionare di più non basta.
Tutti i modelli hanno questa impostazione?
No, solo quelli che ragionano prima di rispondere, e il nome cambia da produttore a produttore.
Da leggere dopo
Cos'è un modello di ragionamento e quando ne vale la pena
Un modello di ragionamento è un modello di AI che, prima di dare la risposta, produce una serie di passaggi intermedi in cui analizza il problema, e per questo è più bravo nei compiti complessi.
GlossarioCos'è la catena di ragionamento (chain of thought)
La catena di ragionamento è la sequenza di passaggi intermedi che un modello scrive prima di dare la risposta finale. Invece di saltare subito alla conclusione, scompone il problema, valuta i pezzi e arriva al risultato, e questo riduce gli errori sui compiti con più passaggi.
GlossarioCos'è la latenza di un modello AI e perché conta
La latenza è il tempo che passa tra l'invio di una richiesta a un modello AI e l'arrivo della risposta. Di solito si misurano due cose: quanto ci mette ad arrivare la prima parola, e quanto è veloce poi a scrivere il resto. Conta molto nelle conversazioni dal vivo.
GlossarioCosto per attività di un modello AI: come si calcola
Il costo per attività è quanto spendi davvero per far completare a un modello di AI un compito intero, come rispondere a una mail o leggere una fattura. Dipende dal prezzo per token, ma anche da quanti token il modello legge e produce per arrivare al risultato.
GlossarioCos'è il routing tra modelli AI e perché fa risparmiare
Il routing tra modelli è il meccanismo che, per ogni richiesta, sceglie quale modello di AI usare: uno piccolo e veloce per le domande semplici, uno più potente per quelle difficili, oppure un'alternativa quando il fornitore principale non risponde.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.