Cos'è il routing tra modelli AI e perché fa risparmiare
Non tutte le richieste sono uguali. Riconoscere la lingua di una mail o estrarre un numero d'ordine non richiede il modello più capace sul mercato. Analizzare un contratto o risolvere un problema tecnico sì. Mandare tutto al modello più grande è come far guidare ogni consegna al direttore.
Un router guarda la richiesta e la smista. Può farlo con regole semplici, per tipo di compito, o con un piccolo modello che stima la difficoltà. Alcuni assistenti lo fanno già in automatico: scelgono da soli quando ragionare di più. Lo stesso meccanismo serve anche per la continuità: se un servizio è irraggiungibile, il router passa a un altro.
Un esempio in una PMI
Un e-commerce di prodotti per animali riceve molte domande in chat. Il router manda quelle su orari, spedizioni e resi a un modello piccolo, che risponde all'istante e costa poco. Le domande su alimentazione e salute degli animali, più delicate, vanno a un modello più capace con istruzioni prudenti.
Gli errori più comuni
- Mandare le richieste difficili al modello piccolo per risparmiare, e poi pagare gli errori.
- Non controllare dove il router manda le richieste: senza misure non sai se smista bene.
- Dimenticare che modelli diversi possono avere condizioni diverse sul trattamento dei dati.
Perché ti interessa
Il routing è uno dei modi più efficaci per tenere bassi i costi di un sistema che riceve molte richieste, senza peggiorare le risposte che contano.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
Serve per una piccola azienda?
Con pochi utilizzi no: un modello solo basta. Diventa utile quando le richieste crescono e la spesa comincia a pesare.
Il routing si può fare anche con modelli in locale?
Sì. Un modello piccolo in locale può smistare le richieste e mandare fuori solo quelle che ne hanno bisogno.
Da leggere dopo
Cos'è un modello linguistico piccolo (SLM)
Un modello linguistico piccolo, o SLM, è un modello di linguaggio con molti meno parametri dei grandi modelli di punta. Sa fare meno cose, ma le fa in fretta, costa poco e spesso gira su un computer normale, anche dentro l'azienda senza mandare dati all'esterno.
Novità che contanoOllama: smistare richieste con l'AI in locale, senza costi
I modelli decisionali non scrivono testi: scelgono un'etichetta e ti dicono quanto sono sicuri. Per smistare mail e ticket è quello che serve.
GlossarioCosto per attività di un modello AI: come si calcola
Il costo per attività è quanto spendi davvero per far completare a un modello di AI un compito intero, come rispondere a una mail o leggere una fattura. Dipende dal prezzo per token, ma anche da quanti token il modello legge e produce per arrivare al risultato.
GlossarioCos'è la latenza di un modello AI e perché conta
La latenza è il tempo che passa tra l'invio di una richiesta a un modello AI e l'arrivo della risposta. Di solito si misurano due cose: quanto ci mette ad arrivare la prima parola, e quanto è veloce poi a scrivere il resto. Conta molto nelle conversazioni dal vivo.
GlossarioCos'è il livello di effort di un modello AI
Il livello di effort è un'impostazione dei modelli che ragionano prima di rispondere: stabilisce quanto lavoro interno il modello può fare, da poco a molto. Più effort di solito vuol dire risposte migliori sui problemi difficili, ma anche più attesa e più costo.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.