Ollama: smistare richieste con l'AI in locale, senza costi

Gran parte del lavoro "intelligente" in un ufficio è smistare. Questa mail è un reclamo o un ordine? Va all'amministrazione o all'assistenza? È urgente? Fino a poco fa, per farlo fare a un'AI, dovevi mandare il testo a un servizio esterno e pagare a consumo.

Dal 29 settembre Ollama, un programma gratuito per far girare modelli AI sul proprio computer, supporta i modelli decisionali ¹.

Cosa sono, in pratica

Un modello decisionale non scrive. Gli fai una domanda chiusa su un testo e ti risponde con una scelta, un sì o un no, o un punteggio, e per ogni opzione ti dà una probabilità ¹. Ollama li espone dalla versione 0.35 ².

La probabilità è la parte utile. Se il modello è quasi certo che una mail sia per l'amministrazione, la smisti in automatico. Se è incerto, la passi a una persona. Così l'automazione si ferma da sola dove non sa.

Un esempio concreto

L'esempio di Ollama è proprio un ticket di assistenza: "mi avete addebitato due volte, rimborsatemi" ¹. Con una sola chiamata il modello risponde a tre domande: quale reparto (fatturazione, tecnico, altro), se è una richiesta di rimborso, e quanto è urgente ¹.

Trasportalo nella tua posta: ogni messaggio in arrivo riceve reparto, tipo e urgenza prima che qualcuno lo apra.

Quali modelli e che macchina serve

I modelli disponibili sono tre ¹:

• nimble, da 9 miliardi di parametri, con licenza Apache 2.0 e un download di circa 9 GB ³;
• tev1, in versione da 4 miliardi (circa 4,5 GB) e da 0,8 miliardi (circa 800 MB), sperimentale ⁴.

Ollama dichiara 91 millisecondi a decisione per nimble su un Mac di fascia alta ¹. Non pubblica i requisiti per un computer normale o senza scheda grafica: prima di decidere, prova sulla macchina che useresti davvero. Il modello più piccolo accetta testi brevi, circa 2.000 token ⁴, quindi per mail lunghe va usato nimble o va mandato solo l'inizio.

Perché interessa a una PMI

Il primo motivo è la privacy. Le mail dei clienti restano sul tuo computer: nessun testo va a un fornitore esterno, nessun contratto sul trattamento dei dati da negoziare per questo compito.

Il secondo è il costo. In locale non paghi a richiesta ¹, quindi il costo non cresce con il numero di mail.

Il terzo è il limite, ed è onesto dirlo: Ollama è uno strumento, non un prodotto finito. Qualcuno deve collegarlo alla casella di posta o al gestionale e decidere le soglie di probabilità.

Cosa fare adesso

• Scrivi le tre o quattro domande che ti faresti davanti a ogni mail in arrivo. Sono le domande da fare al modello.
• Raccogli un centinaio di mail vere già smistate a mano: servono per vedere quante volte il modello sbaglia.
• Decidi la soglia sotto cui la mail va a una persona. Meglio partire alta e abbassarla.