Cos'è un modello linguistico piccolo (SLM)
I modelli di frontiera sono generalisti: scrivono, ragionano, programmano, traducono. Per farlo servono enormi data center. Molti compiti aziendali però sono stretti e ripetitivi: capire se una mail è un reclamo, estrarre un numero d'ordine, riassumere una nota breve. Per questi lavori un modello piccolo basta.
Gli SLM nascono spesso per distillazione da un modello più grande, oppure vengono addestrati con dati molto curati. Si possono anche specializzare con un fine-tuning leggero sui propri esempi. Il limite è il ragionamento lungo: su problemi complessi sbagliano più spesso.
Un esempio in una PMI
Uno studio di amministrazione condominiale riceve molte mail al giorno. Un modello piccolo, installato su un server dello studio, legge ogni mail e la smista: guasti, pagamenti, assemblee, altro. I dati dei condomini non escono dall'ufficio. Le mail più delicate restano comunque a Paolo, che decide come rispondere.
Gli errori più comuni
- Chiedere a un modello piccolo di ragionare come uno grande e concludere che l'AI non funziona.
- Scegliere il modello più grande per ogni compito, pagando molto di più per lavori semplici.
- Non misurare la qualità su esempi veri prima di metterlo in produzione.
Perché ti interessa
Un SLM è spesso la strada più pratica per tenere i dati in casa e controllare i costi. Conviene sapere che esiste prima di firmare un abbonamento al modello più potente per smistare la posta.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
Che computer serve per un modello piccolo?
Dipende dal modello, ma molti girano su un buon PC o su un piccolo server. Le versioni quantizzate chiedono ancora meno memoria.
Un modello piccolo parla bene l'italiano?
Alcuni sì, altri meno. Va provato sui tuoi testi: la qualità in italiano varia molto da un modello all'altro.
Da leggere dopo
Cos'è la distillazione di un modello AI
È il motivo per cui esistono modelli quasi bravi come i migliori, ma molto più economici.
GlossarioCos'è l'AI in locale e quando conviene tenerla in casa
Usare l'AI in locale significa far girare il modello su computer o server dell'azienda, invece che usarlo attraverso il servizio cloud di un fornitore, così che i dati restino dentro l'azienda.
GlossarioCos'è un modello open weight e cosa lo distingue
Un modello open weight è un modello di AI i cui pesi, cioè i parametri imparati durante l'addestramento, sono scaricabili, così che chiunque possa farlo girare sui propri computer.
Novità che contanoOllama: smistare richieste con l'AI in locale, senza costi
I modelli decisionali non scrivono testi: scelgono un'etichetta e ti dicono quanto sono sicuri. Per smistare mail e ticket è quello che serve.
GlossarioCos'è la quantizzazione di un modello AI
La quantizzazione è una tecnica che riduce la precisione con cui sono salvati i numeri interni di un modello. Il modello diventa più leggero e più veloce, occupa meno memoria e può girare su computer modesti, in cambio di una piccola perdita di qualità.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.