Cos'è la mixture of experts nei modelli AI
In un modello tradizionale ogni parola attraversa tutti i parametri. In una mixture of experts un piccolo componente, il router, decide per ogni token quali esperti usare. Il modello può così avere un numero enorme di parametri in totale, e quindi molta conoscenza, ma usarne solo una parte a ogni passo.
Il risultato pratico è un modello grande che costa e risponde quasi come uno più piccolo. Per questo nelle schede dei modelli open weight si leggono due valori: i parametri totali e quelli attivi. Gli esperti non sono specialisti di una materia: si dividono il lavoro in modi che emergono durante l'addestramento e che di rado corrispondono ad argomenti riconoscibili.
Un esempio in una PMI
Il responsabile informatico di un'azienda di trasporti valuta un modello open weight da far girare in locale. La scheda indica molti parametri totali e pochi attivi. Ne deduce che le risposte saranno veloci, ma che serve comunque una macchina con tanta memoria, perché tutti gli esperti devono restare caricati anche se se ne usano pochi alla volta.
Gli errori più comuni
- Guardare solo i parametri attivi e sottovalutare la memoria necessaria.
- Pensare che ogni esperto copra un argomento preciso, come il diritto o la medicina.
- Confrontare modelli diversi solo per numero di parametri, senza provarli sui propri compiti.
Perché ti interessa
Diversi modelli open weight molto usati sono costruiti così. Capirlo ti aiuta a leggere le schede tecniche e a stimare l'hardware se vuoi un modello in casa, senza farti confondere da valori che sembrano contraddittori.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
Un modello MoE è meno preciso?
Non per forza. A parità di calcolo per risposta, spesso è più capace di un modello tradizionale, perché ha più conoscenza a disposizione.
Cambia qualcosa per chi usa ChatGPT o Claude?
Nell'uso quotidiano no. Conta per chi sceglie e installa modelli, o per capire perché certi modelli molto grandi hanno prezzi bassi.
Da leggere dopo
Cosa sono i parametri di un modello AI
I parametri sono i numeri interni che un modello regola durante l'addestramento e che poi usa per produrre le risposte. I pesi sono la parte principale di questi parametri. Insieme rappresentano tutto quello che il modello ha imparato dai dati.
GlossarioCos'è un modello open weight e cosa lo distingue
Un modello open weight è un modello di AI i cui pesi, cioè i parametri imparati durante l'addestramento, sono scaricabili, così che chiunque possa farlo girare sui propri computer.
GlossarioCos'è l'inferenza nell'AI e perché decide i costi
L'inferenza è il momento in cui un modello di AI già addestrato viene usato: riceve una richiesta, la elabora e produce una risposta. È la fase che si ripete a ogni domanda e che, nei servizi a consumo, si paga ogni volta.
GlossarioCos'è una GPU e perché serve all'AI
La GPU è un processore nato per la grafica, capace di fare moltissimi calcoli semplici in parallelo. Questa caratteristica la rende ideale per addestrare e far girare i modelli di AI, che sono fatti proprio di enormi quantità di moltiplicazioni ripetute.
GlossarioCos'è l'AI in locale e quando conviene tenerla in casa
Usare l'AI in locale significa far girare il modello su computer o server dell'azienda, invece che usarlo attraverso il servizio cloud di un fornitore, così che i dati restino dentro l'azienda.
GlossarioCos'è un transformer, il motore dei modelli linguistici
Il transformer è l'architettura di rete neurale su cui si basano quasi tutti i modelli linguistici attuali, da GPT a Claude a Gemini. La sua idea chiave è l'attenzione: ogni parola di un testo viene interpretata guardando tutte le altre.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.