Cos'è l'AI in locale e quando conviene tenerla in casa
Video realizzato con il supporto dell'AI. Metodo e contenuti sono di AIR.
Con il cloud mandi i dati al fornitore e ricevi la risposta. In locale il modello sta sulla tua macchina: i dati non escono, non paghi a richiesta, e il servizio funziona anche se il fornitore cambia condizioni.
In cambio ti fai carico della macchina, degli aggiornamenti e della sicurezza, e usi modelli open weight che su alcuni compiti sono meno capaci dei migliori servizi cloud. Spesso la soluzione giusta è mista: in locale i dati sensibili e i compiti ripetitivi, nel cloud il resto.
Un esempio in una PMI
Uno studio legale vuole classificare e riassumere atti che contengono dati di clienti. Installa un modello in locale per riassunti e smistamento; per le bozze generiche senza dati personali usa un servizio cloud con contratto aziendale.
Gli errori più comuni
- Comprare hardware prima di aver provato il modello sui tuoi documenti.
- Pensare che in locale significhi sicuro senza fare nulla: la macchina va protetta come ogni server.
- Aspettarsi dalla macchina dell'ufficio la velocità dei servizi cloud.
Perché ti interessa
Per chi tratta dati sanitari, legali o dei dipendenti, l'AI in locale semplifica il discorso privacy: se i dati non escono, per quel trattamento non c'è un fornitore esterno da valutare. Restano gli obblighi interni, come sicurezza, accessi e registro dei trattamenti, ma il perimetro è tuo.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
Che hardware serve?
Dipende dal modello: i più piccoli girano su un buon computer recente, i più grandi chiedono schede grafiche con molta memoria. Conviene provare sul compito reale prima di comprare.
Un modello in locale si aggiorna da solo?
No. Quando esce una versione migliore la scarichi e la provi sui tuoi casi prima di sostituire quella in uso. È anche un vantaggio: nessuno cambia il modello sotto i tuoi processi senza avvisare.
Da leggere dopo
Cos'è un modello open weight e cosa lo distingue
Un modello open weight è un modello di AI i cui pesi, cioè i parametri imparati durante l'addestramento, sono scaricabili, così che chiunque possa farlo girare sui propri computer.
Novità che contanoOllama: smistare richieste con l'AI in locale, senza costi
I modelli decisionali non scrivono testi: scelgono un'etichetta e ti dicono quanto sono sicuri. Per smistare mail e ticket è quello che serve.
Come si faChatGPT, Claude e Gemini usano i dati della tua azienda?
Dipende dal piano, non dallo strumento. Con un account personale spesso sì, con un piano aziendale di norma no. Ecco dove guardare.
GlossarioCos'è l'inferenza nell'AI e perché decide i costi
L'inferenza è il momento in cui un modello di AI già addestrato viene usato: riceve una richiesta, la elabora e produce una risposta. È la fase che si ripete a ogni domanda e che, nei servizi a consumo, si paga ogni volta.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi, grafica e video realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.