Cos'è una GPU e perché serve all'AI
Il processore normale di un computer, la CPU, è bravo a fare poche cose complesse una dopo l'altra. La GPU fa il contrario: tante operazioni semplici tutte insieme. Disegnare un'immagine sullo schermo e calcolare la risposta di una rete neurale richiedono lo stesso tipo di lavoro, ed è per questo che le schede grafiche sono diventate il cuore dell'AI.
Per un'azienda conta soprattutto la memoria della GPU: il modello deve entrarci per girare veloce. Se non entra, va quantizzato, diviso o fatto girare più lentamente sulla CPU. Chi usa l'AI via abbonamento o API non deve pensarci: le GPU sono nei data center del fornitore. Diventa una questione concreta quando si vuole l'AI in locale.
Un esempio in una PMI
Uno studio legale vuole un assistente che lavori sui fascicoli senza mandarli all'esterno. Il consulente propone un server con una GPU dalla memoria adeguata al modello scelto, invece del PC da ufficio già disponibile. Con la GPU le risposte arrivano in pochi istanti; senza, ci sarebbero voluti minuti per ogni domanda.
Gli errori più comuni
- Comprare hardware prima di aver scelto e provato il modello da far girare.
- Guardare la potenza della GPU e ignorare quanta memoria ha.
- Sottovalutare consumi, rumore e calore di un server con GPU in un piccolo ufficio.
Perché ti interessa
Se valuti l'AI in locale per ragioni di riservatezza, la GPU è la voce di spesa principale. Fatti dire quale modello deve girare e con quale velocità, poi scegli l'hardware.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
Posso usare l'AI in locale senza GPU?
Con modelli piccoli e quantizzati sì, anche sulla CPU o su computer con memoria condivisa. È più lento ma per molti compiti basta.
Meglio comprare una GPU o noleggiarla nel cloud?
Dipende da quanto la userai e da dove devono stare i dati. Per prove e usi saltuari il noleggio è spesso più conveniente.
Da leggere dopo
Cos'è l'AI in locale e quando conviene tenerla in casa
Usare l'AI in locale significa far girare il modello su computer o server dell'azienda, invece che usarlo attraverso il servizio cloud di un fornitore, così che i dati restino dentro l'azienda.
GlossarioCos'è l'inferenza nell'AI e perché decide i costi
L'inferenza è il momento in cui un modello di AI già addestrato viene usato: riceve una richiesta, la elabora e produce una risposta. È la fase che si ripete a ogni domanda e che, nei servizi a consumo, si paga ogni volta.
GlossarioCos'è la quantizzazione di un modello AI
La quantizzazione è una tecnica che riduce la precisione con cui sono salvati i numeri interni di un modello. Il modello diventa più leggero e più veloce, occupa meno memoria e può girare su computer modesti, in cambio di una piccola perdita di qualità.
GlossarioCos'è l'addestramento di un modello AI
L'addestramento è la fase in cui un modello di AI impara da una grande quantità di esempi, regolando i propri parametri finché le sue risposte diventano corrette.
GlossarioCos'è un modello linguistico piccolo (SLM)
Un modello linguistico piccolo, o SLM, è un modello di linguaggio con molti meno parametri dei grandi modelli di punta. Sa fare meno cose, ma le fa in fretta, costa poco e spesso gira su un computer normale, anche dentro l'azienda senza mandare dati all'esterno.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.