Cos'è un transformer, il motore dei modelli linguistici
Prima dei transformer, i modelli leggevano il testo una parola dopo l'altra e faticavano a tenere insieme frasi lontane. Il transformer, presentato da ricercatori di Google nell'articolo "Attention Is All You Need", guarda tutto il testo insieme. Nella frase "il pezzo non entra nello stampo perché è troppo grande", l'attenzione aiuta a capire che a essere troppo grande è il pezzo.
Un secondo vantaggio è pratico: questo calcolo si divide bene su molte schede grafiche in parallelo, e ha permesso di addestrare modelli molto più grandi. La T di GPT sta proprio per transformer. La stessa architettura oggi si usa anche per immagini, audio e video.
Un esempio in una PMI
Non serve conoscere l'architettura per usare l'AI, ma aiuta a capire un comportamento comune. Un ufficio tecnico chiede a un assistente di confrontare due capitolati lunghi. Per ogni parola il modello pesa tutte le altre, e il lavoro cresce con la lunghezza del testo. Per questo i documenti molto lunghi costano di più e richiedono più attesa, e conviene passare solo le parti necessarie.
Gli errori più comuni
- Pensare che il transformer capisca come una persona: calcola relazioni statistiche tra parole.
- Credere che un modello sia migliore solo perché basato su transformer: lo sono quasi tutti.
- Confondere l'architettura con il modello: lo stesso schema produce modelli molto diversi a seconda di dati e addestramento.
Perché ti interessa
Il transformer spiega perché i modelli di oggi sono così bravi con il contesto, e perché la lunghezza del testo pesa su costi e velocità. Sono due fattori che entrano in ogni decisione su come usare un modello in azienda.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
Esistono alternative al transformer?
Sì, i ricercatori studiano architetture diverse, soprattutto per gestire testi lunghi con meno calcolo, e alcune vengono combinate con il transformer. Per ora restano minoritarie.
Cosa vuol dire GPT?
Generative Pre-trained Transformer: un transformer pre-addestrato su grandi quantità di testo per generarne di nuovo.
Da leggere dopo
Cos'è un LLM, il modello dietro ChatGPT, Claude e Gemini
Quasi ogni strumento AI che ti propongono ne usa uno. Spesso è lo stesso, rivenduto a prezzi diversi.
GlossarioCos'è una rete neurale e perché è dietro ogni AI moderna
Una rete neurale è un modello matematico fatto di tanti piccoli nodi collegati, che durante l'addestramento regolano i propri collegamenti per trasformare un dato in ingresso nel risultato giusto.
GlossarioCos'è il deep learning e perché ha cambiato l'AI
Il deep learning è una forma di machine learning che usa reti neurali con molti strati sovrapposti. Ogni strato trasforma i dati e passa il risultato al successivo, così il sistema impara da solo concetti via via più astratti, dai pixel a un volto, dalle lettere al significato di una frase.
GlossarioCos'è la finestra di contesto di un modello AI
La finestra di contesto è la quantità massima di testo, misurata in token, che un modello può considerare in una volta: istruzioni, conversazione, documenti e risposta insieme.
GlossarioCos'è un token nell'AI e perché decide quanto paghi
Un token è il pezzo di testo con cui un modello linguistico legge e scrive: può essere una parola intera, una parte di parola o un segno di punteggiatura.
GlossarioCos'è la mixture of experts nei modelli AI
La mixture of experts è un modo di costruire un modello in cui, invece di una sola grande rete usata per intero, ci sono molti sottomodelli, gli esperti, e un selettore che per ogni pezzo di testo ne attiva solo alcuni.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.