Cos'è la finestra di contesto di un modello AI
Tutto ciò che il modello "ricorda" durante una conversazione deve stare dentro la finestra di contesto. Quando la conversazione o i documenti la superano, le parti più vecchie vengono tagliate o riassunte, e il modello smette di vederle.
Finestre più ampie permettono di dare al modello documenti lunghi interi. Ma più testo vuol dire più costo per ogni richiesta, e non sempre una lettura più attenta: in testi molto lunghi i dettagli in mezzo possono sfuggire.
Un esempio in una PMI
Un ufficio acquisti incolla in chat un capitolato lungo e chiede di confrontarlo con l'offerta del fornitore. A metà conversazione il modello non cita più una clausola che aveva letto all'inizio: è uscita dalla finestra. Ricominciare con il solo capitolato e l'offerta, e una domanda precisa, dà un risultato migliore.
Gli errori più comuni
- Tenere aperta la stessa chat per giorni su temi diversi: il contesto si riempie di cose che non servono.
- Incollare interi archivi quando servono due paragrafi: costa di più e confonde il modello.
- Credere che una finestra ampia equivalga a memoria permanente: chiusa la conversazione, il modello non ricorda nulla.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
La finestra di contesto è la memoria del modello?
È la sua memoria di lavoro per quella richiesta. Non è una memoria che resta tra una conversazione e l'altra, salvo funzioni apposite del prodotto.
Come faccio con documenti più lunghi della finestra?
Si dividono in parti, oppure si usa il RAG, che passa al modello solo i pezzi pertinenti.
Da leggere dopo
Cos'è un token nell'AI e perché decide quanto paghi
Un token è il pezzo di testo con cui un modello linguistico legge e scrive: può essere una parola intera, una parte di parola o un segno di punteggiatura.
GlossarioCos'è il RAG: l'AI che risponde dai tuoi documenti
Il RAG (Retrieval Augmented Generation) è una tecnica in cui, prima di rispondere, l'AI cerca i passaggi utili nei tuoi documenti e li usa come base per la risposta.
GlossarioCos'è un LLM, il modello dietro ChatGPT, Claude e Gemini
Quasi ogni strumento AI che ti propongono ne usa uno. Spesso è lo stesso, rivenduto a prezzi diversi.
GlossarioCos'è un modello frontier, e quando non serve pagarlo
Sono i modelli più potenti sul mercato. Per molti lavori di una PMI sono anche i più sprecati.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.