Ho chiuso l’articolo precedente con una promessa strana: mandare tutto non si può, c’è un fondo. Ecco il fondo.
Finestra di contesto.
Sotto l’ombrellone la logica è lineare: “e allora carico tutto. La bibbia di me, il disco intero, ogni documento, e l’AI finalmente sa tutto”. Eh no. Ci metti pochino. E quel pochino ha un nome che mente.
“Finestra” fa pensare a una lastra da cui l’AI vede tutto quello che le metti davanti. È invece un contenitore con un fondo. Chiamalo col nome giusto: è uno zaino. Finito. Lo prepari prima di partire, e quello che lasci a casa non ce l’hai in cammino. Non è riassunto, non è “un po’ sfocato”: è fuori.
E quello zaino non è nemmeno tutto tuo. Prima che tu apra bocca, il fornitore l’ha già riempito a metà: le sue istruzioni nascoste, la tua scheda, tutta la cronologia della chat. Il tuo contenuto e la tua domanda si contendono lo spazio che avanza.
“Va bene, allora prendo lo zaino gigante, quello da un milione di token, e ho risolto.” No. Ed è qui la cosa che nessuno ti dice: più grande non è meglio. Uno zaino enorme e riempito a caso è peggio di uno piccolo e curato, per due motivi concreti.
Primo: l’AI legge meglio l’inizio e la fine, e sorvola il centro. Quello che sotterri a metà pila è come non averlo scritto. È presente, ma sepolto. Più roba ammucchi, più seppellisci la cosa che contava.
Secondo: il rumore annega il segnale, e ogni pezzo in più costa e rallenta. Dai al modello il manuale intero al posto della pagina giusta, e ti risponde peggio. Di più è di meno.
E quando lo zaino è pieno davvero, qualcosa deve uscire. O cade il più vecchio, ed è per questo che le chat lunghe si dimenticano come sono cominciate. O si comprime in un riassunto che tiene ciò che ha creduto importante e butta il resto. In tutti e due i casi perdi qualcosa, e non scegli tu cosa. Il dettaglio che ti serviva può essere proprio quello finito nel fondo, e lo scopri solo quando una risposta esce storta.
L’arma da portare a casa: non conta quanto ci metti, conta cosa, dove e con che peso. Uno zaino piccolo e curato batte sempre uno enorme e gonfio. È la stessa virtù del “manda il meno possibile”: scegli i pochi pezzi che spostano il risultato, e mettili in cima. Di più è di meno.
C’è anche un motivo di soldi per non gonfiarlo. Quello zaino si misura in token, e ogni token dentro viene riletto da capo a ogni turno. Ma è il prossimo articolo.