Context window
La context window, o finestra di contesto, è la quantità massima di testo che un modello linguistico può considerare in una sola elaborazione, compresi la richiesta dell’utente, le istruzioni, la cronologia della conversazione, i documenti recuperati e la risposta che sta generando. Si misura in token e varia molto da un modello all’altro.
Tutto ciò che resta fuori dalla finestra non esiste per il modello in quel momento. Nelle conversazioni lunghe le parti più vecchie possono uscire dal contesto, e nei sistemi basati sul RAG lo spazio disponibile limita il numero di documenti che possono entrare nella risposta. Anche con finestre molto ampie i modelli tendono a valorizzare in modo diseguale le informazioni, per cui i sistemi selezionano e comprimono i contenuti prima di usarli.
Per chi pubblica, il limite spiega perché i motori lavorano sui chunk e non sulle pagine intere: nella finestra entrano i passaggi più pertinenti, e un blocco chiaro e autonomo ha più probabilità di essere usato di un testo lungo e dispersivo. Il sovraccarico artificiale della finestra con informazioni costruite per sembrare necessarie è una delle tecniche descritte nella black hat GEO.
