Robots.txt

Il robots.txt è il file di testo posto nella radice di un sito con cui si dichiara ai crawler che cosa possono scansionare e che cosa no. È una convenzione, non un sistema di protezione: i crawler seri la rispettano, gli altri no.

Il malinteso più diffuso riguarda che cosa impedisce davvero. Bloccare un indirizzo qui significa impedirne la scansione, non l’indicizzazione: una pagina bloccata ma linkata dall’esterno può comparire comunque nei risultati, senza descrizione, perché il motore ne conosce l’esistenza ma non ha potuto leggerla. Per tenerla fuori dall’indice serve il noindex nella pagina, che però va lasciato leggibile, quindi non bloccato qui (indicizzazione, noindex).

Da evitare anche il blocco di CSS e JavaScript: senza quelle risorse il motore vede una pagina diversa da quella che vedono le persone (rendering). Sui siti grandi, invece, il file è lo strumento con cui si tiene la scansione lontana dalle combinazioni di filtri e dagli indirizzi con parametri che non hanno valore di ricerca (crawl budget).

Si è aggiunto un secondo piano di decisioni: i crawler AI si governano da qui, agente per agente, e le scelte non sono equivalenti – escludere l’addestramento dei modelli è diverso dall’escludere il recupero delle fonti durante una risposta. Google-Extended vale per il primo caso e non tocca l’indicizzazione, mentre il file llms.txt è una proposta distinta e non sostituisce il robots.txt.