Vai al contenuto
Dati e Osservatorio

File robots.txt: il server può rispondere prima delle tue istruzioni

Prima del robots.txt può rispondere il server: che cosa abbiamo trovato su 447 siti e come verificarlo sul tuo.

Il robots.txt di MediaWorld è lungo 191 righe, con istruzioni per 49 crawler differenti e ben due sezioni dedicate all’intelligenza artificiale: GPTBot, OAI-SearchBot e ChatGPT-User sono autorizzati a scansionare il sito, altri sistemi come Amazonbot e MistralAI-User trovano un divieto.

È un file curato, dettagliato, preciso. E non basta, perché prima del file interviene Cloudflare, che a una richiesta anonima risponde con la sua pagina di verifica al posto delle 191 righe. Le righe dicono che cosa MediaWorld chiede ai crawler AI, ma una configurazione che da fuori nessuno vede decide quali richieste vengono servite.

Lo abbiamo scoperto con il nostro ultimo studio, che ha analizzato il file robots.txt di 447 differenti siti per capire quanta parte della politica di accesso ai crawler sta davvero scritta lì dentro. Meno di quanto ti aspetti, e non soltanto per colpa dei filtri.

La parte pubblica della politica di accesso

Nel robots.txt trovi i percorsi esclusi dalla scansione e, bot per bot, le scelte sull’intelligenza artificiale, ed è il primo posto in cui guardi per capire come un sito, il tuo o quello di un concorrente, tratta Googlebot e GPTBot. Quelle istruzioni valgono se arrivano al crawler e se il crawler le legge come le ha scritte il sito.

Con i dati dell’Osservatorio SEOZoom siamo andati a vedere quanto spesso succede. Siamo partiti individuando un set di 15 ricerche ad alto volume, dall’assicurazione auto al dentista, e analizzando il campione di 447 differenti siti che il nostro database registrava nei risultati organici di Google. Fra questi ci sono testate come il Corriere della Sera, portali come GialloZafferano e Tripadvisor, banche, assicurazioni e negozi online come Decathlon e adidas.

Leggi il report SEOZoom sul file robots

Abbiamo chiesto il robots.txt a ogni sito due volte, a pochi minuti di distanza, prima presentandoci con lo user-agent di Chrome e poi senza dire chi eravamo. Un server che consegna il file nel primo caso e lo nega nel secondo tratta le due richieste in modo diverso prima che qualcuno legga le istruzioni. Un parser allineato a quello di Google ha poi letto i file arrivati come li legge Googlebot.

Non ci siamo mai presentati come Googlebot o GPTBot, quindi i dati non dicono che cosa riceve un crawler specifico. Dicono dove il file, da solo, non basta a saperlo. Numeri, grafici e metodo sono nello studio completo, da cui vengono le slide di questo articolo.

Prima del file risponde il server

Il robots.txt di Aranzulla ha una riga sola, l’indirizzo della sitemap, e nemmeno un divieto. Il server lo consegna a Chrome e risponde 403, accesso negato, alla richiesta anonima. Decathlon, Randstad ed Eataly si comportano allo stesso modo con file che ammettono la scansione, mentre Allianz, adidas e ASICS negano il file già alla richiesta di Chrome. In tutto sono 64 siti su 447, e su ciascuno il server risponde prima che il robots.txt possa dire qualcosa.

Studio robots.txt SEOZoom: in 41 siti il server consegna il robots.txt con lo user-agent di Chrome e respinge la richiesta anonima, in 23 rifiuta già lo user-agent di Chrome; chi risponde al posto del file nei 64 siti

La pagina di rifiuto, il più delle volte, porta la firma di chi ha risposto. Cloudflare compare su 13 siti, MediaWorld compresa, Akamai su 12, Amazon CloudFront su 9, Wikimedia su Wikipedia, e sedici negozi restituiscono la stessa pagina, identica byte per byte, quindici dei quali dichiarano di girare su Shopify. Davanti a quei siti c’è un servizio che filtra il traffico automatico, e una parte delle regole di accesso sta nella sua configurazione, che non è pubblica. Gli altri tredici rifiuti non hanno firma e possono venire dal server stesso.

Per Google un 403 sul robots.txt toglie ogni divieto

Googlebot chiede il robots.txt prima di scansionare un sito e regola il proprio passaggio sulla risposta. Un 4xx sul file, 403 compreso, per Google equivale a un file che non esiste, cioè a nessuna restrizione. Un filtro che nega il robots.txt a Googlebot non lo ferma, gli toglie le istruzioni, e Googlebot tratta come consentite anche le aree che il file voleva tenere fuori.

Un errore 5xx produce l’effetto opposto. Per le prime 12 ore Google sospende la scansione e continua a chiedere il file, poi per 30 giorni applica l’ultima versione valida che ha conservato, o nessuna restrizione se non ne ha una. Passato il mese, con il sito raggiungibile si comporta come se il file non esistesse, mentre con problemi di disponibilità più generali smette di scansionarlo.

Il SEO Spider di SEOZoom ha incontrato lo scarto fra file e server sulla homepage di Subito, con Status Code 403 e Blocked by Robots su NO. Il robots.txt ammetteva la pagina e a respingere lo Spider è stato il server. Lo stesso scarto, quando tocca Googlebot, pesa più di qualunque riga del file. Una pagina che risponde 403 a Googlebot non entra nell’indice di Google, e se c’era già ne esce, come accade con gli altri codici di stato 4xx. Esclusa dall’indice, resta fuori anche da AI Overview e AI Mode, che ne fanno parte, e dalle ricerche sui motori tradizionali da cui gli assistenti partono quando cercano fonti dal vivo.

Nei negozi online il filtro interviene più spesso

Il server ha respinto la richiesta del robots.txt in 33 dei 94 negozi online del campione, il 35%, contro l’8% degli altri siti, e anche togliendo i negozi Shopify la quota resta al 22%. La storia di adidas pubblicata da Akamai racconta perché adidas ha messo un filtro davanti al catalogo, contro i programmi che fanno incetta delle edizioni limitate nei giorni di lancio e quelli che copiano schede, prezzi e disponibilità. Googlebot e OAI-SearchBot sono programmi automatici anche loro, e un filtro tarato contro gli scraper deve riconoscerli per lasciarli passare. Per un negozio la configurazione del filtro fa parte della SEO tecnica quanto il robots.txt.

Studio robots.txt SEOZoom: il server respinge la richiesta anonima del robots.txt nel 35% degli e-commerce, nel 22% senza Shopify e nell'8% degli altri siti; chi risponde nei 33 negozi

Con Shopify il rapporto fra i due è ancora più netto. Dieci dei sedici negozi del campione usano il file standard della piattaforma e sei ne hanno scritto uno proprio, ma alla richiesta anonima tutti hanno risposto con la stessa pagina. Il negoziante che riscrive il robots.txt cambia le istruzioni, non quella risposta.

Le regole valgono gruppo per gruppo

Studio robots.txt SEOZoom: regole che si applicano a Googlebot, ai crawler senza gruppo e a Bingbot nel file di Altroconsumo, e il divieto scritto come commento nelle prime righe del file di Subito

Un crawler non applica il robots.txt nell’ordine in cui è scritto. Googlebot cerca i gruppi che portano il suo nome, li unisce e applica soltanto quelli, e segue il gruppo con l’asterisco solo se il suo nome non compare da nessuna parte. Più righe User-agent consecutive formano un gruppo unico, e quelle che cominciano con il cancelletto sono commenti che salta. Il bot che riceve un gruppo tutto suo smette di ricevere le regole generali.

Lo abbiamo imparato a nostre spese. La prima versione del nostro parser leggeva i file di Volotea e Skyscanner riga per riga, attribuiva a un solo bot regole che valevano per un gruppo intero e trovava anomalie che non esistevano. Sono sparite quando il parser ha cominciato a ragionare come quello di Google. Un controllo fatto a occhio, o con uno strumento che non segue la stessa logica, sbaglia nello stesso modo.

Su Altroconsumo la differenza cambia la diagnosi. Le 39 regole generali del sito tengono fuori, fra l’altro, la ricerca interna, la registrazione e il login. Per Bingbot il sito ha scritto un gruppo con quattro regole, su JavaScript, CSS e due percorsi tecnici, e con quel gruppo Bingbot ha perso tutte le 39 esclusioni, tanto che /cerca e /secure/login/ gli restano aperti. Googlebot ha due gruppi, uno con le stesse regole su JavaScript e CSS e uno, datato nei commenti 26 marzo 2024, che ricopia le 39 regole generali e ne aggiunge altre 61. Ogni riga è corretta, e un gruppo scritto per due tipi di risorse ha aperto a Bing pagine che le regole generali chiudono. Ogni volta che dai a un bot istruzioni proprie, GPTBot compreso, le esclusioni generali che devono valere anche per lui vanno ricopiate nel suo gruppo.

Il file di Subito si apre con un divieto che un bot non legge. Le prime due righe vietano robot e programmi automatici senza autorizzazione, ma cominciano con il cancelletto, e Googlebot le salta per applicare quello che segue, «User-agent: *» e «Allow: /» con diciassette percorsi esclusi. Una persona che apre il file vede un divieto che per Googlebot non esiste.

Ogni nome decide solo per sé

In 212 file su 388, più della metà, c’è soltanto il gruppo con l’asterisco, e Googlebot, GPTBot e ogni altro bot ricevono le stesse istruzioni. Gli 81 file che nominano almeno un bot legato all’intelligenza artificiale stanno soprattutto fra i domini più forti, e compaiono nel 49% dei siti con Zoom Authority fra 70 e 100, la metrica con cui SEOZoom misura il peso di un dominio, contro l’8% di quelli sotto 40.

Studio robots.txt SEOZoom: quota di divieti sull'intero sito per i crawler di addestramento, di ricerca e su richiesta dell'utente, e per ciascun crawler AI nominato nei file

Quei file distinguono i bot per funzione. GPTBot, ClaudeBot e CCBot raccolgono testi per addestrare i modelli, OAI-SearchBot e PerplexityBot indicizzano pagine per la ricerca degli assistenti, e il divieto sull’intero sito colpisce il 71% delle menzioni dei bot di addestramento contro il 33% di quelli di ricerca. Con Google lo schema si ripete. Ventitré file chiudono Google-Extended, il nome con cui un sito chiede che i suoi contenuti non servano ad addestrare Gemini né a fornirgli materiale nelle sue app, e nessuno chiude Googlebot. Google-Extended non tocca la Ricerca, e quindi nemmeno AI Overview e AI Mode.

OpenAI tiene indipendenti le impostazioni di GPTBot, che raccoglie testi per l’addestramento, e di OAI-SearchBot, che porta i siti nella ricerca di ChatGPT. Sette dei 28 file che li nominano entrambi chiudono il primo sull’intero sito e lasciano aperto il secondo o gli applicano esclusioni proprie, e sono quelli di Corriere della Sera, Tripadvisor, Altroconsumo, Forbes, fly-go, Migliormaterasso e Mioassicuratore. Altroconsumo lo scrive anche nei commenti, «Allow AI search and agent use» sopra OAI-SearchBot e «Disallow AI training data collection» sopra GPTBot.

Altri ventidue file danno un gruppo a GPTBot e nessuno a OAI-SearchBot. Il crawler della ricerca di ChatGPT riceve allora le regole dell’asterisco, qualunque cosa dicano, e una scelta diversa per la ricerca chiede un gruppo con il suo nome, una modifica che OpenAI recepisce in circa 24 ore. Lo stesso succede con gli elenchi copiati. In tre file del campione la lista dei bot esclusi ricalca una versione passata di ai.robots.txt, la raccolta di nomi pubblicata su GitHub, e mancano Claude-SearchBot e Claude-User, arrivati dopo. Le regole scritte per ClaudeBot non li riguardano.

ChatGPT-User fa storia a sé. Apre le pagine su richiesta di un utente, senza scansionare il web, e OpenAI avverte che per lui le regole del robots.txt possono non valere. Un «Disallow: /» scritto per ChatGPT-User resta una preferenza, che soltanto il server può far rispettare.

Dove guardare sul tuo sito

Sul tuo sito il primo controllo è una scansione con il SEO Spider di SEOZoom. Nella scheda Response Codes trovi per ogni URL il codice restituito dal server, nella colonna Status Code, e in Blocked by Robots se a fermare la scansione è stato il robots.txt. Un 403 con Blocked by Robots su NO è il caso di Subito, una pagina che il file ammette e il server respinge.

Studio robots.txt SEOZoom: il SEO Spider sulla homepage di Subito con Status Code 403 e Blocked by Robots NO, e lo strumento AI Overview con le keyword di Altroconsumo nelle risposte AI di Google

Che cosa ha ricevuto Googlebot lo vedi in Search Console. Il rapporto sul robots.txt mostra la versione del file che Google ha scaricato e l’esito della richiesta, le Statistiche di scansione distribuiscono le richieste per risposta del server. Il Controllo URL riporta l’ultima scansione della pagina, con un campo che dice se il robots.txt la consentiva e uno che dice se il server l’ha consegnata. Il test dal vivo dello stesso strumento parte invece da un altro crawler, Google-InspectionTool, che un filtro può trattare in modo diverso da Googlebot. Per GPTBot, OAI-SearchBot e gli altri crawler AI la prova sta nei log del server e del servizio di protezione, dove gli indirizzi IP che Google e OpenAI pubblicano separano le visite autentiche da quelle che ne prendono soltanto il nome.

Dopo una modifica, accanto all’accesso guarda la presenza. Lo strumento AI Overview di SEOZoom elenca le keyword per cui il sito compare nelle risposte AI di Google, AI Prompt Tracker le citazioni in AI Mode, ChatGPT e Gemini sui prompt che monitori. Una rilevazione prima e una dopo dicono se qualcosa si è mosso.

Una regola scritta male si corregge nel robots.txt. Un rifiuto si corregge dove viene applicato, sul server o nel pannello del CDN, del firewall o della piattaforma, e prima di toccare qualcosa ti serve sapere in quale dei due posti si ferma il bot. Nello studio trovi anche quello che qui è rimasto fuori: i robots.txt scritti in parte da Cloudflare, un negozio che racconta nei commenti la propria politica sull’intelligenza artificiale, i file che annunciano llms.txt con campi che i bot scartano.

Il mercato non aspetta.
Prendi il controllo adesso.

L’unica piattaforma per presidiare Google e i Motori AI.

  • Piattaforma
    completa (anche in trial)
  • Demo strategica
    con un esperto
  • Assistenza
    Italiana