Robots.txt e file speciali, le regole per non fare errori
Torniamo un po’ alle basi della SEO grazie alla nuova pillola di #askGoogleWebmaster, la serie in cui John Mueller risponde a una domanda posta dalla community SEO. Nell’ultimo episodio si parla del file Robots.txt e, per la precisione, delle best practices per la gestione di alcune tipologie di file e di estensioni, come ad esempio .css e .htaccess, e il Googler ci spiega qual è la strada giusta da intraprendere in questi casi. Ovvero, se sia meglio lasciare accesso a Googlebot o impedire la sua scansione di quelle pagine.
Usare il disallow per i file speciali?
Tutto parte, come accennato, dalla domanda di un utente, che chiede al Senior Webmaster Trends Analyst di Google come comportarsi rispetto al file robots.txt e “se mettere in disallow file come /*.css$, /php.ini e anche /.htaccess”, e quindi, più in generale, come gestire questi file speciali.
John Mueller risponde innanzitutto con la consueta ironia, dicendo di non “poter impedire dall’impedire” l’accesso a tali file (letteralmente, “I can’t disallow you from disallowing those files”), per poi entrare un po’ più nel dettaglio e offrire il suo parere reale, perché quell’approccio sembra “essere una cattiva idea”.
Gli effetti negativi di blocchi indesiderati
In alcuni casi, il disallow di file speciali è semplicemente ridondante e quindi non necessario, ma in altre circostanze potrebbe compromettere seriamente la capacità di Googlebot di eseguire la scansione di un sito, con tutti gli effetti negativi conseguenti.
La procedura c