Robots.txt e file speciali, le regole per non fare errori
Torniamo un po’ alle basi della SEO grazie alla nuova pillola di #askGoogleWebmaster, la serie in cui John Mueller risponde a una domanda posta dalla community SEO. Nell’ultimo episodio si parla del file Robots.txt e, per la precisione, delle best practices per la gestione di alcune tipologie di file e di estensioni, come ad esempio .css e .htaccess, e il Googler ci spiega qual è la strada giusta da intraprendere in questi casi. Ovvero, se sia meglio lasciare accesso a Googlebot o impedire la sua scansione di quelle pagine.
Usare il disallow per i file speciali?
Tutto parte, come accennato, dalla domanda di un utente, che chiede al Senior Webmaster Trends Analyst di Google come comportarsi rispetto al file robots.txt e “se mettere in disallow file come /*.css$, /php.ini e anche /.htaccess”, e quindi, più in generale, come gestire questi file speciali.
John Mueller risponde innanzitutto con la consueta ironia, dicendo di non “poter impedire dall’impedire” l’accesso a tali file (letteralmente, “I can’t disallow you from disallowing those files”), per poi entrare un po’ più nel dettaglio e offrire il suo parere reale, perché quell’approccio sembra “essere una cattiva idea”.
Gli effetti negativi di blocchi indesiderati
In alcuni casi, il disallow di file speciali è semplicemente ridondante e quindi non necessario, ma in altre circostanze potrebbe compromettere seriamente la capacità di Googlebot di eseguire la scansione di un sito, con tutti gli effetti negativi conseguenti.
La procedura che ha in mente l’utente rischia infatti di provocare danni alla capacità di crawling del bot di Google, e quindi di pregiudicare la comprensione delle pagine, la corretta