I 3 modi per nascondere un sito a Google ma non agli utenti
Di solito, i nostri articoli si soffermano sui metodi e sui consigli per cercare di garantire la massima visibilità delle pagine di un sito su Google, che è l’obiettivo base della SEO; ma a volte ci sono circostanze che vanno nella direzione completamente opposta, e che rendono necessario un intervento per cancellare una pagina web da Google, o quanto meno nasconderla dai risultati di ricerca. È proprio Google a spiegarci che abbiamo a disposizione tre metodi per compiere questa operazione, da usare a seconda di quello che meglio risponde alle nostre esigenze e al caso in cui ci troviamo.
Quando nascondere i contenuti dalla Ricerca
Ma quali sono le circostanze che possono spingerci a questa mossa? Ne possiamo identificare alcune, che vanno da problematiche di tipo tecnico – ad esempio, pagina di sito e-Commerce dedicata a un prodotto non più valido, oppure contenuto con informazioni inesatte che non merita un riediting, o ancora presenza di messaggi spam o potenzialmente offensivi – a quelle più gravi, che sfociano anche in criticità legali.
È il caso delle diffide alla rimozione di determinate risorse dal sito che arrivano da parte di persone che si sentono offese per qualsiasi motivo da quel particolare contenuto – che potrebbe risultare copiato o indebitamente appropriato, o peggio riportare informazioni fuorvianti e legalmente perseguibili – a cui bisogna rispondere con tempestività.
Come sappiamo, ci sono specifiche procedure e tecniche per completare la rimozione contenuti da Google, come ad esempio l’utilizzo dell’apposito Strumento per le rimozioni della Search Console, che però permette solo di nascondere la pagina per sei mesi o cancellare le copie cache; un intervento più netto è quello di rimuovere fisicamente le pagine incriminate e restituire uno status code 404 o 410, ma in altre situazioni questa non è la strada giusta.
Come nascondere un sito a Google ma lasciarlo aperto agli utenti
Il tema è al centro di un episodio di #AskGooglebot su YouTube e vede protagonista John Mueller, che risponde alla domanda specifica di un utente che vuole sapere appunto se è possibile nascondere un sito web nella Ricerca ma al tempo stesso permettere agli utenti di avervi accesso attraverso un permalink.
La risposta breve è che possiamo effettivamente impedire che i contenuti pubblicati sul sito siano indicizzati nella Ricerca (ed è una procedura lecita per Google), grazie a tre diversi sistemi: utilizzo di una password per limitare gli accessi, un blocco al crawling o un blocco all’indicizzazione.
In tutti i casi, bloccare dei contenuti di Googlebot non è contrario alle linee guida di Google per i webmaster, a condizione che lo stesso blocco valga contemporaneamente per gli utenti; detto in altri termini, se il sito è protetto da password durante la scansione da parte di Googlebot, deve essere protetto da password anche per gli utenti, oppure deve impostare esplicite direttive per impedire a Googlebot di eseguire la scansione o l’indicizzazione del sito. In caso contrario – se cioè il sito presenta a Googlebot contenuti diversi rispetto a quelli serviti agli utenti – rischiamo di cadere in ciò che si chiama “cloaking“, una tattica black hat che viola le linee guida di Google.
I 3 modi corretti per nascondere i contenuti dai motori di ricerca
Secondo Google, l’approccio migliore per mantenere un sito privato è bloccare l’accesso ai suoi contenuti e alle sue pagine attraverso una password: in questo modo, né i motori di ricerca né utenti Web casuali potranno visualizzarne i contenuti, e quindi è un metodo piuttosto sicuro ed efficace.
Impostare una password è una pratica comune per i siti Web in fase di sviluppo: il sito viene pubblicato online in tempo reale per condividere il lavoro in corso con i clienti e ricevere i loro feedback, ma la limitazione degli accessi impedisce a Google di scansionare e indicizzare pagine che non sono ancora ottimizzate in modo definitivo.
Il secondo metodo è più tecnico, perché consiste nell’impedire a Googlebot di avere accesso ed eseguire la scansione alle pagine del sito attraverso specifiche limitazioni all’interno del file robots.txt: in questo modo, gli utenti possono accedere al sito con un link diretto, ma la pagina e il suo contenuto non saranno rilevati dai motori di ricerca “ben educati”. Tuttavia, questa non è l’opzione migliore, afferma Mueller, perché i motori di ricerca potrebbero comunque indicizzare l’indirizzo del sito Web senza accedere al contenuto (soprattutto se questi URL sono linkati da altre pagine aperte) – una possibilità rara, ma da tenere in considerazione.
L’ultima possibilità è bloccare l’indicizzazione aggiungendo un comando noindex alle pagine, che comunica ai motori di ricerca di non indicizzare quella pagina dopo averla scansionata; naturalmente, gli utenti comuni non vedono il meta tag robots e possono quindi accedere normalmente alla pagina.
La soluzione migliore per nascondere i contenuti secondo Google
Nelle conclusioni, Mueller espone le raccomandazioni generali di Google, e in particolare sottolinea che il suggerimento “per i contenuti privati è di utilizzare la protezione tramite password”, perché “è facile verificare che funzioni e impedisce a chiunque di accedere ai contenuti”.
Gli altri due metodi – blocco della scansione o dell’indicizzazione – “sono buone opzioni quando il contenuto non è privato o se ci sono solo parti di un sito web di cui desideri impedire la visualizzazione nei risultati di ricerca”, spiega il Googler.
