Googlebot

Googlebot è il crawler con cui Google scopre e rilegge le pagine del web per alimentare il proprio indice. Segue i link, rispetta le istruzioni del robots.txt e torna sui contenuti con una frequenza che dipende da quanto un sito cambia e da quanto il motore lo ritiene rilevante.

Due aspetti tecnici contano più degli altri. Il primo è che la scansione avviene con l’agente per smartphone: dal 2024 è l’unico usato, quindi quello che la versione mobile non mostra non viene valutato (Mobile First Index). Il secondo è che l’esecuzione del JavaScript avviene in un secondo momento, in coda rispetto alla scansione: i contenuti costruiti nel browser arrivano all’indice più tardi e, in alcuni casi, in modo incompleto.

Googlebot non va confuso con gli altri agenti di Google. Google-Extended regola l’uso dei contenuti per l’addestramento dei modelli senza toccare l’indicizzazione, mentre i crawler AI di altre società seguono regole proprie.

Infine la verifica, che serve più spesso di quanto si creda: chiunque può dichiararsi Googlebot nello user agent, e l’unico controllo valido è che l’indirizzo IP appartenga agli intervalli pubblicati da Google (indirizzo IP).