Si torna a parlare di questioni tecniche nella nuova pillola di #AskGooglebot, la serie con cui Google offre spunti e indicazioni in risposta ai dubbi della comunità SEO internazionale. Il tema odierno riguarda il crawl budget e le tecniche per cercare di impattare meno su questo aspetto, e il video affronta anche altri aspetti legati al topic, come la caching o la riduzione delle risorse embedded e il loro impatto sulla velocità del sito per gli utenti.

I chiarimenti sul crawl budget di Google

Lo spunto di partenza per questa riflessione nasce dalla domanda di un utente via Twitter, che chiede se “un utilizzo intenso di WRS può anche ridurre il crawl budget di un sito”. La risposta è affidata come di consueto a John Mueller, che innanzitutto chiarisce le definizioni dei termini e delle attività.

Il WRS è il Web Rendering Service, ovvero il sistema che Googlebot usa per renderizzare le pagine come un browser, in modo da poter indicizzare tutto allo stesso modo in cui lo vedrebbero gli utenti.

La più nota espressione crawl budget si riferisce al sistema che “usiamo per limitare il numero di richieste che facciamo ad un server, in modo da non causare problemi durante il nostro crawling”.

Come Google gestisce il crawl budget di un sito

Mueller ribadisce ancora una volta che il crawl budget non è un tema che dovrebbe preoccupare tutti i siti (se ne parlava anche nella serie SEO Mythbusting), perché in genere “Google non ha problemi a fare crawling di sufficienti URL per la maggior parte dei siti”.

Anche se non c’è una soglia specifica o un benchmark di riferimento, per il Webmaster Trends Analyst di Google il crawl budget “è un argomento che dovrebbe interessare per lo più grandi siti web, quelli con oltre centomila URL”.

In generale, i sistemi di Google riescono automaticamente a determinare il numero massimo di richieste che un server può elaborare in un determinato periodo di tempo. Questa operazione viene “fatta automaticamente e regolata nel tempo”, spiega Mueller, perché “appena vediamo che il server inizia a rallentare o a restituire errori del server, riduciamo il crawl budget a disposizione dei nostri crawler”.

Google e rendering

Il Googler si sofferma anche sul rendering, spiegando ai siti che i servizi del motore di ricerca devono “poter accedere a contenuti embedded, come file JavaScript, CSS, file, immagini e video e alle risposte del server dalle API che sono utilizzate nelle pagine”.

Google fa un “largo uso di caching per cercare di ridurre il numero di richieste necessarie per renderizzare una pagina, ma nella maggior parte dei casi il rendering risulta più di una semplice richiesta, quindi più di un semplice file HTML che viene inviato al server”.

Ridurre le risorse embedded aiuta anche gli utenti

In definitiva, secondo Mueller, soprattutto quando si opera su grandi siti può essere d’aiuto per il crawling “ridurre il numero di risorse embedded necessarie per renderizzare una pagina”.

Questa tecnica permette anche di offrire pagine più veloci per gli utenti e di ottenere quindi due risultati importanti per la nostra strategia.