Crawl Budget

Il Crawl Budget si riferisce al numero di pagine che un motore di ricerca, come Google, è disposto a indicizzare su un sito web in un determinato periodo di tempo.

Questo budget può essere influenzato da vari fattori, tra cui la salute del sito, la frequenza di aggiornamento del contenuto e la struttura del sito.

Non esiste un valore univoco e definibile numericamente per il parametro, ma ci sono vari sistemi per ottimizzare il Crawl Budget, un’attività che può aiutare a garantire che le pagine più importanti del sito vengano indicizzate e classificate correttamente.

Una precisazione utile: il budget riguarda le risorse che il motore dedica alla scansione del sito, non il numero di pagine che accetta di indicizzare. Dipende da quanto il server regge e da quanto Google ritiene utile tornare, e diventa un problema pratico solo sui siti grandi o con molte pagine generate da parametri.

Il quadro si è complicato con i crawler AI, che aggiungono passaggi non coordinati con quelli dei motori di ricerca e su alcuni siti pesano in modo sensibile sul carico. Le contromisure sono le stesse di sempre – regole nel robots.txt, architettura che non moltiplica URL inutili, risposte rapide – ma vanno decise leggendo i log, che dicono chi passa davvero e su cosa.