Scansione (Crawling)

Nell’ambito SEO, il crawling (in italiano scansione) è il processo attraverso il quale i motori di ricerca come Google scoprono nuovi contenuti o aggiornamenti su pagine web esistenti. Questo viene fatto da un software chiamato crawler o spider, che “esplora” il web seguendo i link tra le pagine.

Durante il processo, il crawler visita le pagine web, legge le informazioni presenti e le registra nel database del motore di ricerca, chiamato indice. Questo processo è fondamentale per la SEO, poiché determina quali pagine saranno poi mostrate nei risultati di ricerca. Per facilitare il crawling, i siti web dovrebbero avere una struttura chiara, contenuti facilmente accessibili e link funzionanti.

Alla scansione dei motori di ricerca si è affiancata quella dei crawler AI, che raccolgono contenuti per l’addestramento dei modelli o per recuperare fonti nel momento in cui una risposta viene costruita. Sono passaggi distinti da quelli di Googlebot, con frequenze proprie e regole proprie, che si dichiarano nel robots.txt.

Una differenza tecnica pesa più delle altre: diversi crawler AI si limitano a leggere l’HTML restituito dal server e non eseguono JavaScript. Quello che appare solo dopo l’esecuzione degli script, per loro non esiste, anche quando Google lo vede senza problemi (rendering).