Crawler

Un crawler, noto anche come spider o bot, è un programma software che i motori di ricerca utilizzano per scansionare il web.

I crawler navigano da un sito all’altro, da una pagina all’altra, raccogliendo e indicizzando le informazioni. Questo processo, noto come crawling, è la prima parte di ciò che fa un motore di ricerca per presentare i risultati di ricerca pertinenti. Uno dei più noti crawler è Googlebot, che è il bot di ricerca di Google.