Guida completa al file robots.txt, per controllare i crawler sul sito

Provaci
Mettici alla prova
Analizza il tuo sito
Seleziona la lingua del database:

È una piccola, ma cruciale componente che gioca un ruolo fondamentale nell’ottimizzazione e nella sicurezza dei siti internet: parliamo del file robots.txt, il documento di testo che ha la funzione principale di comunicare con i robot dei motori di ricerca, indicando loro quali parti del sito possono essere esaminate e indicizzate e quali devono essere ignorate. Nato ufficialmente il 30 giugno 1994 come frutto del lavoro di un gruppo di webmaster per stabilire uno standard comune per regolare l’accesso dei crawler ai loro siti, nel tempo il file si è evoluto nel protocollo di esclusione robot che conosciamo oggi, diventando uno strumento di gestione del sito che può essere utilizzato da chiunque abbia un progetto online e voglia comunicare direttive specifiche ai crawler dei motori di ricerca.

Che cos’è il file robots.txt

Il file robots.txt è un file di testo che risiede nel