Meta Tag Robots

Il meta tag robots è l’elemento HTML con cui si danno ai motori istruzioni su una singola pagina: se indicizzarla, se seguire i suoi collegamenti, come trattarla nei risultati. Le stesse istruzioni possono essere date nell’header HTTP con X-Robots-Tag, che è l’unico modo per applicarle a file non HTML come i PDF.

I valori che si usano davvero sono pochi. noindex tiene la pagina fuori dai risultati, nofollow dice di non seguire i link contenuti, noarchive impedisce la copia cache, nosnippet toglie l’estratto e max-snippet ne limita la lunghezza (noindex, nofollow).

La regola che evita l’errore più comune: perché un’istruzione venga letta, la pagina deve essere scansionabile. Bloccarla nel robots.txt e metterci dentro un noindex significa che il noindex non verrà mai visto, e la pagina può comparire lo stesso nei risultati senza descrizione.

Si è aggiunto un uso recente che riguarda i contenuti e non l’indicizzazione: le direttive nosnippet e max-snippet limitano quanto testo può essere mostrato fuori dalla pagina, e valgono anche per i riquadri generati. Prima di usarle conviene però sapere che cosa si sta scambiando: meno testo esposto significa anche meno probabilità di essere selezionati come fonte (AI Overview, citazione).