Crawler AI
I crawler AI sono i bot con cui le aziende di intelligenza artificiale scansionano il web per raccogliere dati di addestramento o per recuperare pagine in tempo reale quando un assistente risponde a una domanda. Funzionano come i crawler dei motori di ricerca, ma con scopi e comportamenti che variano da un laboratorio all’altro.
Molti laboratori separano i bot per funzione. OpenAI usa GPTBot per l’addestramento, OAI-SearchBot per la ricerca di ChatGPT e ChatGPT-User per le visite avviate da un utente; Anthropic usa ClaudeBot per Claude e Perplexity usa PerplexityBot. Google ha scelto una strada diversa: la scansione resta affidata a Googlebot, e l’uso dei contenuti per addestrare i modelli Gemini si governa con il token Google-Extended nel robots.txt.
La distinzione pesa quando si decide cosa bloccare. Escludere un bot di addestramento impedisce che le pagine entrino nei dati di un modello; escludere un bot di ricerca toglie il sito dalle risposte costruite dal vivo con il RAG da quell’assistente, con effetti diretti sulla visibilità AI. Un blocco generalizzato rischia di tagliare fuori il sito da canali che non si intendeva chiudere.
C’è poi una differenza tecnica: molti crawler AI non eseguono JavaScript, per cui i contenuti caricati solo via script restano invisibili per loro anche quando Google li legge. Il SEO Spider di SEOZoom aiuta a verificare che le informazioni importanti siano presenti nel codice e che direttive e blocchi siano coerenti con ciò che si vuole rendere accessibile.
