OpenAI ha aggiornato la documentazione di OAI-SearchBot, il crawler che alimenta le funzionalità di ricerca di ChatGPT, modificando descrizioni, comportamenti e relazione con gli altri bot dell’azienda. La segnalazione arriva da Pieter Serraris, che ha evidenziato le differenze tra la versione precedente e quella attuale.
La prima novità riguarda il riferimento al robots.txt. Nella documentazione aggiornata, il rispetto delle direttive viene associato solo a OAI-SearchBot e GPTBot, mentre il bot denominato ChatGPT User non viene più incluso nel gruppo. Il cambiamento suggerisce una distinzione più netta tra il crawler che recupera contenuti e quello che esegue azioni legate alle richieste dell’utente.
Un altro punto chiave è la rimozione dell’indicazione secondo cui OAI-SearchBot servirebbe per costruire i link mostrati nelle risposte di ChatGPT. La documentazione precisa che bloccare il bot non impedisce la comparsa di un sito nei link generati, segnale che le fonti utilizzate dal modello non dipendono più in modo diretto dal crawl di questo specifico agente.
OpenAI chiarisce inoltre che OAI-SearchBot e GPTBot possono condividere le informazioni raccolte. Se un sito autorizza entrambi, i dati provenienti da una sola scansione possono essere utilizzati per le due finalità previste, riducendo duplicazioni e volumi di crawling.
La descrizione aggiornata del bot ChatGPT User indica ora che questo agente agisce anche per le richieste dei Custom GPT e per i flussi attivati tramite GPT Actions, ampliandone il perimetro operativo.
Per molti siti l’effetto immediato rimane lo stesso: l’attività di crawl di OpenAI continua a essere superiore al traffico generato. La revisione della documentazione chiarisce però come l’azienda stia separando i ruoli dei propri agenti e quale logica guida la raccolta dei dati.
Fonte: Seroundtable
