Cloudflare sta provando a cambiare il rapporto economico tra siti web e motori AI. Dal 15 settembre i nuovi domini che passano dalla sua rete, utilizzata da oltre il 20% dei siti web, partiranno con regole diverse per i crawler AI: accesso consentito a quelli che servono alla ricerca, blocco predefinito sulle pagine con pubblicità per quelli usati nel training dei modelli o dagli agenti AI.
I siti stanno già trattando questi crawler in modo molto diverso: tra luglio 2025 e gennaio 2026, tra i clienti che utilizzavano il sistema di controllo di Cloudflare, quelli che bloccavano GPTBot, ClaudeBot e altri crawler AI erano quasi sette volte più numerosi di quelli che bloccavano Googlebot e Bingbot. Il motivo è anche economico: Google e Bing indicizzano le pagine per mostrarle nei risultati e possono riportare l’utente sul sito; un assistente AI può recuperare le stesse informazioni per costruire direttamente la risposta.
Già da luglio Cloudflare aveva permesso di distinguere il motivo per cui un bot entra in una pagina. Search indica i crawler che raccolgono e indicizzano contenuti per rispondere a ricerche successive. Agent comprende i sistemi che visitano il web in tempo reale per svolgere un’attività richiesta da una persona, come ChatGPT-User o gli agenti che navigano attraverso il browser. Training riguarda i crawler che acquisiscono contenuti per addestrare o perfezionare un modello. Le tre categorie possono essere gestite separatamente, lasciando passare un uso e bloccandone un altro, ad esempio fermarle soltanto sulle pagine che mostrano pubblicità.
Googlebot, Applebot e Bingbot svolgono però più funzioni con lo stesso crawler. Inizialmente, Cloudflare aveva previsto di applicare a questi bot multi-purpose la regola più restrittiva – il blocco del Training avrebbe coinvolto anche il crawler utilizzato per Search – ma era già tornata sui propri passi aggiungendo Bot Preference Sync e modificando questo passaggio. I crawler che combinano ricerca e training possono quindi continuare a indicizzare le pagine quando rispettano il divieto di training e forniscono ai proprietari dei siti strumenti per verificare come vengono utilizzati i contenuti. Cloudflare richiede inoltre la possibilità di escludere i contenuti dalle sintesi AI e dati a livello di URL sugli utilizzi per ricerca e training.
Già lo scorso anno Cloudflare aveva proposto un approccio diverso alla monetizzazione con Pay Per Crawl, il sistema attraverso cui un editore può chiedere un pagamento ogni volta che un crawler AI recupera una sua pagina. Il numero dei passaggi del bot, però, racconta poco di quello che accade dopo. Una pagina può essere recuperata una volta e finire in migliaia di risposte; un’altra può essere scaricata ripetutamente e non essere mai utilizzata. Cloudflare sta quindi trasformando quella sperimentazione in Pay Per Use, dove il compenso segue l’utilizzo del contenuto.
Uno dei primi test coinvolge Ceramic.ai, un motore di ricerca via API costruito per LLM e agenti AI. Ceramic possiede un proprio indice del web e restituisce contenuti che possono essere inseriti direttamente nei workflow degli assistenti. Con il programma avviato insieme a Cloudflare, gli editori che aderiscono vengono pagati ogni volta che un loro contenuto compare nei risultati di Ceramic. Il modello viene chiamato pay-per-query e restituisce anche dati sulle query che hanno attivato il contenuto, sulla pagina e sullo snippet mostrati e sulla posizione ottenuta.
You.com, che fornisce API di ricerca web, risposta e ricerca approfondita per sistemi AI, sta provando un meccanismo diverso. Un agente può acquistare al momento l’accesso a uno specifico contenuto premium necessario per completare una richiesta, senza un accordo preventivo sull’intero sito. Cloudflare prevede che sulla stessa infrastruttura possano convivere modelli diversi, dal pagamento per query a quello per singolo risultato.
Pay Per Use resta per ora un esperimento, per ammissione della stessa Cloudflare. Non esiste una tariffa generale per ogni citazione AI e i due partner stanno già provando criteri diversi per stabilire quando scatta il pagamento. Ceramic remunera la comparsa del contenuto nei risultati; You.com sperimenta l’acquisto puntuale da parte degli agenti. Dal 15 settembre, intanto, il nuovo default sui crawler porterà questa stessa logica di separazione anche nell’accesso alle pagine: ricerca aperta, training e agenti bloccati di partenza sulle pagine sostenute dalla pubblicità.
Fonte: Clohttps://blog.cloudflare.com/content-independence-day-ai-options/udfare
