Un cambio della guardia silenzioso ma potenzialmente rivoluzionario sta avvenendo nelle fondamenta del web. Secondo un recente report di Hostinger, azienda specializzata in servizi di hosting, il web crawler di OpenAI, GPT Bot, avrebbe superato quello di Google, Googlebot, in termini di attività di scansione dei siti web. Questo dato segna un passaggio significativo, indicando l’intensità con cui le aziende di intelligenza artificiale stanno raccogliendo dati per addestrare i propri modelli.
L’analisi di Hostinger, che monitora il traffico sui milioni di siti ospitati sui propri server, rivela che ben l’88% di questi ha ricevuto almeno una visita da GPT Bot, il crawler che alimenta ChatGPT. Nello stesso periodo, la percentuale di siti visitati da Googlebot si è fermata al 78%. Questo indica, almeno sulla base del campione analizzato, una maggiore pervasività del bot di OpenAI rispetto a quello storico di Google, che per anni ha dominato l’indicizzazione del web.
Il fenomeno non riguarda solo OpenAI. Il report evidenzia un’attività frenetica da parte di tutti i principali crawler legati all’AI. Sommando le richieste giornaliere di GPT Bot a quelle dei bot di Anthropic (Claude), Meta (CCBot) e degli scraper di TikTok, si supera il miliardo e quattrocento milioni di richieste al giorno. È un’enorme mole di dati raccolta incessantemente per nutrire gli algoritmi di intelligenza artificiale generativa. Un altro dato rilevante è la concentrazione geografica di questa attività: circa l’80% del crawling globale è effettuato da aziende statunitensi, con un 10% riconducibile a player cinesi.
Questi numeri si inseriscono nel dibattito sulla cosiddetta “Dead Internet Theory”, la tesi secondo cui il web starebbe perdendo la sua vitalità a causa della proliferazione di contenuti sintetici generati automaticamente, spesso dalle stesse aziende che effettuano il crawling. La predominanza di pochi grandi player nella raccolta dati e nella generazione di contenuti solleva preoccupazioni sulla diversità e sull’autenticità future del web, timori condivisi persino dall’inventore del World Wide Web, Tim Berners-Lee.
Fonte: HD Blog
