Una regola condivisa per dire no all’addestramento AI

Dire a Google, Microsoft e OpenAI di non usare i tuoi contenuti per addestrare i loro modelli potrebbe richiedere una sola istruzione. I tre operatori hanno annunciato il 30 ottobre il supporto a un segnale condiviso nel robots.txt, che permetterà di esprimere la stessa preferenza verso più fornitori AI. Resta però una distinzione decisiva: escludere i contenuti dall’addestramento e consentire che vengano utilizzati nelle risposte AI sono due scelte diverse, e le nuove regole non le gestiscono allo stesso modo.

Il meccanismo nasce da una proposta tecnica sviluppata nell’ambito dell’IETF e introduce il token __usage_ai-training. Puoi inserirlo nel file robots.txt come identificativo di una preferenza e associargli una regola Disallow per escludere l’intero sito o determinati percorsi dall’utilizzo per il training. Il token non identifica un nuovo crawler e non impedisce la scansione delle pagine: comunica ai fornitori che lo riconoscono come possono utilizzare i contenuti raccolti. Le istruzioni specifiche già previste dai singoli operatori continueranno a funzionare.

Microsoft permetterà di vietare l’addestramento mantenendo i contenuti disponibili per le risposte AI. La nuova impostazione distingue AI Training, cioè l’utilizzo delle pagine per modificare i parametri dei modelli generativi, e AI Grounding, il recupero di informazioni dal web per costruire una risposta. Potrai quindi negare il primo utilizzo e autorizzare il secondo, lasciando le pagine idonee a comparire come fonti nelle risposte di Bing, Copilot e degli altri servizi interessati. L’autorizzazione mantiene questa possibilità, senza garantire citazioni o traffico.

Microsoft aggiunge anche DisallowExtended, una preferenza che permette di riservare il grounding ai prodotti gestiti direttamente dall’azienda, escludendo i servizi di grounding forniti a soggetti terzi. Le impostazioni sul grounding si applicano alle singole pagine attraverso meta tag o intestazioni HTTP, mentre la preferenza sul training può essere dichiarata anche nel robots.txt. Le restrizioni sul grounding non modificano l’idoneità ai risultati organici tradizionali di Bing, ma possono ridurre la presenza nelle risposte generate.

Google adotterà il segnale comune con una logica differente. Quando trova una preferenza contraria al training e il sito non ha dichiarato esplicitamente una scelta per Google-Extended, la interpreterà come un blocco di quest’ultimo. Google-Extended controlla l’uso dei contenuti per l’addestramento di Gemini, ma anche il grounding nelle Gemini Apps e nei servizi collegati a Vertex AI. Un’esclusione generale dal training può quindi incidere anche su alcune possibilità di comparire nelle risposte generative. Restano separati i risultati della Ricerca Google, comprese AI Overview e AI Mode, che dipendono dai sistemi di Search e dai controlli di Googlebot.

OpenAI manterrà invece i controlli specifici già disponibili. Puoi autorizzare OAI-SearchBot, utilizzato per la ricerca di ChatGPT, e bloccare GPTBot, impiegato per raccogliere contenuti potenzialmente destinati all’addestramento. Il nuovo segnale si aggiungerà a queste impostazioni, senza sostituirle. OpenAI ha confermato l’intenzione di implementarlo nei prossimi mesi, riservandosi di comunicare ulteriori dettagli sul funzionamento.

Il controllo comune non è ancora operativo presso tutti gli operatori. Google prevede di introdurre il supporto nel 2027, OpenAI non ha indicato una data precisa e Microsoft inizierà a rispettare le nuove preferenze dal 1° febbraio 2027, man mano che effettuerà nuove scansioni. Anche la proposta IETF è ancora un Internet-Draft individuale, senza approvazione formale come standard definitivo.

Per Microsoft è prevista una scadenza ulteriore, che riguarda i siti che utilizzano già NoArchive o NoCache per limitare l’uso dei contenuti. Dal 15 dicembre 2026 sarà disponibile in Bing Webmaster Tools una preferenza temporanea di transizione, riservata ai siti che usano quei controlli. Entro il 1° marzo 2027 dovranno essere pubblicate le nuove preferenze per mantenere le restrizioni al training e al grounding; per quest’ultimo sarà necessario registrare anche la scelta temporanea in Bing Webmaster Tools. La misura serve a conservare le restrizioni mentre Microsoft attende di rilevare le nuove impostazioni attraverso la scansione delle pagine.

La gestione dei contenuti per l’AI richiederà quindi di controllare le istruzioni già presenti sul sito prima di aggiungere il nuovo token. Un blocco generale dell’addestramento potrebbe convivere con eccezioni specifiche per alcuni operatori, mentre la disponibilità delle pagine come fonti dipenderà dalle rispettive regole sul grounding e sulla ricerca. Microsoft avverte inoltre che le preferenze vengono applicate dopo il rilevamento attraverso il crawling: pubblicare una modifica non significa renderla immediatamente effettiva.

Fonti: Google, Microsoft, OpenAI