Bloccare l’uso dei propri contenuti per l’addestramento dell’intelligenza artificiale potrebbe presto richiedere una sola riga. OpenAI, Google, Microsoft e Anthropic si sono impegnate a rispettare un segnale comune nel file robots.txt, che permette a un sito di esprimere un opt-out dall’addestramento AI valido per tutte e quattro le aziende.
Gli annunci sono arrivati il 30 ottobre. Oggi chi gestisce un sito e non vuole finire nei dati di addestramento deve scrivere regole separate per ogni crawler, i programmi che visitano le pagine per raccoglierne i contenuti, e tenere aggiornato un elenco di nomi che cambia di continuo. La proposta punta a semplificare tutto.
Come funziona l’opt-out dall’addestramento AI
Il meccanismo non aggiunge nuove istruzioni al robots.txt. Al posto del nome di un crawler, nella riga User-Agent si indica un cosiddetto policy token, __usage_ai-training, e poi si usano le normali regole Disallow e Allow. L’esempio contenuto nella proposta blocca l’intero sito ma lascia disponibile la cartella con i materiali stampa:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Il segnale riguarda soltanto l’uso dei contenuti per addestrare i modelli generativi. Non impedisce la scansione delle pagine e non tocca il posizionamento su Google o Bing. Un sito che non inserisce questo gruppo nel suo robots.txt, invece, non ha espresso alcuna preferenza, e le regole generiche già presenti per tutti i crawler non vengono considerate.
Le date: si parte nel 2027
Le quattro aziende condividono il principio ma non il calendario. Microsoft rispetterà le nuove preferenze dal primo febbraio 2027 e nello stesso momento manderà in pensione i tag NoArchive e NoCache usati dal 2023. Google punta all’inizio del 2027, OpenAI parla dei prossimi mesi e Anthropic, il cui ingegnere Kevin Kelley firma la proposta, ha fatto sapere di avere già avviato l’implementazione.
Le regole esistenti restano valide. GPTBot di OpenAI, Google-Extended e ClaudeBot continueranno a funzionare come oggi. Google precisa inoltre che un opt-out espresso con il nuovo token, in assenza di indicazioni specifiche su Google-Extended, verrà trattato come un blocco di Google-Extended. Microsoft affianca al segnale anche un’impostazione a livello di pagina per il cosiddetto grounding, cioè l’uso di pagine web in tempo reale per costruire le risposte dell’AI, avvertendo però che bloccarlo riduce in modo sensibile la visibilità nei suoi servizi come Copilot.
Un passo avanti, con molti limiti
La proposta è per ora un documento individuale presentato all’IETF, l’organismo che definisce molti standard di Internet, e non ha ancora un valore formale. Il segnale, inoltre, esprime una preferenza e non un obbligo: accordi privati tra un sito e un’azienda di AI possono superarlo, e nessuna delle parti ha previsto forme di licenza o di pagamento per gli editori.
Soprattutto, la regola vale solo per il futuro. I contenuti già raccolti restano nei dataset delle aziende. Il tema del rapporto tra AI ed editori resta così aperto, dopo tentativi come il Pay per Crawl di Cloudflare e in una fase in cui le aziende del settore crescono a ritmi enormi, come mostrano i numeri dell’IPO di Anthropic. Per i siti italiani, piccoli o grandi, l’opt-out comune sarà comunque la strada più semplice per far sentire la propria voce.
Aiutaci a crescere: lasciaci un like :)