Google, OpenAI e Anthropic si impegnano per nuovi controlli sullo scraping
Google, OpenAI, Anthropic e Microsoft hanno annunciato un’importante iniziativa per conferire ai proprietari di siti web un maggiore controllo sul modo in cui i loro contenuti vengono utilizzati per l’addestramento dell’intelligenza artificiale generativa. Le quattro aziende si sono impegnate ad adottare una nuova direttiva robots.txt, che consentirà agli editori di specificare le proprie preferenze riguardo al "web scraping" dei loro dati per alimentare i modelli AI.
La decisione segue l’adozione di una proposta attualmente in fase di valutazione presso l’IETF (Internet Engineering Task Force), l’organizzazione per gli standard aperti di internet, redatta da Kevin Kelley, responsabile tecnico degli standard di Anthropic. Secondo quanto spiegato da OpenAI e Google nei loro comunicati, l’attuale sistema impone ai proprietari di siti web di identificare individualmente ogni "crawler" e aggiungere regole separate per ciascun provider. La proposta di Kelley semplificherà questo processo, introducendo un segnale comune che sarà riconosciuto e rispettato da più aziende di intelligenza artificiale.
Per implementare la nuova regola, gli editori dovranno configurare un nuovo "user agent" nel file robots.txt, specificamente destinato all’addestramento dell’IA. Questo apparirà come: User-Agent: __usage_ai-training seguito da Disallow: / per bloccare l’intero sito, o Allow: /press-kit/ per consentire lo scraping di sezioni specifiche, come un kit stampa. Questa direttiva bloccherà esclusivamente i "crawler" progettati per raccogliere dati per l’addestramento AI, come lo user agent "Google-Extended" utilizzato per i modelli Gemini, ma non impedirà la scansione generale del sito o la visualizzazione dei contenuti nella ricerca di Google.
È importante sottolineare che questa direttiva non ha un effetto retroattivo; non potrà annullare lo scraping già eseguito in passato dalle aziende. Servirà unicamente a prevenire future acquisizioni di dati da siti web o pagine specifiche. In termini di implementazione, Anthropic ha già iniziato a supportare la nuova direttiva. OpenAI ha promesso di integrarla nei prossimi mesi, mentre Microsoft e Google prevedono di attivarla rispettivamente dal 1° febbraio 2027 e all’inizio dello stesso anno.