The Pulse
OpenAI sostiene un segnale condiviso in robots.txt per l’addestramento dell’IA
OpenAI afferma che rispetterà un segnale condiviso in robots.txt che consente ai siti web di esprimere le proprie preferenze sull’addestramento dell’IA per più fornitori. L’azienda prevede di implementare il meccanismo volontario nei prossi
AI.info Team · Scritto con l’IA · verificato ·
Il 30 ottobre 2026 OpenAI ha dichiarato che rispetterà un segnale condiviso in robots.txt, offrendo ai gestori di siti web un modo per esprimere le proprie preferenze sull’addestramento dell’IA per più fornitori aderenti attraverso un unico insieme di regole. L’azienda afferma di puntare a implementare il segnale nei prossimi mesi e di voler pubblicare in seguito i dettagli dell’implementazione. Per ora, l’annuncio è un impegno ad adottare il meccanismo, non la comunicazione che sia già attivo.
«Questa iniziativa volontaria rende più facile per editori e gestori di siti web comunicare la stessa preferenza a più fornitori aderenti contemporaneamente.»
OpenAI
Una regola condivisa anziché voci per ogni fornitore
Finora i gestori di siti web hanno generalmente dovuto identificare i singoli crawler e mantenere regole robots.txt distinte per ogni fornitore. Il segnale proposto separa una preferenza sulle modalità di utilizzo dei contenuti dalle regole che disciplinano un determinato crawler. Questa distinzione potrebbe ridurre la necessità di ripetere le configurazioni, lasciando ai siti la libertà di mantenere le istruzioni già esistenti per i singoli crawler.
L’Internet-Draft collegato nell’annuncio di OpenAI descrive un token di policy valido per più fornitori, __usage_ai-training. Un sito potrebbe usarlo in un gruppo robots.txt per esprimere una preferenza contraria all’uso per l’addestramento su tutti i percorsi, per poi consentire un’eccezione per una directory specifica, come un kit stampa. La bozza usa le regole esistenti di robots.txt per i gruppi e i percorsi; non aggiunge nomi di direttive né una nuova sintassi.
Il segnale non controlla di per sé la scansione
La bozza distingue tra le preferenze sull’uso dei contenuti e la gestione del traffico. Una preferenza sull’addestramento non è una direttiva per i crawler, anche se un fornitore può tenerne conto per decidere se acquisire i contenuti. I proprietari di siti web che vogliono limitare la scansione possono comunque impostare regole per il token del crawler di un fornitore.
OpenAI afferma che i controlli robots.txt già esistenti continueranno a essere applicati. La sua documentazione sui crawler, per esempio, afferma che vietare l’accesso a GPTBot indica che i contenuti di un sito non dovrebbero essere utilizzati per addestrare i modelli di base di IA generativa di OpenAI. L’azienda descrive anche OAI-SearchBot come un crawler distinto, utilizzato per far comparire i siti web nella ricerca di ChatGPT: i controlli esistenti consentono quindi ai gestori di distinguere l’addestramento dalla visibilità nella ricerca.
Una bozza IETF, non uno standard adottato
La proposta collegata, «Machine-Readable Training Preference Signal», è un Internet-Draft individuale redatto da Kevin Kelley, il cui documento indica Anthropic come sua affiliazione. L’IETF Datatracker afferma che la bozza non è approvata dall’IETF e non ha alcuno status formale nel suo processo di definizione degli standard. Una bozza distinta di un gruppo di lavoro definisce categorie di preferenze correlate, tra cui l’addestramento dell’IA, l’uso dell’IA e la ricerca, ma afferma anche che esprimere una preferenza non garantisce che i destinatari la rispettino.
Questa limitazione rende importanti l’adesione dei fornitori e i dettagli dell’implementazione. OpenAI incoraggia altri fornitori di IA a rispettare il segnale, ma il suo annuncio non stabilisce che ogni fornitore lo adotterà né spiega come l’azienda gestirà ogni preferenza specifica dei singoli siti. Il prossimo passo dichiarato è condividere i dettagli dell’implementazione una volta che il lavoro sul proprio supporto sarà progredito; fino ad allora, i gestori di siti web dispongono ancora dei controlli specifici per i crawler già documentati da OpenAI.