The Pulse

Cloudflare separa il rifiuto dell’addestramento dell’IA dalla ricerca

Il 15 settembre 2026 Cloudflare ha introdotto l’impostazione Disallow AI Training, che consente ai proprietari di siti web di rifiutare l’addestramento dei modelli mantenendo disponibili per la ricerca i crawler responsabili. La policy appl

AI.info Team · Scritto con l’IA · verificato · 2026-09-16

Cloudflare permette ora ai proprietari di siti web di rifiutare l’addestramento dei modelli di IA senza rinunciare automaticamente alla visibilità nella ricerca tradizionale, separando due tipi di accesso automatizzato che spesso sono avvenuti attraverso lo stesso crawler.

La società ha annunciato la modifica il 15 settembre 2026, con una nuova impostazione Disallow AI Training. Il controllo mantiene disponibili per la ricerca i crawler responsabili a uso misto, bloccando al contempo i crawler di addestramento che non offrono una procedura separata per rifiutare l’utilizzo dei contenuti.

La modifica affronta un problema pratico per gli editori e gli altri proprietari di siti: un singolo bot può raccogliere pagine sia per un indice di ricerca sia per lo sviluppo di modelli di IA. Bloccare quel bot può rimuovere un sito dai risultati di ricerca nel momento stesso in cui impedisce che i suoi contenuti vengano usati per l’addestramento.

Cloudflare crea un controllo separato per l’addestramento

Cloudflare classifica ora il traffico automatizzato in tre categorie: Search, Training e Agent. I crawler Search costruiscono un indice, quelli Training raccolgono materiale per addestrare o sottoporre a fine-tuning i modelli e quelli Agent recuperano pagine per conto di una persona, come nel caso di un sistema che recupera contenuti per una chat o utilizza un browser.

Un crawler a uso misto svolge attività sia di ricerca sia di addestramento attraverso un’unica identità. La nuova impostazione di Cloudflare pubblica tramite robots.txt la preferenza a non consentire l’addestramento. I crawler responsabili a uso misto possono continuare ad accedere a un sito per la ricerca dopo aver ricevuto tale indicazione, mentre gli altri crawler di addestramento vengono bloccati.

La società definisce un operatore Accountable quando offre, o si è impegnato a offrire entro un termine stabilito, la possibilità di rifiutare l’uso dei contenuti per l’addestramento dell’IA e per i riepiloghi generati dall’IA, visibilità a livello di URL sulle pagine rese disponibili per l’addestramento e la garanzia che il rifiuto dell’addestramento non influisca sui risultati della ricerca tradizionale.

Trattamento diverso per Applebot, Bingbot e Googlebot

Cloudflare classifica Applebot, Bingbot e Googlebot come Accountable. Con l’impostazione Disallow AI Training, questi crawler possono continuare a raccogliere pagine per la ricerca. Selezionando la più restrittiva impostazione Block, invece, vengono fermati del tutto, anche nelle loro attività di ricerca.

Cloudflare inserisce nella categoria Accountable anche i crawler pertinenti di Amazon, Anthropic, Meta e OpenAI, ma queste società separano i propri crawler di ricerca da quelli di addestramento, afferma Cloudflare. Questo le permette di bloccare i crawler dedicati esclusivamente all’addestramento senza influire sull’accesso per la ricerca.

Google supporta già una regola Google-Extended in robots.txt e mette a disposizione nei suoi strumenti per webmaster controlli per escludere i contenuti dai risultati di ricerca generativi. Secondo Cloudflare, Google ha dichiarato che il rifiuto tramite Google-Extended non influisce sul posizionamento nei risultati di ricerca.

Apple supporta una regola analoga, Applebot-Extended, e ha anch’essa dichiarato che il rifiuto dell’uso dei contenuti per l’addestramento non influisce sul posizionamento nei risultati di ricerca. Apple non ha ancora fornito a Cloudflare uno strumento di verifica a livello di URL, ma ha condiviso i dettagli di una soluzione in fase di sviluppo prevista per il 2027, afferma Cloudflare.

La posizione di Microsoft è meno completa. Bing attualmente supporta le preferenze relative all’addestramento tramite il meta tag NOARCHIVE e mette a disposizione controlli tramite Bing Webmaster Tools. Microsoft sta lavorando al supporto in robots.txt di una preferenza a livello di dominio che escluda l’addestramento, con l’obiettivo di renderlo disponibile all’inizio del 2027. Fino ad allora, l’impostazione Disallow AI Training di Cloudflare non trasmetterà automaticamente a Bingbot la preferenza a non consentire l’addestramento.

«Block» include ora i crawler a uso misto

I controlli già esistenti Block e Block on pages with ads di Cloudflare si applicano ora sia ai crawler a uso misto sia a quelli dedicati esclusivamente all’addestramento. Ciò significa che il proprietario di un sito che seleziona Block può impedire ad Applebot, Bingbot e Googlebot di raggiungerlo, sacrificando l’accesso per la ricerca insieme a quello per l’addestramento.

La società sta dismettendo la precedente impostazione Block AI Bots a favore di controlli separati per Search, Training e Agent. Anche Managed Robots.txt viene sostituito da Bot Preference Sync, che pubblica le preferenze pertinenti nel file robots di un sito.

In generale, le configurazioni esistenti migreranno automaticamente. La precedente selezione di Block AI Bots corrisponde ad Allow per Search, Disallow AI Training per Training e Block on pages with ads per il traffico Agent. I clienti che non avevano mai configurato i vecchi controlli riceveranno impostazioni equivalenti, basate sulle loro scelte precedenti.

Per i nuovi domini impostazioni predefinite basate sulla pubblicità

Le impostazioni consigliate da Cloudflare per i nuovi domini variano a seconda che il sito ricavi o meno denaro dalla pubblicità. La ricerca rimane consentita in entrambe le configurazioni.

Per i siti senza pubblicità, la configurazione consigliata consente il traffico Search, Training e Agent. Per i siti finanziati dalla pubblicità, Cloudflare consiglia Disallow AI Training per il traffico Training e Block on pages with ads per il traffico Agent. La motivazione della società è che l’addestramento sostituisce una visita umana con una risposta, mentre un agente recupera una pagina senza che sia presente una persona a vedere la pubblicità.

I clienti possono modificare le impostazioni durante la configurazione iniziale o in seguito tramite la dashboard di Cloudflare. I controlli si applicano a livello di dominio, non ai singoli URL.

I limiti che restano per robots.txt

Un file robots da solo non può identificare chi effettua la scansione, spiegare perché un crawler raccoglie una pagina o fermare un operatore che ignora l’istruzione, riconosce Cloudflare. I suoi controlli di rete aggiungono l’identificazione dei crawler, la classificazione dei comportamenti, l’applicazione delle regole e la reportistica tramite Cloudflare Radar.

La nuova impostazione non crea nemmeno una possibilità equivalente di rifiuto per gli agenti. Gli agenti non producono lo stesso conflitto relativo alla reperibilità tramite ricerca dei crawler a uso misto e sul web manca una direttiva ampiamente consolidata per esprimere la preferenza di escludere gli agenti, afferma Cloudflare. La società potrebbe rivedere questa decisione con il progredire dei lavori sugli standard.

La policy di Cloudflare offre ai proprietari di siti una scelta più chiara per lo specifico conflitto che ha motivato l’annuncio: mantenere l’accesso per la ricerca da parte dei crawler responsabili a uso misto rifiutando l’addestramento dell’IA, oppure usare Block ed eliminare entrambe le forme di accesso. Per Bing, tuttavia, la separazione non è ancora pienamente operativa: il supporto di Microsoft per robots.txt a livello di dominio è ancora previsto per l’inizio del 2027.