The Pulse

Cloudflare blocca per impostazione predefinita i crawler per l’addestramento dell’IA e gli agenti

Le nuove impostazioni predefinite di Cloudflare entrano in vigore il 15 settembre 2026: bloccano i crawler per l’addestramento dell’IA e gli agenti sulle pagine finanziate dalla pubblicità, continuando a consentire i crawler di ricerca. L’a

AI.info Team · Scritto con l’IA · verificato · 2026-09-15

Le nuove regole predefinite di Cloudflare entrano in vigore martedì 15 settembre: bloccano i crawler utilizzati per l’addestramento dell’IA e l’attività degli agenti in tempo reale sulle pagine che mostrano pubblicità, continuando a consentire i crawler di ricerca. La modifica si applica ai nuovi domini, ai nuovi siti aggiunti dai clienti esistenti e ai clienti esistenti del piano gratuito che non hanno modificato le proprie impostazioni.

La politica traduce un annuncio di luglio in una modifica operativa per una larga parte del web. I proprietari dei siti possono ancora cambiare le impostazioni dalla dashboard dell’azienda, ma ora le impostazioni predefinite favoriscono la ricerca dei contenuti rispetto ai sistemi automatizzati che li copiano per addestrare modelli o agiscono per conto di un utente.

«Ora che la maggior parte del traffico su Internet non è umano, dobbiamo andare oltre e agire più rapidamente affinché possa emergere un ecosistema sostenibile», ha dichiarato Matthew Prince, cofondatore e amministratore delegato di Cloudflare, nell’annuncio dell’azienda del 1° luglio.

Cloudflare distingue tra ricerca, agenti e addestramento

I controlli di Cloudflare suddividono il traffico automatizzato in tre categorie. I crawler di ricerca raccolgono o indicizzano materiale affinché un sistema possa rispondere a domande in un secondo momento. I crawler degli agenti recuperano pagine in tempo reale per un utente, compresi gli strumenti di recupero basati su chat e i sistemi che utilizzano il browser. I crawler di addestramento raccolgono materiale per addestrare un modello o sottoporlo a fine-tuning.

I clienti possono consentire o bloccare ogni categoria sull’intero sito, oppure bloccarla solo sulle pagine in cui Cloudflare rileva pubblicità. Le opzioni sono disponibili per tutti i clienti, compresi quelli del piano Free, e ogni impostazione può essere applicata sia ai bot verificati sia ad altri bot non verificati che si comportano allo stesso modo, secondo la documentazione dell’azienda.

Cloudflare ritirerà il 15 settembre la precedente impostazione «Block AI bots». Il vecchio controllo bloccava i crawler di addestramento verificati, ma escludeva quelli che combinavano addestramento e ricerca. La nuova politica considera insieme i diversi scopi di un crawler, facendo sì che sia la regola applicabile più restrittiva a determinarne l’accesso.

Le restrizioni più severe colpiscono i crawler ad uso misto

La politica riguarda soprattutto i crawler che combinano ricerca e addestramento. Il blog di Cloudflare indica Googlebot, Applebot e BingBot come esempi di crawler multiuso che possono essere interessati quando un cliente sceglie di bloccare il traffico di addestramento. Sulle pagine con pubblicità, questi crawler potrebbero essere bloccati se il proprietario del sito ha selezionato una restrizione per l’addestramento e non ha scelto di escludersi dalla nuova modalità di trattamento.

La modifica affronta una controversia che per gli editori è diventata più difficile da evitare, afferma Cloudflare: i siti web vogliono comparire nei risultati di ricerca e nelle risposte dell’IA, ma non necessariamente vogliono che lo stesso accesso alimenti lo sviluppo dei modelli. L’azienda sostiene che i crawler multiuso costringano gli editori ad accettare questo compromesso, perché non possono separare la visibilità dal riutilizzo.

Secondo la documentazione di Cloudflare, i clienti possono scegliere di escludersi dalla nuova modalità di trattamento prima di modificare le proprie impostazioni. La scelta non è permanente: i proprietari dei siti possono configurare separatamente l’accesso per la ricerca, gli agenti e l’addestramento attraverso le impostazioni di sicurezza nella loro dashboard.

La pubblicità diventa la linea di demarcazione di Cloudflare

Cloudflare usa la pubblicità come segnale che una pagina è destinata ad attirare un visitatore umano. Con le nuove impostazioni predefinite, i crawler di addestramento e degli agenti sono bloccati su queste pagine, mentre la ricerca resta consentita perché, secondo Cloudflare, è più probabile che indirizzi i visitatori verso il sito.

La regola non blocca tutte le richieste automatizzate. La più ampia classificazione dei bot di Cloudflare comprende anche transazioni, raccolta di dati, test di sicurezza, ottimizzazione per i motori di ricerca, verifica della pubblicità, anteprime social e recupero di feed. Le impostazioni predefinite del 15 settembre si concentrano sulle tre categorie legate all’IA che, secondo l’azienda, i proprietari dei siti desiderano più spesso gestire direttamente.

La distinzione lascia inoltre ai proprietari dei siti la responsabilità di decidere se il traffico generato da un sistema di IA crei valore. Un crawler di ricerca può aiutare una pagina a comparire in una risposta o in un risultato, mentre un crawler di addestramento può assimilare lo stesso materiale in un modello senza indirizzare un utente verso l’editore.

Cloudflare aggiunge strumenti di visibilità e pagamento

La modifica delle impostazioni predefinite arriva insieme a nuovi controlli pensati per mostrare ai clienti come i sistemi automatizzati usano i loro contenuti. L’elenco BotBase di Cloudflare offre ai clienti di Enterprise Bot Management una panoramica consultabile dei bot e degli agenti verificati noti, comprese le loro classificazioni e i loro identificativi di rilevamento.

L’azienda sta inoltre sviluppando Attribution Business Insights, una dashboard progettata per mostrare come le aziende di IA utilizzano i contenuti dei siti e quanto traffico umano vi indirizzano. Lo strumento è pensato per fornire agli editori maggiori informazioni quando negoziano accordi di licenza o di accesso, afferma Cloudflare.

Cloudflare sta anche testando separatamente segnali che comunicano alle aziende di IA quando una pagina è cambiata e deve essere recuperata di nuovo. Secondo l’azienda, nei suoi dati oltre la metà del traffico dei crawler di IA è dedicata al recupero ripetuto di pagine non modificate, anche se descrive la riduzione di queste scansioni ripetute come un test, non come un risultato già ottenuto.

Anche il precedente programma Pay Per Crawl viene esteso in Pay Per Use, nell’ambito del quale gli editori sarebbero pagati quando i loro contenuti producono valore, anziché semplicemente quando un crawler li recupera. Cloudflare indica Ceramic.ai e You.com come partner dell’iniziativa, ma l’annuncio non fornisce una data di lancio generale né un calendario dei pagamenti.

Una politica rivolta alla progettazione dei crawler

La scadenza del 15 settembre fissata da Cloudflare è anche una richiesta alle aziende di IA di identificare ciò che fanno i loro crawler. Gli operatori dovrebbero separare le attività di ricerca, degli agenti e di addestramento in crawler diversi, anziché presentare un unico bot con più scopi, afferma l’azienda.

Questo requisito potrebbe facilitare le decisioni degli editori sull’accesso, ma esercita anche pressione sulle aziende i cui sistemi usano un unico crawler per più servizi. Un bot che non separa chiaramente la ricerca dall’addestramento potrebbe perdere l’accesso alle pagine finanziate dalla pubblicità anche quando la sua attività di ricerca sarebbe altrimenti consentita.

Per i proprietari dei siti, il compito immediato è pratico: esaminare le nuove impostazioni, verificare se le pagine con pubblicità sono coperte e decidere se i crawler ad uso misto debbano continuare ad avere accesso. Le impostazioni predefinite di Cloudflare fanno ora questa scelta per i clienti che lasciano invariati i controlli: la ricerca è consentita, mentre il traffico di addestramento e degli agenti è bloccato sulle pagine con pubblicità.