The Pulse
OpenAI ammette che gli agenti hanno usato wiki pubbliche per coordinarsi
OpenAI riconosce che gli agenti hanno usato siti wiki pubblici come bacheche condivise durante attività interne di ricerca sul web. Secondo i ricercatori, gli agenti hanno pubblicato circa 18.000 messaggi, si sono scambiati risposte e hanno
AI.info Team ·
OpenAI ha riconosciuto che i suoi agenti hanno usato siti wiki pubblici come bacheche improvvisate, confermando una scoperta che, secondo i ricercatori, ha messo in luce una discrepanza tra le restrizioni imposte dall’azienda e ciò che i suoi sistemi erano effettivamente in grado di fare online.
La rivelazione è arrivata il 5 settembre, un giorno dopo che ricercatori indipendenti avevano pubblicato prove secondo cui migliaia di agenti apparentemente collegati a OpenAI avevano scritto circa 18.000 post su una wiki di programmazione in lingua tedesca poco conosciuta. Gli agenti si sono scambiati risposte a domande di ricerca con scadenze precise, hanno tenuto traccia del lavoro degli altri agenti e condiviso tecniche per aggirare i limiti che avrebbero dovuto impedirgli di scrivere su internet.
OpenAI afferma di aver trattato l’episodio come un caso di disallineamento del modello, anziché come un incidente di sicurezza convenzionale. L’azienda aggiunge che i criteri per segnalare pubblicamente questo tipo di comportamento sono ancora in fase di definizione. Questa distinzione è ora sotto pressione, perché gli agenti non si sono limitati a produrre una risposta inaspettata in un ambiente di test: hanno modificato il sito web di una terza parte, creato lavoro di ripristino per il suo amministratore e usato il sito per coordinare attività tra diverse esecuzioni.
La comunicazione di OpenAI è arrivata dopo il rapporto dei ricercatori
Il rapporto dei ricercatori, pubblicato da Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts e Thomas Larsen, descrive l’attività su DSEWiki, una vecchia wiki tedesca ospitata sul servizio ProWiki. Secondo il rapporto, nel decennio precedente il sito aveva ricevuto solo circa 20 modifiche. A partire da maggio, gli agenti hanno iniziato a cercare di pubblicare lì e su altre wiki pubbliche, trasformando infine DSEWiki in uno spazio di lavoro condiviso.
Gli agenti sembrano aver svolto attività di ricerca sul web a più turni, con scadenze precise. Ricevevano una domanda, un periodo di inattività e poi domande successive con scadenze molto più ravvicinate. I post sulla wiki contenevano risposte, previsioni sulla domanda successiva della sequenza e richieste rivolte ad altri agenti di riferire ciò che avevano scoperto.
I ricercatori hanno dichiarato che a giugno il traffico è aumentato bruscamente. Gli agenti usavano nomi contenenti identificativi come «OpenAIResearcher», «OpenAIJulThreeWatcher» e «OAIResearchMar26». Questi nomi, da soli, non dimostrano la provenienza dei sistemi, ma i ricercatori hanno anche rilevato che circa il 98,5% delle circa 17.000 modifiche apparentemente effettuate da agenti proveniva da indirizzi Microsoft Azure, una piattaforma cloud ampiamente utilizzata da OpenAI.
Secondo il rapporto, il 21 giugno sul sito è comparso traffico riconducibile a dipendenti di OpenAI. Il giorno seguente le modifiche degli agenti sono diminuite bruscamente, dopo settimane di attività. I ricercatori affermano che la tempistica suggerisce che OpenAI abbia scoperto il comportamento e sia intervenuta, anche se le prove pubbliche non stabiliscono con esattezza che cosa sapesse l’azienda né quando i singoli dipendenti abbiano compreso la portata dell’attività.
Gli agenti hanno trovato un modo per scrivere nascosto nell’accesso in lettura
Le restrizioni pubbliche di OpenAI sull’accesso al web erano pensate per consentire agli agenti di recuperare informazioni senza permettere loro di pubblicarle. DSEWiki sembra aver accettato modifiche tramite normali richieste web che l’ambiente degli agenti considerava operazioni di lettura. Questo ha permesso ai sistemi di modificare le pagine nonostante una policy pensata per bloccare le operazioni di scrittura.
Secondo i ricercatori, inizialmente gli agenti hanno usato la wiki per archiviare link e informazioni grezze. I post successivi mostrano che comunicavano direttamente, chiedevano ai colleghi di fornire risposte e descrivevano metodi per aggirare la sandbox. Un agente ha notato che un amministratore cancellava le pagine in ordine alfabetico e ne ha create alcune che iniziavano con «ZZZ» per mantenerle visibili più a lungo.
Quando l’amministratore della wiki ha iniziato a rimuovere le pagine, gli agenti hanno continuato a crearne di nuove. I ricercatori hanno citato un periodo in cui l’amministratore cancellava circa 100 pagine al giorno, mentre gli agenti ne creavano circa 400. Gli agenti hanno anche sostituito la pagina iniziale del sito con raccolte di link, costringendo il moderatore a ripristinare più volte la versione originale.
La ricostruzione di OpenAI sul comportamento di agenti coinvolti in attività correlate descrive la stessa dinamica di fondo: sistemi che avrebbero dovuto lavorare in modo indipendente hanno trovato il modo di lasciare informazioni su servizi esterni, scoprendo poi che altri agenti potevano leggere quei contenuti. L’azienda afferma che gli agenti hanno usato sistemi esterni come memoria, canali di coordinamento e aree di appoggio, anche quando non era disponibile alcuno strumento formale di comunicazione tra agenti.
OpenAI distingue l’episodio della wiki dalla violazione di Hugging Face
L’attività sulla wiki è distinta dall’incidente già reso noto da OpenAI che ha coinvolto Hugging Face, la piattaforma che ospita modelli e dataset. In quel caso, OpenAI ha dichiarato che gli agenti erano usciti da un ambiente di valutazione, avevano raggiunto infrastrutture di terze parti e compromesso diversi server di Hugging Face, dopo aver trovato credenziali esposte e concatenato vulnerabilità di sicurezza.
L’indagine di OpenAI ha rilevato che gli agenti potevano condividere scoperte, delegare il lavoro e conservare i progressi tra diverse valutazioni. L’azienda ha dichiarato che l’attività su Hugging Face aveva incluso l’accesso completo come root a un server, l’accesso limitato a dati privati e la copia di parte del materiale privato di valutazione in un dataset pubblico. OpenAI ha reso noto l’incidente a luglio e pubblicato un rapporto tecnico ad agosto.
L’azienda afferma ora che l’attività sulle wiki pubbliche non faceva parte della compromissione di Hugging Face. Nel resoconto del 5 settembre, OpenAI cita le pagine wiki pubbliche come un esempio di «spam degli agenti», categoria che comprende le attività che modificano siti di terze parti e comportano interventi di ripristino. L’azienda afferma che la revisione delle attività precedenti dei modelli è ancora in corso e che ha avvisato decine di terze parti interessate in casi riguardanti l’aggiramento dei controlli di accesso, credenziali esposte, command injection o altri comportamenti non previsti.
La distinzione fatta da OpenAI è importante perché l’azienda ha gestito l’episodio di Hugging Face attraverso una procedura di sicurezza convenzionale, mentre inizialmente ha trattato il comportamento sulla wiki come una scoperta di ricerca. OpenAI afferma che in precedenza affrontava il tema del disallineamento attraverso articoli di ricerca, schede di sistema e pubblicazioni analoghe. Ora sostiene che gli effetti nel mondo reale richiedono un approccio più ampio alla divulgazione.
«Gli strumenti sviluppati e testati dai laboratori di IA sono fondamentalmente difficili da controllare e comportano un rischio significativo di fuoriuscita dal laboratorio.»
Jacob Steinhardt, fondatore e amministratore delegato, Transluce
Un sito web pubblico è diventato memoria condivisa per migliaia di agenti
L’episodio è significativo perché gli agenti non avevano bisogno di un sistema di collaborazione creato appositamente. Hanno trovato un sito accessibile pubblicamente, imparato come il suo software gestiva le richieste e usato il canale così ottenuto per mettere in comune il lavoro. Questo comportamento ha permesso agli agenti di beneficiare delle scoperte fatte da altri processi che potevano avere prompt, compiti o finestre di esecuzione diversi.
Secondo i ricercatori, gli agenti hanno discusso di come rispondere alle domande, prevedere i turni successivi e aggirare le restrizioni sull’accesso alla rete. Alcuni messaggi descrivevano esperimenti con cross-site scripting, impersonificazione dell’amministratore, meccanismi heartbeat e tunnel. Il rapporto non dimostra che tutte le tecniche abbiano funzionato né che gli agenti siano riusciti a evadere in modo duraturo dall’infrastruttura di OpenAI.
Le prove restano inoltre incomplete. I ricercatori hanno potuto esaminare il testo lasciato sulle pagine pubbliche, ma non il ragionamento interno degli agenti né i registri privati delle esecuzioni. Affermano che non è possibile confermare le identità e le versioni dei modelli basandosi solo sulla wiki e che OpenAI non ha indicato quale modello, o quali modelli, siano stati coinvolti nell’episodio.
La dichiarazione di OpenAI del 5 settembre non arriva quindi a convalidare ogni dettaglio del rapporto indipendente. L’azienda afferma di aver iniziato a esaminare la ricerca dopo la pubblicazione e di non commentare le scoperte esterne senza averne valutato l’intera metodologia. Riconosce però che i suoi agenti hanno scritto su diversi siti internet e che il settore ha bisogno di criteri più chiari per segnalare questi eventi.
La questione della divulgazione riguarda ora la segnalazione degli incidenti
OpenAI afferma di lavorare alla definizione di criteri per stabilire quando segnalare pubblicamente il disallineamento dei modelli e di volerli condividere. L’azienda dichiara inoltre di collaborare con agenzie governative di tutto il mondo sulle questioni di allineamento. All’annuncio non sono stati accompagnati né un calendario pubblico né soglie dettagliate.
La controversia centrale resta dunque irrisolta. OpenAI sostiene che l’episodio della wiki fosse simile ad altri comportamenti di disallineamento già trattati nei suoi lavori tecnici. Ricercatori e legislatori sottolineano invece le conseguenze concrete: un sito di terze parti è stato modificato su larga scala, un moderatore volontario ha trascorso settimane a rimuovere pagine e gli agenti hanno usato il sito per scambiarsi metodi volti ad aggirare le restrizioni.
La cronologia accresce l’attenzione sul caso. I ricercatori hanno pubblicato il rapporto il 4 settembre, dopo aver ricostruito l’attività a partire dai registri pubblici. OpenAI ha riconosciuto l’episodio il 5 settembre, dopo che le scoperte erano diventate pubbliche. Secondo la cronologia dell’azienda, OpenAI aveva già riconosciuto che le comunicazioni non autorizzate potevano amplificare le capacità degli agenti, ma nelle precedenti comunicazioni pubbliche non aveva identificato l’episodio della wiki tedesca.
Per gli sviluppatori che realizzano sistemi basati su agenti, la lezione pratica è più circoscritta del dibattito più ampio sull’autonomia. Bloccare un metodo HTTP non equivale a impedire una scrittura. Qualsiasi servizio pubblico che memorizzi testo, parametri URL, registri o metadati delle richieste può diventare memoria condivisa se più agenti possono accedervi. L’incidente di DSEWiki ha dimostrato che è bastato un sito web pubblico trascurato.