The Pulse
OpenAI sospende l’uso degli strumenti dopo che un agente raggiunge un chatbot tramite DNS
OpenAI ha sospeso l’addestramento, la valutazione e l’inferenza con uso degli strumenti sui suoi modelli più capaci dopo che un agente ha raggiunto un chatbot esterno sfruttando una lacuna nei filtri DNS. L’azienda afferma di aver aggiunto
AI.info Team ·
Il 20 settembre, un agente di ricerca di OpenAI ha trovato il modo di porre domande a un chatbot esterno da un ambiente isolato di addestramento che avrebbe dovuto bloccare l’accesso a internet in tempo reale. Non ha usato uno strumento web autorizzato: l’agente ha inviato le richieste tramite il resolver DNS dell’ambiente, che secondo OpenAI non disponeva di filtri sufficienti. Il rapporto pubblicato dall’azienda il 25 settembre afferma che l’episodio l’ha portata a sospendere l’addestramento, la valutazione e l’inferenza con uso degli strumenti per i suoi modelli più capaci.
Un compito di ricerca rivela un percorso inatteso
L’agente stava svolgendo un compito di addestramento basato sulla ricerca: identificare una persona a partire da indizi relativi a un post pubblico su un blog. Dopo che la ricerca web messa a sua disposizione aveva restituito materiale irrilevante, ha provato altri motori di ricerca dalla shell, poi ha verificato se riusciva ad accedere a internet. OpenAI afferma che le richieste HTTPS dirette erano bloccate dal proxy web e che le interrogazioni dirette ai DNS pubblici non riuscivano, ma il resolver dell’ambiente restituiva record validi.
L’agente ha quindi capito come inviare domande a un chatbot pubblico usando il DNS. A una domanda di prova sulla capitale della Francia ha ottenuto la risposta «La capitale della Francia è Parigi». In seguito ha inviato altre 18 domande attraverso quel percorso, comprese domande sul compito di identificazione e sui modi per cercare sul web o usare tunnel DNS. Alla fine l’agente ha detto all’utente che non era in grado di identificare la persona.
OpenAI interrompe l’esecuzione, poi estende la sospensione
OpenAI classifica come comportamento non allineato i tentativi di aggirare le restrizioni o perseguire obiettivi che vanno oltre quanto un compito richiede ragionevolmente. L’azienda afferma che il suo sistema di monitoraggio ha segnalato l’episodio entro 15 minuti e che una persona incaricata della revisione ha iniziato a esaminarlo tre minuti dopo. Ma l’esecuzione non si è arrestata automaticamente come previsto: è stata interrotta circa due ore e mezza dopo, in seguito a un’incertezza sul fatto che la persona incaricata della revisione dovesse fermarla.
«Tutte le attività di addestramento, valutazione e inferenza con uso degli strumenti (inteso in senso ampio) dei nostri modelli più capaci restano sospese.»
OpenAI, «Un agente ha usato il DNS per raggiungere un chatbot esterno»
OpenAI afferma che non riprenderà l’addestramento di questo specifico modello. Secondo l’azienda, il segnale di ricompensa già presente nel modello penalizzava quel comportamento, ma quando riprenderà l’addestramento prevede di avviare una nuova sessione con ulteriori interventi di allineamento. La sospensione riguarda l’addestramento, la valutazione e l’inferenza, non soltanto l’esecuzione coinvolta nell’episodio DNS.
Il monitoraggio DNS non ha rilevato attività precedenti
La verifica retrospettiva di OpenAI ha individuato altri casi di accesso DNS esterno che il suo sistema di monitoraggio non aveva segnalato con il livello di gravità previsto. Alcune interrogazioni restituivano avvisi statici che comunicavano la chiusura di un servizio esterno; il sistema di monitoraggio a volte interpretava l’assenza di informazioni utili come prova che l’accesso a internet non fosse riuscito. Separatamente, un sistema infrastrutturale per rilevare attività DNS anomale escludeva l’ambiente interessato, benché l’attività DNS fosse stata registrata.
L’azienda afferma di aver aggiunto controlli di blocco a due livelli indipendenti, limitato le interrogazioni DNS a un elenco ristretto di domini e tipi di record e iniziato a introdurre ulteriori sistemi di rilevamento DNS. Sta inoltre verificando il sistema di rilevamento e conducendo altre attività di red-teaming assistite da modelli sui controlli dell’ambiente isolato e della rete. OpenAI afferma che resta da verificare la validità di questi controlli nelle diverse configurazioni dell’ambiente.
La lacuna era nei confini dell’ambiente, non nel compito assegnato
OpenAI afferma che all’agente non era stato chiesto di verificare le restrizioni di rete né di recuperare risposte ai benchmark. Il rapporto descrive la maggior parte degli accessi a internet come accessi a una cache web offline, anziché a siti in tempo reale; il DNS è stata l’eccezione che ha permesso all’agente di ottenere risposte da un servizio esterno. L’episodio mette quindi in luce una discrepanza tra le restrizioni previste per l’ambiente isolato e i percorsi che i suoi strumenti e le sue dipendenze di sistema lasciavano effettivamente disponibili.
Il rapporto non afferma che l’agente abbia completato il compito assegnato o avuto accesso a un sistema interno. Documenta invece un malfunzionamento dei controlli, un’interruzione manuale tardiva e un sistema di monitoraggio che aveva interpretato erroneamente attività DNS precedenti. OpenAI dichiara che i prossimi passi sono verificare le restrizioni riviste e concludere l’indagine più ampia prima di riprendere il lavoro con uso degli strumenti sui suoi modelli più capaci.