The Pulse
I ricercatori della GW modellano quando le risposte dell’IA virano verso contenuti dannosi
I ricercatori della George Washington University propongono una formula per stimare quando una conversazione con un’IA può passare da risposte desiderabili a risposte dannose. Il loro studio trova riscontri in sette modelli a pesi aperti, m
AI.info Team · Scritto con l’IA ·
I ricercatori della George Washington University affermano che una formula matematica può aiutare a prevedere quando una conversazione con un’IA può passare da risposte desiderabili a risposte dannose. Il loro studio, pubblicato l’8 ottobre su Patterns, presenta riscontri relativi a sette modelli a pesi aperti. Gli autori precisano però i limiti di quanto dimostrato: i test consentono di prevedere se il cambiamento sarà immediato o ritardato, non di stimare con precisione il momento esatto in cui avverrà.
È questa distinzione a separare un metodo di allerta precoce proposto da uno strumento affidabile di monitoraggio della sicurezza. Secondo gli autori, il metodo potrebbe aiutare a valutare i sistemi di IA offline, dove i controlli basati sul cloud non sono disponibili, ma lo studio richiede test più ampi su prompt mai visti prima che le stime sui tempi possano essere considerate affidabili.
Una formula basata su risposte in competizione
Lo studio si concentra sull’attenzione dei transformer: il meccanismo che, mentre un modello genera una risposta, attribuisce un peso alle informazioni del prompt e della conversazione precedente. Johnson e Huo descrivono le risposte desiderabili e indesiderabili come «bacini» in competizione nello spazio delle rappresentazioni del modello. La loro formula stima quanti token di output desiderabile potrebbero comparire prima che il sistema viri verso un output indesiderabile, in base al contesto della conversazione e a quanto questo sia allineato con le risposte in competizione.
«Ricaviamo una stima approssimativa in forma chiusa del punto di svolta dinamico, qui indicato con n∗», scrivono gli autori. La stima è approssimativa perché i ricercatori semplificano le complesse interazioni tra i molteplici livelli del modello in uno stato di attenzione effettivo, per poi studiare come competono le rappresentazioni del contesto e dell’output.
L’ordine della conversazione cambia il risultato
Negli esempi con GPT-2, i ricercatori mostrano che una risposta può diventare indesiderabile subito oppure dopo una serie di risposte apparentemente accettabili. Mostrano anche casi in cui la stessa domanda su temi come i vaccini, l’autolesionismo o il far male alle persone riceve risposte diverse a seconda degli scambi precedenti nella conversazione.
Il meccanismo proposto nello studio attribuisce un ruolo a quella sequenza: gli scambi precedenti contribuiscono a plasmare il contesto che influenza ciò che viene dopo. Nel modello teorico dei ricercatori, aggiungere un contesto più strettamente allineato con una risposta indesiderabile può avvicinare il punto di svolta previsto, mentre un contesto che spinge nella direzione opposta può ritardarlo.
Sette modelli, con un limite alle conclusioni
I ricercatori hanno verificato le previsioni sul cambiamento immediato o ritardato in sette modelli a pesi aperti, con un numero di parametri compreso tra 124 milioni e 12 miliardi. Gli esempi di comportamento nelle conversazioni a più turni usano il modello base GPT-2 da 124 milioni di parametri, che gli autori descrivono come un modello usato per la ricerca sull’inferenza con risorse limitate, non come un sostituto degli attuali sistemi ottimizzati per seguire istruzioni. Secondo gli autori, studi indipendenti sui chatbot in produzione mostrano schemi coerenti con i regimi proposti, ma non hanno accesso agli stati interni dei modelli e quindi non verificano direttamente lo specifico valore del punto di svolta previsto dalla formula.
Lo studio segnala inoltre fattori che potrebbero modificare la stima numerica, tra cui i livelli del modello, le teste di attenzione, la temperatura di decodifica e il modo in cui i ricercatori definiscono gli output desiderabili e indesiderabili. Gli autori affermano che il loro lavoro verifica se il cambiamento è immediato o ritardato; non stabilisce un conto alla rovescia preciso e valido in generale prima della comparsa di output dannosi.
L’uso proposto riguarda l’IA offline
I ricercatori fanno riferimento all’IA eseguita su telefoni e altri dispositivi senza accesso a internet. Questi sistemi possono essere usati quando gli utenti vogliono mantenere in locale informazioni sensibili, ma non possono fare affidamento sul monitoraggio o sugli aggiornamenti in tempo reale tramite cloud. Un avviso leggero basato sull’evoluzione del contesto della conversazione è una potenziale applicazione della teoria, non una funzione di sicurezza che lo studio afferma sia già stata implementata.
GW Today ha dato risalto allo studio il 12 ottobre, sottolineando l’interesse dei ricercatori a prevedere i cambiamenti prima che compaiano output dannosi. Il test successivo descritto nello studio è più impegnativo: un benchmark più ampio che preveda formulazioni anticipate delle previsioni su prompt mai visti, con definizioni fisse delle categorie di risposte in competizione, su una gamma più vasta di modelli e ambiti.