The Pulse
BlackSwan chiede agli agenti di IA di verificare se le loro azioni possono fallire
Un articolo pubblicato su arXiv il 2 novembre presenta BlackSwan, un metodo che induce gli agenti di IA a cercare prove contrarie a un’azione proposta prima di eseguirla. In compiti simulati, il metodo aumenta i tassi di successo su AppWorl
AI.info Team · Scritto con l’IA · verificato ·
«Un’azione sbagliata supera spesso ogni controllo che si chiede se sia corretta.»
Minhyeon Oh, Chiyeong Heo, Geonwoo Noh, Hoyoung Kim, Jangwon Son e Jungseul Ok, autori di «Action Verification through Conjecture and Refutation for Language Model Agents»
BlackSwan si chiede cosa potrebbe andare storto
I ricercatori hanno pubblicato il loro articolo su arXiv il 2 novembre, proponendo un modo per consentire agli agenti basati su modelli linguistici di mettere in discussione le proprie azioni pianificate prima di apportare modifiche a un ambiente. Chiamano il metodo BlackSwan, richiamando l’idea che un solo controesempio possa confutare un’affermazione che molte osservazioni a conferma non riescono a dimostrare. Il lavoro si rivolge agli agenti che usano strumenti per modificare account, registrazioni o altri stati esterni sulla base di istruzioni che possono lasciare impliciti dettagli importanti.
La maggior parte degli approcci alla verifica delle azioni si chiede se le condizioni per un’azione proposta sembrino soddisfatte. BlackSwan si chiede invece quali prove dimostrerebbero che l’azione è sbagliata. Secondo gli autori, una verifica concepita solo per confermare l’interpretazione di un agente può non rilevare fatti che la contraddicono, come il caso di un ospite che ha disdetto la cena ma il cui invito compare ancora sulla pagina dell’evento.
Tre passaggi prima di una modifica dello stato
BlackSwan applica una sequenza di «previsione, sospetto, verifica» a ogni azione proposta che modifica lo stato. Prima l’agente dichiara quale risultato si aspetta dall’azione; poi mette per iscritto i modi specifici e verificabili in cui tale previsione potrebbe essere sbagliata. Solo allora esamina le osservazioni già disponibili o ricorre ad altre azioni di sola lettura per verificare queste possibilità.
L’ordine è importante: l’agente deve formulare i propri sospetti prima di raccogliere nuove prove, affinché queste non possano influenzare le domande da verificare. Se una verifica conferma un sospetto, il sistema blocca l’azione pianificata e chiede all’agente di proporne una sostitutiva alla luce di quanto scoperto. Se nessun sospetto è confermato, oppure se una questione non può essere risolta senza eseguire l’azione, la modifica proposta può procedere.
Tassi di completamento più alti nei compiti simulati
La valutazione principale utilizza AppWorld, un ambiente simulato con 457 API distribuite tra nove applicazioni. La sua suddivisione di test challenge contiene 417 compiti, tra cui richieste che impongono agli agenti di scoprire informazioni specifiche dell’utente ed evitare modifiche indesiderate o difficili da annullare. L’articolo misura il raggiungimento dell’obiettivo di un compito in base al superamento di tutti i suoi test unitari, in media otto e fino a un massimo di 22.
In questa suddivisione challenge, BlackSwan raggiunge un tasso di completamento degli obiettivi dell’84,7% quando la modalità di ragionamento del modello sottostante è attiva e dell’81,5% quando è disattivata. Gli autori riportano miglioramenti rispetto alla baseline più efficace di 14,9 punti percentuali con il ragionamento attivo e di 25,2 punti senza. Su WebShop, un negozio online simulato, il tasso di successo di BlackSwan è del 50,8%, contro il 38,1% della baseline ReAct, una differenza di 12,7 punti.
I miglioramenti richiedono capacità di calcolo aggiuntiva. Nei tre modelli di base testati, BlackSwan completa da 1,39 a 2,25 volte il numero di compiti di ReAct, a un costo da 1,5 a 9,4 volte superiore, con i maggiori miglioramenti relativi sul modello di base meno efficace. Nei compiti challenge, gli autori rilevano anche meno errori: BlackSwan lascia incompiute 16,1 modifiche richieste ogni 100 compiti, contro le 24,9 di Accord, e riduce i valori errati e le modifiche collaterali rispettivamente del 39% e del 26%.
La verifica non può risolvere una richiesta ambigua
I risultati provengono da benchmark simulati, non da agenti che operano su account di utenti reali. Gli autori affermano che i controlli prima dell’esecuzione riducono gli errori ma non li eliminano, e avvertono che gli impieghi reali richiedono ulteriori misure di protezione. Un ulteriore limite è l’ambiguità: se un’istruzione ammette più interpretazioni plausibili, BlackSwan può continuare a far emergere la stessa questione irrisolta e aumentare i costi di verifica.
Questo compromesso mette meglio a fuoco la tesi principale dell’articolo. BlackSwan non stabilisce se il piano di un agente sia corretto; cambia il modo in cui viene effettuata la verifica, chiedendo all’agente di cercare ragioni osservabili per non eseguirlo. Nella suddivisione challenge di AppWorld, la versione testata completa l’84,7% dei compiti con il ragionamento attivo, mentre i casi irrisolti richiedono ancora più di un passaggio di verifica.