The Pulse
Il benchmark RuleTrek rileva che gli agenti non riescono a seguire regole complesse
RuleTrek mette alla prova 11 modelli linguistici con compiti che richiedono di trovare e applicare regole distribuite tra più file. I risultati mostrano che i punteggi end-to-end diminuiscono man mano che i grafi delle regole diventano più
AI.info Team · Scritto con l’IA ·
Il modello con i risultati migliori su RuleTrek ha ottenuto il 55,29% nei compiti end-to-end sulle regole, mettendo in luce il divario tra le domande semplificate dei benchmark e gli scenari in cui gli agenti devono trovare e applicare regole distribuite tra più file. L’articolo sul benchmark, presentato ad arXiv il 14 ottobre, mette alla prova 11 modelli linguistici in sei ambiti, tra cui fiscalità, cybersicurezza e PostgreSQL. Secondo gli autori, gli agenti hanno incontrato difficoltà anche quando il benchmark forniva loro in anticipo le regole pertinenti.
Gli agenti inciampano prima di arrivare alla risposta
Gli autori presentano RuleTrek come una prova di due capacità collegate: individuare le regole applicabili e poi ragionare su di esse usando informazioni distribuite tra diversi documenti. Sostengono che molti benchmark esistenti sul ragionamento basato sulle regole presentino soltanto pochi fatti, mentre i compiti lavorativi possono richiedere agli agenti di cercare in archivi di regole e mettere a confronto documenti, file di configurazione o log. In RuleTrek, gli agenti operano in ambienti interattivi con file e shell, anziché ricevere tutti i fatti in un unico prompt.
Il benchmark suddivide questa sfida in tre punteggi. Rule Identification misura se un agente trova le regole applicabili e le loro dipendenze; Rule Deduction verifica se sa applicare un grafo delle regole fornito e verificato; End-to-End combina individuazione e applicazione. GPT-6.1-Sol ha ottenuto il miglior punteggio medio in Rule Identification, con il 62,47%, e in Rule Deduction, con il 60,43%, mentre i punteggi end-to-end di tutti i modelli testati andavano dal 26,97% al 55,29%.
«Questi risultati dimostrano che gli attuali agenti basati su grandi modelli linguistici incontrano notevoli difficoltà nel ragionare sulle regole in scenari complessi».
Scrivono Chenhao Yuan e i coautori dell’articolo.
240 compiti coprono sei diversi sistemi di regole
RuleTrek contiene 240 istanze, da 30 a 48 per ciascun ambito: fiscalità, regole di gioco, approvvigionamento, cybersicurezza, policy software e PostgreSQL. Gli autori hanno costruito gli scenari a partire da archivi di regole del mondo reale, per poi ricavarne grafi che mostrano relazioni quali eccezioni, precedenze, condizioni di ammissibilità e dipendenze. Hanno generato scenari più piccoli attorno a singole regole e li hanno combinati, sottoponendoli a verifiche umane di coerenza e risolvibilità.
I compiti richiedono agli agenti di cercare ed esaminare file, e consentono loro di eseguire codice. Ogni modello è stato eseguito tre volte, con un limite di 30 minuti e un massimo di 200 passaggi dell’agente per esecuzione; l’articolo riporta i punteggi medi calcolati sulle esecuzioni e sulle istanze. Per i compiti di deduzione ed end-to-end, un valutatore separato assegna un punteggio alla correttezza della risposta e al ragionamento, tenendo conto anche dell’ancoraggio ai fatti e dell’applicazione delle regole.
Catene di regole più lunghe, punteggi più bassi
I risultati di RuleTrek indicano una relazione tra la complessità dei grafi e le prestazioni: il punteggio end-to-end medio dei modelli è sceso da 76,5 a 23,6 quando i grafi delle regole sono passati da un massimo di tre nodi ad almeno 14. I punteggi sono scesi anche da 62,3 a 26,4 quando la profondità dei grafi è passata da un massimo di uno ad almeno cinque. Queste cifre indicano che la difficoltà per un modello non consiste soltanto nel trovare una regola pertinente: deve anche tenere traccia delle dipendenze di quella regola da altre.
In un’analisi dei tentativi end-to-end falliti di GPT-6.1-Sol, gli errori nella selezione delle regole rappresentavano il 54,9% dei fallimenti, la categoria più ampia. Gli autori descrivono inoltre modelli che trascuravano controlli condizionali di cybersicurezza, non individuavano regole di configurazione relative all’anno fiscale o fondevano regole di gioco applicabili a diverse velocità di spostamento. Anche con il grafo delle regole verificato fornito in partenza, il miglior punteggio in Rule Deduction è stato del 60,43%, il che suggerisce che applicare correttamente regole note resti un ostacolo distinto.
I limiti del benchmark fanno parte del risultato
RuleTrek offre una prova controllata, non dimostra che i modelli falliranno con la stessa frequenza in ogni ambiente di lavoro in cui vengono impiegati. Gli autori limitano il benchmark a regole in lingua inglese e ad archivi predefiniti di regole e scenari, e osservano che nelle situazioni reali le regole e il contesto possono cambiare. L’articolo descrive il benchmark come uno strumento per misurare come gli agenti affrontano compiti complessi basati su regole distribuite tra più file; i suoi risultati non stabiliscono quali sarebbero le prestazioni di ogni sistema di agenti dotato di strumenti o misure di sicurezza differenti.
Il repository di RuleTrek accompagna l’articolo. La conclusione principale è precisa: anche quando gli agenti hanno tempo per esaminare i file e usare strumenti, le prestazioni peggiorano se devono collegare elementi di prova distribuiti a regole con dipendenze sempre più numerose.