Buon giudizio, cattivi consigli: i controller basati su modelli decisionali aumentano i costi degli agenti senza migliorarne il successo

Abstract degli autori

Le architetture di supporto degli agenti delegano sempre più spesso a modelli meno costosi le piccole decisioni, come stabilire se fermarsi, verificare o cambiare approccio. Ci chiediamo se Jev 1.13, un modello decisionale tipizzato consultato solo in punti decisionali deterministici, possa ridurre i costi di un agente da terminale basato su Claude Sonnet 5.5 senza peggiorarne le prestazioni. In uno studio predefinito su Terminal-Bench 2.1, manteniamo fisso un unico ciclo dell’agente e variamo soltanto il controller: nessuno, regole deterministiche, un piccolo modello linguistico (Claude Haiku 5.5) che risponde alle stesse domande, Jev e un placebo che, negli stessi momenti, campiona le scelte in base alle frequenze registrate da Jev nella fase di sviluppo. Su 21 attività tenute da parte per la valutazione (315 prove), Jev ha aumentato il costo per tentativo del 19% (rapporto medio geometrico 1,19; intervallo di confidenza al 95%: 1,02-1,36), con un tasso di successo identico (73,0% contro 73,0%). Jev è risultato meno costoso del controller basato sul piccolo modello linguistico (rapporto 0,81), ma il 22% più costoso del placebo; non è stata rilevata alcuna differenza nel tasso di successo tra i gruppi. Nella valutazione offline, Jev ha classificato le richieste di terminare meglio delle alternative (AUROC 0,78 contro 0,62 per le regole e 0,60 per il piccolo modello linguistico), ma le sue probabilità erano mal calibrate: la probabilità media da esso assegnata al completamento di un’esecuzione era 0,50, mentre l’87% di quelle esecuzioni ha avuto successo. Di conseguenza, chiedeva all’agente di verificare un lavoro già corretto. Nessun controller ha mai scelto di abbandonare un’esecuzione. Segnali utili per decidere non si sono tradotti in interventi utili; discutiamo di ciò che sarebbe necessario perché ciò accada.