Opera: un framework di critica verbale per agenti di programmazione che operano su orizzonti lunghi

Abstract degli autori

Gli agenti di programmazione che operano su orizzonti lunghi hanno bisogno di correzioni tempestive, ma il feedback può essere inefficace o persino dannoso se valuta male il lavoro in corso o non affronta il problema di fondo. I critici esistenti si concentrano sulla valutazione delle traiettorie e sulla generazione di feedback, ma raramente seguono ciò che accade dopo averlo fornito. Presentiamo Opera, un framework di critica verbale che tratta ogni correzione come una nota persistente, monitorata finché il problema diagnosticato non viene risolto. Opera decide quando effettuare una revisione tramite trigger periodici e attivati da eventi, diagnostica i problemi con operatori tipizzati, verifica il feedback alla luce delle evidenze osservabili prima di fornirlo e segue le azioni successive dell’agente per distinguere il semplice adeguamento dalla risoluzione effettiva. Come critico in fase di test, Opera aumenta il tasso di risoluzione degli agenti senza critico fino a 12,4, 15,0 e 8,9 punti percentuali, rispettivamente su Terminal-Bench 2.1, un sottoinsieme di SWE-Bench Pro e DeepSWE v1.1, con quattro modelli di policy. Ottiene inoltre il tasso medio di risoluzione più alto tra i critici di riferimento competitivi su tutti e tre i benchmark e migliora i modelli di policy anche quando questi valutano criticamente il proprio operato. Oltre alla fase di inferenza, i rollout guidati da Opera forniscono dati di addestramento approssimativamente on-policy: il fine-tuning di Qwen3.5-9B su questi dati ne aumenta di 10,2 punti percentuali il tasso di risoluzione su repository di SWE-Bench Pro esclusi dall’addestramento, senza un critico in fase di inferenza. Il risultato è pari a quello del fine-tuning su rollout di un modello più potente, ma preserva le prestazioni al cambio di harness, ossia da Openhands a Terminus-2, che invece quel secondo tipo di fine-tuning peggiora sensibilmente. Il nostro codice è disponibile all’indirizzo: https://github.com/dongyuanjushi/Opera.