StopLoss: insegnare agli agenti a prevedere i fallimenti e a fermarsi in anticipo

Abstract degli autori

Gli agenti di programmazione continuano a lavorare anche su esecuzioni che non supereranno la verifica, e chiedere a un modello di frontiera di riconoscere questi casi è di per sé costoso. Presentiamo StopLoss, un piccolo sistema di monitoraggio esterno che impara a riconoscere i fallimenti dalle traiettorie completate e dai relativi esiti della verifica. Il nome si ispira all’ordine stop-loss della finanza: StopLoss interrompe in anticipo un’esecuzione quando è probabile che fallisca, risparmiando risorse. Gli esiti finali forniscono le etichette per le finestre locali precedenti: un modello linguistico sottoposto a fine-tuning può così assegnare un punteggio ai passaggi più recenti degli strumenti con un’unica elaborazione in avanti, e una soglia calibrata sulle esecuzioni riuscite trasforma quel punteggio in una decisione di interruzione senza modificare l’esecutore. Addestrato su traiettorie SWE-rebench della famiglia GPT e valutato su SWE-bench Verified e su un sottoinsieme di SWE-bench Pro con esecutori GPT e Claude, StopLoss viene confrontato con sei valutatori generalisti che esaminano le stesse finestre. La supervisione basata sugli esiti porta la previsione dei fallimenti da un livello vicino al caso a un segnale utile già al primo controllo, con un costo per controllo inferiore di uno o due ordini di grandezza rispetto a qualsiasi valutatore testato. Questo si traduce in risparmi: rispetto al completamento di ogni attività, StopLoss riduce il costo per soluzione mantenuta del 4,5\% su Verified, conservando il 99\% delle esecuzioni riuscite, e fino al 31\% sul più costoso sottoinsieme Pro, arrivando al 48\% con un backbone Qwen3-8B. In tutti e quattro gli scenari, il suo costo per soluzione mantenuta è inferiore a quello di ogni strategia basata sui valutatori. I piccoli sistemi di monitoraggio addestrati sugli esiti possono rendere il riconoscimento dei fallimenti abbastanza economico da far sì che l’interruzione anticipata ripaghi il proprio costo.