LEASH: escalation dall’agente debole a quello forte e supervisione basate sull’incertezza per gli agenti che usano il computer

Abstract degli autori

Gli agenti che usano il computer affrontano sempre più spesso compiti a lungo termine: eseguire un modello di frontiera a ogni passaggio è costoso, mentre un piccolo modello a pesi aperti, da solo, spesso fallisce. L’escalation dall’agente debole a quello forte offre una via di mezzo: l’agente debole agisce per impostazione predefinita e cede il controllo a quello forte solo quando necessario. La difficoltà principale è decidere quando effettuare l’escalation, e per farlo serve un segnale d’incertezza abbastanza economico da verificare a ogni passaggio. Tuttavia, anche dopo il passaggio di controllo, l’agente forte può perdere l’orientamento, mentre l’API black-box tramite cui viene solitamente reso disponibile non espone informazioni interne da monitorare. A questo scopo proponiamo LEASH, un framework che non richiede addestramento: lascia agire l’agente forte solo quando l’incertezza latente dell’agente debole ne segnala la necessità e, in seguito, lo tiene sotto controllo. LEASH ha tre livelli: (1) l’incertezza iniziale sul compito, per decidere subito quale agente impiegare; (2) l’incertezza a livello di singolo passaggio, per l’escalation durante l’esecuzione; e, dopo il passaggio di controllo, (3) un osservatore ombra per continuare a supervisionare l’agente forte black-box. Usiamo l’incertezza latente per alimentare tutti e tre i livelli. In particolare, confrontiamo gli stati nascosti del modello debole con quelli delle sue precedenti traiettorie riuscite e fallite: uno stato più simile a quelli delle traiettorie fallite segnala un’incertezza maggiore. Durante l’esecuzione dell’agente debole, il nostro stimatore dell’incertezza riutilizza le attivazioni già prodotte per generare le azioni, senza richiedere ulteriori passaggi di inferenza né l’addestramento di un sistema di monitoraggio dedicato. Esperimenti su OSWorld, condotti con quattro backbone di modelli contemporanei, mostrano che LEASH migliora sistematicamente i risultati degli agenti deboli usati da soli e supera l’escalation casuale di 6,55–11,94 punti a parità di tasso di escalation. Con Qwen3.5-35B-A3B, LEASH raggiunge un tasso di successo nei compiti del 73,66% a un costo di 0,4117 dollari per compito, un risultato in linea con Claude Opus 5 sempre attivo (72,90%), ma con un costo di inferenza inferiore del 19,2%.