Recuperabilità e forza del verificatore: due prerequisiti misurati per l’automiglioramento degli agenti senza supervisione

Abstract degli autori

Le piattaforme per agenti stanno iniziando a migliorare i propri agenti: leggono le tracce di esecuzione di un agente distribuito, ne ricavano una modifica, la fanno approvare da un verificatore automatico e la rilasciano senza che intervenga un autore umano. Quanto di questo processo può svolgersi in sicurezza senza l’intervento di una persona? Proponiamo due grandezze che una piattaforma può misurare. La forza del verificatore $σ$ indica quanto il verificatore disponibile, spesso un giudice LLM, concorda con un verificatore di riferimento attendibile; pone un limite a quanto un intervento può migliorare l’agente. La recuperabilità indica quanto poco costa annullare una modifica sbagliata: se per annullarla serve una nuova approvazione del verificatore e in che misura un ripristino recupera il comportamento precedente. Un intervento dovrebbe svolgersi senza supervisione solo se entrambe sono adeguate. Sulla nostra piattaforma, questa regola consente di modificare senza supervisione prompt, strumenti e competenze, mentre mantiene gli aggiornamenti dei pesi soggetti all’approvazione umana. Il nostro contributo principale consiste in queste due definizioni e nel modo di misurarle. Abbiamo realizzato una piattaforma che applica la regola e l’abbiamo messa alla prova in due modi: sul suo meccanismo di approvazione e in esperimenti controllati sul benchmark per agenti $τ^2$-bench. Quanto alla forza del verificatore, il giudice LLM della piattaforma a volte assegnava lo stesso punteggio indipendentemente da ciò che gli veniva mostrato (in 9 delle 37 configurazioni) e non segnalava alcun errore: un verificatore può quindi sembrare funzionare correttamente pur approvando qualsiasi cosa. La sua forza deve essere misurata e due semplici test permettono di rilevare questo problema. Quanto alla recuperabilità, il ripristino di una copia salvata ha riportato l’agente al comportamento originale, mentre un annullamento rigenerato non ci è riuscito: solo le modifiche di cui si conserva la versione precedente possono quindi essere annullate senza intervento umano. Inoltre, mentre una modifica era in produzione, ha alterato l’esito del 17% dei compiti oltre la normale variabilità tra un’esecuzione e l’altra, e nessun annullamento può rimediare a questi effetti. Nel loro insieme, questi risultati sostengono la regola: una modifica può essere applicata senza supervisione solo se se ne conserva la versione precedente e se la forza del suo verificatore è stata misurata.