R$^2$Orch: auto-miglioramento ricorsivo per l’orchestrazione di agenti tramite auto-gioco all’interno di un ciclo di internalizzazione delle competenze

Abstract degli autori

Negli ultimi anni, l’orchestrazione agentica è stata ampiamente applicata per risolvere compiti umani complessi. Tuttavia, l’apprendimento dell’orchestrazione esistente deve ancora affrontare sfide importanti, tra cui curricula progettati manualmente, il collasso del vantaggio quando i rollout di un compito raggiungono tutti lo stesso esito e segnali di valutazione inaffidabili, che giudicano ogni competenza sulla base di un unico punteggio rumoroso. Per affrontare queste sfide, proponiamo R$^2$Orch, un nuovo paradigma di orchestrazione ricorsiva tramite auto-gioco: un ciclo interno di auto-gioco che migliora l’orchestratore su compiti scelti autonomamente e un ciclo esterno che migliora il modo in cui il ciclo interno migliora. A supporto di questo paradigma, introduciamo l’apprendibilità ricorsiva, un obiettivo di addestramento che premia un Proposer per la scelta di compiti i cui rollout continuano a raggiungere esiti diversi man mano che vengono ritirate le competenze. Sulla base di questo obiettivo, proponiamo inoltre il ritiro delle competenze: il ciclo esterno ritira ciascuna competenza non appena una valutazione controllata nell’ambito dell’auto-gioco mostra che l’orchestratore ottiene risultati altrettanto buoni senza di essa. Inoltre, i due cicli formano un unico ciclo: i fallimenti vengono distillati in competenze, le competenze in parametri e i ritiri portano il Proposer verso nuovi fallimenti, così che l’orchestratore avanzi verso una messa in produzione senza competenze. I risultati sperimentali su dodici dataset mostrano che R$^2$Orch supera costantemente i metodi di riferimento nei compiti di risposta a domande, matematica, codice e interazione. Il nostro codice è disponibile all’indirizzo https://github.com/beita6969/R2Orch.