The Trinity: auto-miglioramento ricorsivo guidato dalle capacità per agenti multimodali

Abstract degli autori

L’intelligenza multimodale può essere vista come una coevoluzione tra mondi e agenti, guidata dagli esseri umani attraverso l’interazione. Portare questo processo su larga scala, però, presenta due ostacoli: costruire ambienti eterogenei e verificabili è costoso, e l’iterazione manuale di Harness non riesce a tenere il passo con la crescente varietà e complessità dei compiti. Un’intuizione fondamentale è che compiti diversi per modalità e forma superficiale possono richiedere le stesse capacità di base. Introduciamo quindi The Trinity, un framework di auto-miglioramento ricorsivo che collega la generazione di mondi all’evoluzione di Harness attraverso tre ruoli: Creator, Explorer ed Evolver. Basandosi su traiettorie di esecuzione verificate, Evolver sposta il criterio di organizzazione dei compiti dalle categorie superficiali ai requisiti condivisi, riorganizzando l’albero originale dei compiti in un albero gerarchico delle capacità. Introduciamo Capability-Driven Real2Sim2Real: per i compiti eterogenei dello stesso nodo, Creator astrae i requisiti comuni in mondi simulati, semplificati e verificabili, in cui apprendere le capacità, mentre la valutazione sui compiti originali ne misura il trasferimento. Lungo questo albero delle capacità, Explorer evolve progressivamente moduli di capacità riutilizzabili mediante un’ereditarietà selettiva, formando un albero di Harness i cui aggiornamenti convalidati si accumulano da un’iterazione all’altra all’interno di una topologia fissa. Gli Harness risultanti si specializzano in capacità diverse: da qui la proposta di un Capability-Aware Harness Router che usa le informazioni pubbliche sui compiti per selezionare dall’albero configurazioni di moduli compatibili. I nostri Harness evoluti migliorano le prestazioni medie di 34 punti su 28 benchmark di addestramento e di 26 punti su 18 benchmark mai visti, tra cui due compiti reali di intelligenza incarnata.