Studiare senza un programma: preparare l’ambiente indipendentemente dai compiti

Abstract degli autori

Prima di affrontare compiti in un nuovo ambiente, un agente basato su un LLM può esaminare i corpora e gli strumenti disponibili e creare risorse riutilizzabili, come indici, script o indicazioni procedurali. La maggior parte dei metodi di adattamento automatico, tuttavia, si basa su esempi di compiti, traiettorie o feedback di valutazione per decidere cosa creare. Gli approcci esistenti che non dipendono dai compiti evitano questa forma di supervisione, ma fissano in anticipo una strategia di preparazione per un particolare tipo di ambiente. Studiamo una situazione più aperta: un agente può studiare un ambiente sconosciuto senza un programma, cioè prima della fase di test e senza conoscere la distribuzione dei compiti successivi, e scegliere come prepararlo? Formalizziamo la preparazione dell’ambiente indipendente dai compiti: un sistema esplora l’ambiente entro un budget e produce risorse per un risolutore i cui parametri restano invariati. Confrontiamo meta-agenti senza ausili e meta-agenti dotati di archivio con metodi prestabiliti di esercitazione sintetica e di elaborazione dei corpora, su sei benchmark eterogenei. Una variante di meta-agente ottiene la ricompensa Avg@3 più alta in cinque benchmark, mentre l’elaborazione prestabilita dei corpora resta il metodo migliore nel benchmark con il corpus più ampio. Budget di studio maggiori non migliorano in modo affidabile la ricompensa nei compiti successivi. Le risorse prodotte durante lo studio riducono comunque il campionamento necessario nella fase di test per raggiungere un determinato punteggio, mostrando come una preparazione riutilizzabile possa spostare il calcolo dai tentativi ripetuti nella fase di test a una fase di studio precedente ai compiti.