EnvLunch: l’ambiente come pasto gratis per imparare a interagire

Abstract degli autori

Nell’analisi dei dati svolta da agenti, gli agenti basati su modelli linguistici hanno spesso bisogno di molti compiti annotati per imparare a interagire efficacemente con ambienti eseguibili, come i database. Preparare compiti annotati di alta qualità richiede un notevole lavoro manuale, ma un ambiente eseguibile offre già una ricca struttura di interazione e risultati verificabili. In questo senso, l’ambiente stesso offre un pasto gratis: un insieme aggiuntivo di compiti verificabili che non richiedono annotazioni umane. Proponiamo EnvLunch, una fase preparatoria che, prima dell’apprendimento per rinforzo degli agenti per i compiti successivi, trasforma i segnali forniti dall’ambiente in dati per l’addestramento, senza descrizioni dei compiti scritte da esseri umani o generate da modelli. EnvLunch campiona traiettorie di azioni valide, le esegue per ottenere osservazioni finali e addestra un agente a ricostruire una traiettoria funzionalmente equivalente a partire dalla sola osservazione finale. Questa fase preparatoria senza etichette consente al modello di superare la baseline di oltre 9 punti in media per tutti i budget di addestramento successivi. Quando le etichette sono poche, la baseline ha bisogno di un numero di esempi annotati da 8 a 32 volte maggiore per eguagliare l’accuratezza che il modello EnvLunch raggiunge con il suo budget di addestramento più ridotto. Lasciare che sia soltanto l’ambiente a definire il compito produce un miglioramento maggiore rispetto a far scrivere al modello i propri compiti sugli stessi ambienti; questa fase preparatoria migliora anche il fine-tuning su benchmark che vanno oltre l’analisi dei dati. EnvLunch consente quindi di risparmiare compiti annotati e offre un punto di partenza migliore per il fine-tuning di modelli agentici quando tali compiti sono limitati.