Dove apprendere e fin dove estendere il rollout: training adattivo efficiente per agenti GUI

Abstract degli autori

Il GRPO a livello di traiettoria è un approccio comune per addestrare agenti GUI multi-step, ma eseguire ripetutamente il rollout di traiettorie complete a partire dalla radice del task può essere inefficiente: le ricompense a livello di task forniscono una supervisione approssimativa su quali decisioni intermedie richiedano miglioramenti, mentre i prefissi già appresi vengono rieseguiti più volte prima di raggiungere gli stati difficili. Introduciamo un framework di training adattivo in due fasi che affronta congiuntamente dove apprendere e fin dove estendere il rollout. Per prima cosa, ricaviamo checkpoint intermedi riutilizzabili da traiettorie esperte riuscite e selezioniamo pivot informativi usando il disaccordo tra azioni, che misura l’incertezza direttamente a partire dalle azioni GUI campionate. La fase I applica RL a un passo in corrispondenza di questi pivot per migliorare le decisioni locali incerte. La fase II amplia quindi progressivamente la responsabilità della policy tramite training adattivo Local, Suffix e Root, in funzione dei progressi nel task. I checkpoint recuperabili consentono di ripetere il training a partire da stati intermedi senza riprodurre la traiettoria precedente. Su MobileGym e CUA-Gym-Hub, il nostro metodo riduce del 56-61% l’interazione con l’ambiente rispetto a Vanilla GRPO, migliorando al contempo le prestazioni nei task: ciò dimostra che distribuire congiuntamente il training tra gli stati e gli intervalli di rollout può migliorare notevolmente l’efficienza dell’RL per agenti GUI.