ProgressCompass: senza il contesto giusto, i modelli di ricompensa del progresso per agenti incarnati perdono l’orientamento

Abstract degli autori

Gli agenti incarnati affrontano compiti sempre più lunghi. Nei compiti di lunga durata, sapere soltanto se alla fine il compito riesce o fallisce dice poco: contano i passaggi intermedi. I modelli di ricompensa del progresso (PRMs) valutano a ogni passaggio quanto il compito sia avanzato e fungono da ricompense dense, verificatori e strumenti di monitoraggio. Nei compiti lunghi, però, il solo fotogramma corrente spesso non basta a stabilire a che punto si sia arrivati, perché il progresso dipende da ciò che è successo prima. Chiamiamo questo problema stima del progresso dipendente dal contesto. I benchmark esistenti sulla stima del progresso si concentrano perlopiù su compiti brevi, nei quali il progresso si può desumere dall’osservazione corrente; resta invece poco studiata la capacità dei PRM di stimarlo quando serve il contesto. Abbiamo quindi creato ContextProgress-Bench, con 24 compiti di manipolazione distribuiti su 120 episodi. Il benchmark comprende tre scenari: (i) State Recall, in cui le informazioni necessarie per valutare il progresso sono comparse in precedenza ma non sono presenti nel fotogramma corrente; (ii) Sequence Tracking, in cui i passaggi seguono un ordine fisso, perciò per valutare il progresso bisogna sapere quali sono stati completati e quale viene dopo; e (iii) Recurrence Disambiguation, in cui fotogrammi dall’aspetto simile corrispondono a livelli di progresso molto diversi. Conduciamo poi un’analisi comparativa a coppie: ogni PRM mantiene lo stesso formato di input in entrambe le prove, ma in una delle due l’istruzione integra il contesto giusto. Anche i PRM che leggono l’intera cronologia si perdono nella stima del progresso; con il contesto giusto, però, gli stessi cinque modelli riducono l’errore di stima del 77-82%. I PRM per agenti incarnati, dunque, non sono incapaci di stimare il progresso: senza il contesto giusto perdono l’orientamento. Proponiamo quindi ProgressCompass, un ciclo agentico autonomo che riorienta un PRM esistente e usa gli attuali VLM generalisti per fornirgli il contesto di cui ha bisogno. Inserito nel ciclo, lo stesso PRM con parametri congelati riduce l’errore di stima del progresso del 63% e aumenta del 76% la concordanza nell’ordinamento. Con una bussola del genere, i PRM stimano il progresso molto meglio nei compiti più lunghi e complessi.