RoboValue: un benchmark dettagliato in simulazione e nel mondo reale per la valutazione unificata dei modelli di valore robotici

Abstract degli autori

I modelli di valore robotici valutano l’esecuzione dei compiti a partire da osservazioni visive e istruzioni, fornendo feedback per l’apprendimento delle policy e il monitoraggio dell’esecuzione. Le valutazioni esistenti, però, coprono solo alcuni aspetti della comprensione dell’esecuzione, lasciando insufficientemente verificata l’affidabilità del feedback di valore. Presentiamo RoboValue, un benchmark dettagliato in simulazione e nel mondo reale per la valutazione unificata dei modelli di valore robotici. Il suo framework valuta quattro dimensioni complementari delle capacità attraverso interfacce comuni: comprensione dello stato del compito, monitoraggio dell’avanzamento nel tempo, ragionamento sui fallimenti e sul recupero, e coerenza del valore. Traiettorie diagnostiche e varianti delle istruzioni verificano se i giudizi di valore rispecchiano accuratamente i requisiti del compito e i cambiamenti durante l’esecuzione. RoboValue-Dataset comprende 15 compiti di manipolazione in simulazione e 20 nel mondo reale, e mette a disposizione dimostrazioni di esperti per l’addestramento e traiettorie annotate per una valutazione dettagliata. Valutiamo modelli di valore robotici rappresentativi in modalità zero-shot e one-shot, in condizioni standard e con cambiamenti separati nella realizzazione fisica del robot e nell’ambiente. I nostri risultati rivelano errori nell’interpretazione dettagliata delle istruzioni, nel monitoraggio dell’avanzamento basato sulla cronologia e nella valutazione del recupero, anche in modelli con punteggi elevati per l’esito e l’avanzamento. Lo stesso sottocompito semantico può inoltre ricevere incrementi di valore sostanzialmente diversi a seconda dell’ordine di esecuzione valido. Questi risultati individuano obiettivi concreti per la supervisione del valore, mentre il dataset e la classifica pubblica sostengono la valutazione continuativa dell’affidabilità del feedback. Il sito web è disponibile all’indirizzo https://robovalue-benchmark.github.io/.