RobotEQ-Video: un benchmark incentrato sui video per l’intelligenza proattiva sociale con una tassonomia degli stati del mondo

Abstract degli autori

L’Intelligenza proattiva sociale (SPI) estende l’assistenza proattiva oltre il completamento dei compiti, prendendo in considerazione l’appropriatezza sociale in diversi scenari embodied. Tuttavia, le ricerche precedenti sulla SPI presentano due limiti fondamentali. In primo luogo, il lavoro esistente si concentra su immagini statiche, mentre i video dinamici offrono indizi cruciali per dedurre gli stati e i bisogni umani, fornendo informazioni più ricche rispetto a immagini isolate. In secondo luogo, le ricerche precedenti si basano spesso su processi di raccolta dati non strutturati, che non garantiscono una copertura completa di scenari diversi. Per colmare queste lacune, presentiamo RobotEQ-Video, spostando l’attenzione da un’analisi incentrata sulle immagini a una incentrata sui video. Per garantire una copertura completa dei video, costruiamo una tassonomia gerarchica degli stati del mondo, organizzata in una struttura a quattro livelli, dal più generale al più specifico, composta da 6 domini, 20 dimensioni, 142 attributi di livello 1 e 816 attributi di livello 2. Il benchmark risultante comprende oltre 2K video, con oltre 100K annotazioni umane e oltre 16K etichette per valutare l’appropriatezza del comportamento. La valutazione del benchmark rivela che i sistemi attuali restano inaffidabili e non raggiungono le prestazioni umane. Esploriamo inoltre come i world model possano contribuire ad affrontare questo compito. Questo lavoro fa avanzare la ricerca sulla SPI dalle immagini statiche ai video dinamici e garantisce una copertura più completa degli scenari durante la valutazione comparativa.