RoboColosseum: valutare l’intelligenza fisica su larga scala nel mondo reale

Abstract degli autori

Le policy robotiche generaliste devono funzionare con robot, compiti e ambienti diversi, ma la variabilità che rende istruttive le prove fisiche le rende anche difficili da riprodurre. Presentiamo RoboColosseum, un framework di valutazione distribuito che combina un’erogazione unificata delle policy e protocolli standardizzati, operando su una rete di robot gestiti localmente in ambienti diversi. Il nostro studio iniziale valuta cinque policy vision-language-action (VLA) e tre agenti di IA all’avanguardia su quattro embodiment (SO-101, Franka, Bimanual-YAM e G1 Humanoid). L’Open Track confronta i modelli senza adattamento specifico per il compito, con prove in cieco a coppie e in condizioni locali comparabili. Il Fine-tune Track misura quanto bene le policy VLA si adattino a 20 compiti sui quattro embodiment, fornendo a ciascuna policy le stesse 100 dimostrazioni per compito. Sulle 5.699 prove a coppie dell’Open Track condotte in 124 sedi, gli agenti all’avanguardia competono alla pari con le policy VLA specializzate, mentre tutti i sistemi faticano a portare a termine in modo affidabile compiti in contesti aperti. Dopo il fine-tuning, GR00T N1.7 è in testa su SO-101 e pi0.5 su Franka e Bimanual-YAM. Le classifiche delle policy mostrano una debole concordanza tra le suite di compiti specifiche per ciascun embodiment (Kendall W = 0,24). Le classifiche dell’Open Track predicono poco le prestazioni relative dopo il fine-tuning, con notevoli inversioni di posizione in classifica su tutti e tre gli embodiment presenti in entrambi i track. Misurare i progressi parziali rivela differenze che il solo successo nel compito non coglie. Sul G1 Humanoid, nessuna policy completa alcuno dei cinque compiti, eppure il progresso medio varia dal 13,3% al 23,2% tra le diverse policy. Le classifiche dell’Open Track si stabilizzano con l’accumularsi delle prove, e l’abbinamento attivo ottiene una concordanza nelle classifiche paragonabile con un numero di prove fisiche nettamente inferiore rispetto al campionamento uniforme. Questi risultati mostrano come la valutazione fisica distribuita possa rivelare dove le policy robotiche generalizzano, quanto bene si adattino a nuovi compiti e a che punto arrivino nei compiti che non riescono a completare.