Allineamento sensomotorio: un indicatore platonico indiretto del successo delle policy incarnate

Abstract degli autori

I modelli fondamentali per la robotica vengono generalmente valutati mediante costosi rollout a ciclo chiuso, il che rende desiderabili indicatori indiretti offline a basso costo delle capacità dei modelli. L’ipotesi della rappresentazione platonica (PRH) suggerisce che, man mano che le rappresentazioni migliorano, modalità come la visione e il linguaggio convergano verso un modello statistico condiviso della realtà. Ci chiediamo se le traiettorie di movimento costituiscano un’altra modalità di questo tipo: man mano che i modelli incarnati diventano più capaci, le loro rappresentazioni sensoriali dovrebbero convergere verso la struttura del movimento fisico? Per verificarlo, proponiamo l’allineamento sensomotorio ($S^2$), una metrica offline che non richiede addestramento e misura quanto la rappresentazione sensoriale di un modello sia allineata con la geometria del movimento fisico. Riscontriamo che $S^2$ è correlato positivamente al successo nei compiti robotici a valle, in diverse famiglie di modelli: è quindi un indicatore indiretto offline a basso costo per stabilire a quali modelli dare priorità prima della valutazione a ciclo chiuso. $S^2$ può anche identificare i backbone promettenti dei modelli visione-linguaggio (VLM) prima del costoso fine-tuning necessario a trasformarli in modelli visione-linguaggio-azione (VLA). Al di là di questa correlazione, $S^2$ offre spiegazioni a livello di rappresentazione per fenomeni osservati nei VLA e nei modelli di azione del mondo (WAM). Con $S^2$, estendiamo la PRH alla robotica e rendiamo misurabile l’allineamento sensomotorio, offrendo una prospettiva a basso costo sui modelli fondamentali per la robotica, a livello di rappresentazione, che i soli tassi di successo a ciclo chiuso non possono rivelare.