RoboJudge: i modelli linguistici multimodali come giudici nella generazione di video per l’IA incarnata

Abstract degli autori

I modelli di generazione video sono una base promettente per i modelli del mondo nell’IA incarnata, ma solo se le sequenze che generano sono fisicamente valide e fedeli alle istruzioni del compito. I modelli linguistici multimodali di grandi dimensioni (MLLM) sono sempre più utilizzati per valutare queste proprietà, ma la loro concordanza con le valutazioni umane sui video di IA incarnata non è stata esaminata sistematicamente. Per colmare questa lacuna, presentiamo RoboJudge-Bench, un benchmark per valutare gli MLLM come giudici della generazione di video per l’IA incarnata. Il benchmark misura due dimensioni fondamentali, l’aderenza fisica e l’allineamento alle istruzioni, su 800 video annotati da esseri umani, provenienti da 8 corpora di origine e 10 generatori video, che comprendono pinze robotiche, mani umane e mani robotiche dotate di destrezza. Gli esperimenti mostrano una concordanza disomogenea tra i giudici esistenti e le valutazioni umane: gli MLLM generalisti concordano meno sull’aderenza fisica, mentre i giudici video specializzati, progettati per il ragionamento fisico in ambiti generali, non si trasferiscono in modo uniforme agli scenari di IA incarnata. Alla luce di questi risultati, costruiamo RoboJudge-Train, che comprende 12K video annotati con 25K punteggi verificati da esseri umani e motivazioni elaborate con l’ausilio di modelli per l’aderenza fisica e l’allineamento alle istruzioni. Eseguiamo il fine-tuning di un MLLM 9B su questo dataset mediante apprendimento supervisionato seguito da apprendimento per rinforzo, ottenendo RoboJudge-9B. Tra i modelli valutatori esaminati su RoboJudge-Bench, RoboJudge-9B raggiunge la massima concordanza complessiva, con una correlazione di Pearson pari a 0,719 e un incremento statisticamente significativo di 0,089 rispetto a Gemini-3.7-Flash, il modello proprietario di riferimento con le prestazioni migliori nella nostra valutazione. L’addestramento su RoboJudge-Train produce miglioramenti anche su benchmark esterni, tra cui VideoPhy2 e Physion-Eval. Utilizziamo inoltre RoboJudge-9B come valutatore a valle per confrontare i modelli di generazione video in base all’aderenza fisica e all’allineamento alle istruzioni.