SOMA: un benchmark per la comprensione dettagliata del comportamento e dei movimenti corporei in prospettiva egocentrica

Abstract degli autori

Percepire i movimenti del corpo umano è fondamentale per i sistemi multimodali che comprendono e assistono le persone. Eppure, le attuali valutazioni dei modelli linguistici multimodali di grandi dimensioni (MLLM) si concentrano soprattutto su oggetti, scene e azioni generali, lasciando poco valutata la loro capacità di ragionare sul corpo stesso. La sfida è particolarmente difficile nella prospettiva egocentrica, in cui il corpo è visibile solo in parte e il movimento deve essere dedotto da indizi parzialmente nascosti e distribuiti nel tempo. Presentiamo SOMA, un benchmark per la comprensione dettagliata dei movimenti corporei nei video egocentrici, composto da 1.632 domande verificate da esseri umani e articolato lungo tre dimensioni di capacità: configurazione del corpo, dinamica del movimento e ragionamento temporale. Valutiamo 37 MLLM tra i principali modelli a codice chiuso, open source e specializzati per la prospettiva egocentrica, affiancando a questa analisi un’ampia valutazione condotta su esseri umani. Scopriamo che anche per gli esseri umani il compito è difficile quando dispongono soltanto del video (68,5% di risposte corrette), ma che superano nettamente il miglior MLLM (Qwen3.6-27B), che raggiunge il 50,0% di risposte corrette in modalità zero-shot. La nostra analisi degli errori mostra che gli MLLM spesso interpretano male il corpo di chi indossa il dispositivo, valutano erroneamente la collocazione temporale degli eventi e sono soggetti a distorsioni, come la tendenza a privilegiare la mano destra o a contare troppo poche ripetizioni. Per ridurre il divario rispetto alle prestazioni umane e favorire ulteriori progressi, presentiamo un dataset di addestramento con video, movimenti corporei e supervisione linguistica allineati, oltre a un modello multimodale di riferimento che apprende congiuntamente da queste modalità. Individuando gli errori ricorrenti e le capacità che mancano agli attuali MLLM, ci auguriamo che SOMA stimoli nuove ricerche sulla comprensione dei movimenti corporei e sul ragionamento multimodale. Il benchmark completo, i dati di addestramento e il codice saranno pubblicati all’indirizzo: https://cnai.epfl.ch/soma