WOVEN: intrecciare la modellazione del mondo visivo con i modelli linguistici multimodali

Abstract degli autori

I modelli linguistici multimodali di grandi dimensioni (MLLM) incontrano difficoltà nel ragionamento spaziale, incarnato, fisico e temporale. Ipotizziamo che queste difficoltà riflettano una carenza comune nel ragionamento sulle transizioni visive e verifichiamo, attraverso una procedura sistematica di addestramento, se questa capacità possa costituire un elemento di base condiviso: qualcosa che modelli diversi possano apprendere da fonti di supervisione diverse e riutilizzare in compiti diversi. I benchmark esistenti documentano queste carenze separatamente, ma non consentono confronti controllati tra scene, azioni e operazioni di ragionamento. Presentiamo quindi WOVEN, una fonte di dati per l’addestramento e un benchmark per il ragionamento sulle transizioni visive. WOVEN organizza la supervisione delle transizioni per scena, azione e tipo di ragionamento, usando sequenze diverse e realistiche generate da modelli generativi preaddestrati su video: 36.076 esempi distribuiti tra 20 tipi di scene, 5 tipi di azioni e 8 tipi di ragionamento. Valutiamo dapprima 38 MLLM di frontiera, tra cui GPT-5.4 e Qwen3-VL-235B-A22B, e riscontriamo una carenza sostanziale e sistematica: persino i modelli più avanzati ottengono risultati nettamente inferiori a quelli degli esseri umani, e le difficoltà si ripresentano in diverse famiglie di modelli e persistono anche al crescere della scala. Addestriamo poi MLLM di varie dimensioni su WOVEN e osserviamo che acquisiscono una capacità condivisa, trasferibile a un’ampia gamma di compiti: sottoinsiemi di addestramento di appena circa 2.000 elementi ciascuno migliorano complessivamente i risultati in 22 benchmark esterni su 26, fino a 27,3 punti percentuali, e i dati di WOVEN possono sostituire il 30-50% dei dati di addestramento specifici di un compito mantenendo un’accuratezza comparabile. Ulteriori confronti controllati permettono di definire una procedura di addestramento per la modellazione del mondo visivo, validata prospetticamente su benchmark tenuti da parte: scegliere la supervisione in base all’operazione di ragionamento che insegna, anziché alle azioni, alle scene o agli ambiti che mostra, e privilegiare cambiamenti più ampi dello stato visivo per ottenere maggiore robustezza. Il nostro lavoro dimostra che il ragionamento sulle transizioni visive è una base riutilizzabile per l’addestramento sistematico di modelli del mondo visivo negli MLLM.