The Prestige: valutare il ragionamento visivo cognitivo attraverso i giochi di prestigio

Abstract degli autori

Presentiamo The Prestige, un benchmark di comprensione video che mette alla prova il ragionamento visivo cognitivo attraverso esibizioni di magia professionali, in cui il depistaggio deliberato sfida i modelli a seguire gli eventi e a spiegare gli esiti inattesi. Il benchmark comprende domande a risposta aperta che spaziano dalla comprensione temporale e causale alla robustezza di fronte a domande avversarie. La valutazione dei principali modelli VLM open source e proprietari rivela un divario sostanziale tra le prestazioni umane e quelle persino del modello più forte. Riscontriamo inoltre discrepanze sistematiche tra la valutazione umana e quella automatizzata e individuiamo modalità di errore ricorrenti dei modelli. Gli studi di ablazione mostrano inoltre che i modelli possono selezionare le risposte corrette a scelta multipla anche quando non riescono a generare autonomamente spiegazioni corrette, il che motiva ulteriori indagini sui formati delle domande. Nel complesso, questi risultati evidenziano i limiti sia del ragionamento dei modelli VLM sia della sua valutazione, sottolineando la necessità di modelli di comprensione video più affidabili e di benchmark più rigorosi.