Humanity’s Sixth Sense: un benchmark per il ragionamento visivo intuitivo nei modelli multimodali

Abstract degli autori

Gli esseri umani colgono in una scena molto più di quanto sia rappresentato esplicitamente: con un solo sguardo individuano cause passate e traiettorie future; una rapida occhiata basta a capire se un veicolo può passare tra due auto parcheggiate; pochi secondi di video rivelano chi detiene l’autorità in una stanza; e una breve clip mette in luce sottili schemi astratti, come regole non scritte o etichette nascoste. Questa capacità riflette una sorta di sesto senso umano: un meccanismo di ragionamento intuitivo che ricava informazioni implicite oltre ciò che viene percepito direttamente dai sensi. È una forma di intuizione visiva rapida e zero-shot fondamentale per orientarsi nella vita quotidiana e interagire con gli altri, e dunque una capacità essenziale per i modelli linguistici multimodali di grandi dimensioni (MLLM) impiegati a fianco delle persone. I benchmark visivi esistenti, però, si concentrano o su analisi deliberate di livello specialistico in ambito accademico e matematico, o sulla percezione di basso livello, lasciando in gran parte inesplorato il ragionamento intuitivo delle persone. Per colmare questa lacuna, presentiamo Humanity’s Sixth Sense (HSS), un benchmark per il ragionamento visivo intuitivo. HSS comprende diversi tipi di input sotto forma di immagini e video, organizza gli elementi secondo una tassonomia strutturata e associa a ciascuno prompt scritti da esseri umani che mettono alla prova la capacità di cogliere la struttura implicita temporale, spaziale, sociale e astratta che le persone inferiscono a colpo d’occhio. Gli MLLM più avanzati non raggiungono le prestazioni umane: i partecipanti ottengono un’accuratezza del 93,1%, mentre il modello migliore, GPT-6-astra, arriva solo al 53,6%, anche con il massimo sforzo di ragionamento. Pur eccellendo in molti compiti complessi che richiedono capacità avanzate di percezione e conoscenza, i modelli attuali incontrano ancora notevoli difficoltà in questi compiti visivi, intuitivi per gli esseri umani. Esaminiamo inoltre configurazioni agentiche che applicano manipolazioni visive dinamiche a HSS: il divario si riduce, ma non si chiude. HSS rende il ragionamento visivo intuitivo una dimensione misurabile e richiama l’attenzione su una capacità che l’aumento di scala sui benchmark attuali ha finora trascurato.