AVID: un dataset fMRI a 5T per il benchmarking della decodifica delle immagini mentali visive indotte da stimoli uditivi

Abstract degli autori

La decodifica delle immagini mentali visive (VMI) utilizza l’attività cerebrale per ricostruire scene visive generate internamente, offrendo una possibile via per rendere accessibili all’esterno le esperienze interiori e sviluppare interfacce di comunicazione neuroprotesiche. Tuttavia, i progressi sono limitati dalla mancanza di dataset VMI dedicati e di dimensioni sufficienti per l’addestramento. Gli attuali paradigmi VMI si basano spesso su stimoli visivi o immagini a breve termine conservate in memoria, introducendo fattori confondenti di natura visiva e mnemonica che rendono difficile distinguere l’attività neurale associata alla costruzione endogena delle immagini dai segnali dovuti a stimoli visivi precedenti o concomitanti. Inoltre, i dataset VMI esistenti offrono un controllo descrittivo limitato sui singoli attributi visivi, rendendo difficile valutare sistematicamente i dettagli visivi più fini. Per colmare queste lacune, presentiamo AVID, la prima risorsa dedicata, su scala utile all’addestramento, per la decodifica VMI indotta da stimoli uditivi, basata su risonanza magnetica funzionale (fMRI) a 5,0 tesla. AVID comprende circa 67 ore di registrazioni dense di nove partecipanti. Il dataset è suddiviso in due partizioni complementari: una partizione complessa a livello di scena, che utilizza descrizioni naturalistiche in mandarino, e una partizione semplice e controllata, con attributi visivi specificati esplicitamente. Formalizziamo inoltre un protocollo di valutazione standardizzato che separa la coerenza con l’immagine di partenza dall’allineamento semantico, consentendo una valutazione più sfumata della ricostruzione delle immagini mentali. I risultati preliminari, qualitativi e quantitativi, mostrano che gli attuali processi di ricostruzione restano limitati su AVID, sebbene le ricostruzioni più riuscite preservino semantiche riconoscibili a livello di scena a partire dalle descrizioni pronunciate. Combinando registrazioni neurali dedicate, su scala utile all’addestramento, e risorse di valutazione standardizzate, AVID offre sia una base di dati per lo sviluppo di modelli specifici per le immagini mentali, sia un benchmark per valutare la decodifica VMI con una contaminazione sensoriale notevolmente ridotta.