TRIAD: un benchmark dell’ambiguità onnimodale nei modelli linguistici multimodali di grandi dimensioni

Abstract degli autori

L’ambiguità è una caratteristica centrale della comunicazione naturale: una frase, un’immagine o un suono possono restare indeterminati finché non si considerano gli elementi forniti dagli altri canali. Eppure, gli attuali benchmark multimodali verificano soprattutto la percezione, il riconoscimento o il ragionamento su input già determinati, lasciando aperta la questione se i modelli linguistici onnimodali di grandi dimensioni siano in grado di risolvere ambiguità distribuite tra testo, immagini e audio. Presentiamo TRIAD, un benchmark per la risoluzione dell’ambiguità onnimodale. Ogni elemento consiste in una terna testo-immagine-audio associata a una domanda e a una serie di opzioni di risposta. La terna completa determina una risposta univoca, mentre, eliminando una qualsiasi delle tre modalità, resta più di un’opzione compatibile. TRIAD contiene $327$ quesiti formulati manualmente, raggruppati in $86$ gruppi di scene, e copre $18$ categorie di ambiguità nelle tre modalità. La valutazione di $14$ sistemi onnimodali mostra che buone prestazioni sui singoli quesiti non si traducono in una solida capacità di disambiguazione a livello di scena: anche il modello migliore resta indietro rispetto agli esseri umani di oltre $20$ punti nell’accuratezza a livello di gruppo. Eliminare le opzioni di risposta amplia ulteriormente il divario, facendo scendere l’accuratezza dei modelli a livello di gruppo a valori a una cifra, mentre quella degli esseri umani rimane solida. Le analisi leave-one-out e gli scenari controfattuali basati su trascrizioni o descrizioni mostrano inoltre che gli attuali sistemi spesso sfruttano poco gli indizi audio quando sono presenti testo e immagine. TRIAD riorienta la valutazione onnimodale sulla disambiguazione anziché sul riconoscimento e fornisce una tassonomia, un benchmark e un protocollo diagnostico per misurare questa capacità.