Attenzione al divario (MTG-AD): dataset e valutazione dettagliata per le audiodescrizioni in linea end-to-end

Abstract degli autori

Le audiodescrizioni (AD) sono essenziali per rendere i contenuti audiovisivi accessibili agli utenti ciechi e ipovedenti (BLV). Sebbene i modelli linguistici di grandi dimensioni multimodali (MLLM) offrano una soluzione scalabile per generare audiodescrizioni su richiesta, le loro prestazioni nelle audiodescrizioni «in linea» — che devono inserirsi nei silenzi già presenti in un video — sono ancora poco studiate, soprattutto per quanto riguarda i diversi contenuti generati dagli utenti (UGC). Presentiamo un’analisi approfondita delle audiodescrizioni in linea generate dagli MLLM. Innanzitutto, presentiamo MTG-AD, un dataset annotato professionalmente, composto da 36 ore di video, ciascuno della durata media di $\sim$5 minuti, e da oltre 8 mila descrizioni complessive, creato congiuntamente da coppie di professionisti dell’audiodescrizione ciechi e vedenti per fornire un benchmark di alta qualità per questo compito. In secondo luogo, proponiamo MTG-AD-Eval, un framework di valutazione basato sulle linee guida degli esperti di audiodescrizione, che fornisce metriche dettagliate, utilizzabili per migliorare i modelli e prive di riferimenti. È fondamentale che il nostro framework valuti il compito dall’inizio alla fine: converte in tracce audio gli script generati per verificare se si inseriscono nei silenzi naturali del video originale, riducendo al minimo le sovrapposizioni di disturbo. La nostra analisi degli MLLM più avanzati rivela che, sebbene i modelli descrivano accuratamente gli eventi visivi e riducano in misura sostanziale le sovrapposizioni con il parlato, permangono lacune nel ritmo e nella fluidità narrativa. Infine, verifichiamo empiricamente che le nostre metriche automatizzate e prive di riferimenti correlano in misura significativa con le valutazioni di qualità fornite da valutatori vedenti e da 7 partecipanti BLV; rileviamo che, sebbene gli utenti preferiscano di poco le audiodescrizioni scritte da esseri umani, considerano quelle generate dagli MLLM molto utili per la comprensione. Forniamo indicazioni pratiche per la progettazione dei sistemi e rendiamo disponibili MTG-AD all’indirizzo https://hf.co/datasets/google/mind-the-gap-inline-ad e MTG-AD-Eval all’indirizzo https://github.com/google/mtg-ad.