Apprendimento di rappresentazioni del parlato visivo tramite distillazione intermodale e modellazione congiunta di volto e labbra

Abstract degli autori

La lettura labiale resta difficile a causa dell’ambiguità intrinseca degli indizi visivi del parlato e della loro sensibilità all’orientamento della testa e alla risoluzione video. In questo lavoro proponiamo FLARE, un framework per apprendere rappresentazioni robuste del parlato visivo tramite distillazione intermodale e modellazione congiunta di volto e labbra. FLARE usa come segnale acustico del modello insegnante le rappresentazioni di Whisper, ricche di informazioni semantiche: le converte in obiettivi discreti per la distillazione mediante un quantizzatore a proiezione casuale e preaddestra il modello con un obiettivo di predizione con mascheramento. Per acquisire informazioni visive complementari, FLARE impiega un’architettura a due flussi che elabora congiuntamente gli input della regione di interesse (ROI) delle labbra e del volto intero: il flusso delle labbra rileva i movimenti articolatori più fini, mentre quello del volto codifica dinamiche facciali più ampie. Durante il preaddestramento viene incorporato un input audio ausiliario per facilitare l’allineamento intermodale e si applica il dropout delle modalità per favorire rappresentazioni robuste basate soltanto sulle immagini. Per la lettura labiale, FLARE funge da codificatore visivo abbinato a un decoder Transformer leggero oppure a un decoder basato su LLM. Valutato su LRS2, LRS3 e sul benchmark fuori dominio WildVSR, FLARE ottiene prestazioni elevate nella lettura labiale, con tassi di errore sulle parole rispettivamente dell’11,7%, del 13,2% e del 34,3%. Uno studio progressivo delle scelte progettuali conferma il contributo di ciascun componente principale. Ulteriori analisi mostrano che la modellazione congiunta di volto e labbra migliora la robustezza quando la risoluzione video è degradata e l’orientamento della testa varia notevolmente, producendo al tempo stesso rappresentazioni visive più capaci di distinguere i fonemi. Il codice e i modelli preaddestrati sono disponibili all’indirizzo https://github.com/jxzhanggg/FLARE.