X-AVDD: distillazione di dataset audio-visivi mediante attenzione incrociata

Abstract degli autori

La distillazione di dataset audio-visivi mira a sintetizzare un piccolo dataset a partire da un grande dataset di coppie audio-video, preservandone quasi del tutto l’utilità per l’addestramento delle reti neurali. Gli approcci esistenti, come DM e AVDD, presentano due limiti importanti: 1) richiedono molta memoria, il che rende difficile applicarli ad architetture complesse e a configurazioni con più campioni per classe (SPC); 2) spesso non riescono a preservare una forte corrispondenza semantica tra le modalità. Per affrontare questi problemi proponiamo X-AVDD, un metodo di distillazione basato sull’attenzione incrociata che cattura esplicitamente le relazioni tra modalità durante la sintesi. Separando l’allineamento tra modalità dall’ottimizzazione congiunta, X-AVDD riduce notevolmente il consumo di memoria e il costo della sintesi end-to-end in ore GPU di $\sim 8\times$, producendo al tempo stesso dati sintetici con un elevato grado di allineamento. Nei test, X-AVDD supera nettamente gli altri metodi di distillazione audio-visiva. Su VGGSound, un dataset audio-visivo di brevi video di YouTube, X-AVDD porta l’accuratezza top-1 sul test da $8.2\%\rightarrow24.0\%$ con SPC=$10$ e da $9.8\%\rightarrow26.5\%$ con SPC=$20$. Inoltre, X-AVDD migliora la generalizzazione tra architetture diverse, per esempio da $25.5\%\rightarrow35.3\%$ per un modello bersaglio ViT sul dataset AVE con SPC $=50$, e si applica con successo ad architetture complesse come AudioCLIP. In questo caso raggiunge un’accuratezza del $62.3\%$ utilizzando solo il $5.65\%$ del dataset completo, contro il $72.4\%$ ottenuto con il dataset completo, e completa l’addestramento in un tempo $9\times$ inferiore rispetto all’uso del dataset completo.