SV-TAD: convoluzioni sparse native per il rilevamento efficiente delle azioni nel tempo

Abstract degli autori

Per adattare Vision Transformer da miliardi di parametri alla comprensione di video lunghi, i metodi recenti mantengono fissi i parametri del modello di base e addestrano moduli convoluzionali leggeri. Sebbene consentano un addestramento efficiente in termini di parametri, gli adapter esistenti non riducono il calcolo necessario durante l’inferenza, lasciando in gran parte irrisolto il problema della scalabilità rispetto alla durata dei video. La selezione dei token può ridurre il costo dell’attenzione eliminando quelli ridondanti, ma altera la struttura della griglia spaziale necessaria agli adapter convoluzionali. Diventa così necessaria una costosa ricostruzione densa, che annulla gran parte del potenziale aumento di velocità. Per risolvere il problema, introduciamo le convoluzioni sparse 2D native: per la prima volta, questo metodo permette agli adapter di operare direttamente ed efficientemente su insiemi di token ottenuti tramite pruning dinamico. Integriamo il metodo in SV-TAD, un framework di adapter per il rilevamento delle azioni nel tempo: riduciamo il calcolo richiesto da VideoMAEv2-L fino al 64% e rendiamo l’inferenza 2,2 volte più rapida, mantenendo un’accuratezza allo stato dell’arte su THUMOS-14 e ActivityNet-1.3. Applicato a InternVideoNext-L, il nostro approccio supera il precedente stato dell’arte con un costo computazionale pari a circa la metà. Inoltre, la formulazione sparsa supporta naturalmente token ausiliari specifici del compito, migliorando il rilevamento dettagliato dell’assemblaggio su ATTACH.