La sparsità va allocata in base all’output: allocazione senza addestramento dell’attenzione a blocchi sparsi per i transformer di diffusione video

Abstract degli autori

L’attenzione 3D completa è costosa nei transformer di diffusione video. L’attenzione a blocchi sparsi riduce questo costo calcolando solo i blocchi di attenzione selezionati. Tuttavia, i metodi esistenti trascurano la possibilità di ottimizzare l’allocazione della sparsità oppure si affidano a regole euristiche o metriche locali per guidarla. In questo lavoro osserviamo che rendere sparsa l’attenzione in livelli e fasi di rimozione del rumore diversi incide in misura molto diversa sulla fedeltà del video finale. Eppure, l’identità delle coppie livello-fase più sensibili resta pressoché invariata al variare degli input. Sulla base di questi risultati proponiamo Allocating Layer-step Latency by Output Tests (ALLOT), un metodo di allocazione della sparsità che non richiede addestramento. Considerando ogni coppia livello-fase come una cella, ALLOT stima il contributo di ciascuna cella all’errore del video finale mediante (i) l’analisi delle celle e (ii) la calibrazione della traiettoria, quindi ottimizza congiuntamente le densità delle celle entro un vincolo di latenza misurata. Mantiene le strategie di selezione e i kernel esistenti, sostituendo soltanto la componente di allocazione. A parità di tempo effettivo di esecuzione, o con un tempo inferiore, ALLOT supera tutte le strategie di allocazione con cui è stato confrontato utilizzando XAttention, con un guadagno di 11,8 dB in PSNR su HunyuanVideo. Ampi esperimenti condotti su quattro ulteriori pipeline pubblicate per Wan2.1, Wan2.2 e HunyuanVideo mostrano che ALLOT supera o eguaglia il metodo predefinito in tutti e nove gli scenari.