EVA-Cap: ottimizzare la generazione di didascalie per video audiovisivi mediante l’allineamento incentrato sugli eventi

Abstract degli autori

I recenti progressi dei modelli linguistici omni (OLM) offrono una soluzione unificata per la generazione di didascalie per video audiovisivi. Tuttavia, gli approcci esistenti trattano prevalentemente questa attività come un processo di generazione di testo non strutturato, trascurando la struttura semantica propria dei video e producendo un allineamento audiovisivo a grana fine non ottimale. Per colmare questa lacuna, proponiamo EVA-Cap, un nuovo framework che scompone le didascalie in eventi audiovisivi elementari e trasforma la supervisione testuale non strutturata in un allineamento incentrato sugli eventi. Addestriamo EVA-Cap mediante Supervised Fine-Tuning (SFT) e Group Relative Policy Optimization (GRPO) su EVA-Data, un dataset che abbiamo curato noi stessi e che è stato costruito con un controllo della qualità incentrato sugli eventi. Durante la fase GRPO, il modello viene ottimizzato esplicitamente rispetto a tre obiettivi di allineamento incentrati sugli eventi: completezza globale degli eventi, attribuzione all’interno degli eventi e sincronizzazione tra eventi. Numerosi esperimenti mostrano che EVA-Cap supera nettamente i metodi esistenti nella valutazione incentrata sugli eventi (per esempio, con un miglioramento medio del 9,0% su ChronusAV), ottenendo al tempo stesso prestazioni competitive nei benchmark generali per la generazione di didascalie per video audiovisivi (per esempio, con un miglioramento del 3,3% su WorldSense).