Syn-Omni: specializzazione strutturata e collaborazione progressiva per gli embedding omnimodali

Abstract degli autori

Gli embedding omnimodali comprendono per loro natura sia rappresentazioni condivise sia caratteristiche specifiche delle singole modalità in input eterogenei. Tuttavia, i metodi esistenti per gli embedding omnimodali si basano spesso su un unico spazio di parametri condiviso per dati di modalità diverse, limitando la separazione strutturale tra rappresentazioni universali e rappresentazioni specifiche delle singole modalità. Per affrontare questo limite, proponiamo Syn-Omni, un framework unificato per l’adattamento omnimodale strutturato, con specializzazione per modalità e collaborazione intermodale controllata. In particolare, introduciamo Orthogonal Modality-Expert LoRA (OME-LoRA), che suddivide l’adattamento in un percorso LoRA condiviso per la semantica universale e percorsi LoRA di esperti specializzati per modalità. Inoltre, Progressive Synergy Routing (PSR) consente agli esperti di stabilire dapprima prior specifici della propria modalità e poi di interagire gradualmente con esperti di altre modalità per creare sinergia intermodale. Valutato su 81 compiti diversi che riguardano immagini, video, audio e contenuti audiovisivi, Syn-Omni supera costantemente i metodi omnimodali di riferimento, dimostrando l’efficacia della specializzazione strutturata e della collaborazione intermodale progressiva.