Modelli di visione e linguaggio con routing di Lie per una comprensione 3D robusta ai punti di vista

Abstract degli autori

I grandi modelli linguistici multimodali (MLLM) hanno compiuto notevoli progressi nella comprensione di scene 3D a partire da osservazioni RGB da più punti di vista. Tuttavia, a fronte di un oggetto e di una query invariati, le risposte relative al target possono risultare incoerenti da un punto di vista della telecamera all’altro: un fenomeno che definiamo deriva semantica indotta dal punto di vista. Presentiamo LieVLM, un framework di routing di Lie per una comprensione 3D robusta ai punti di vista. Ispirato alla componente rotazionale dei cambiamenti di punto di vista, il routing di Lie adatta le rappresentazioni visive applicando trasformazioni locali $\mathrm{SO}(3)$ alle caratteristiche proiettate all’interno di sottospazi tridimensionali appresi. I token geometrici estratti da VGGT predicono i parametri di rotazione locale e i coefficienti di routing per canale. Una mappa di Padé--Cayley in forma chiusa trasforma le caratteristiche visive proiettate; le correzioni rispetto all’identità vengono quindi proiettate nuovamente e integrate tramite gating nelle caratteristiche visive e geometriche originali. Questo approccio preserva il contesto semantico preaddestrato e quello spaziale diretto, imparando al contempo correzioni delle caratteristiche dipendenti dal punto di vista. Gli esperimenti su generazione di didascalie 3D, grounding, rilevamento e ragionamento spaziale mostrano miglioramenti costanti rispetto alla fusione additiva a diverse scale di addestramento e con diverse architetture di base. Ablazioni controllate esaminano il ruolo del condizionamento geometrico e della struttura delle trasformazioni. Le analisi dei punti di vista rivelano inoltre variazioni sistematiche negli stati di routing predetti, insieme a risposte al target più localizzate e prestazioni migliori nei task al variare del punto di vista.