Omni-Woodpecker: correzione delle allucinazioni mediante il riequilibrio tra evidenze e conoscenze pregresse negli Omni LLM

Abstract degli autori

I recenti Omni LLM (OLLM) hanno dimostrato notevoli capacità di ragionamento congiunto su audio e video, ma le allucinazioni tra modalità restano una sfida importante. I metodi esistenti per limitarle intervengono principalmente sull’output, trascurando l’intreccio tra le evidenze su cui si fondano le risposte e le conoscenze pregresse apprese all’interno delle rappresentazioni fuse. Per affrontare il problema, proponiamo Omni-Woodpecker (OWP), un metodo che non richiede addestramento e sposta la correzione delle allucinazioni dalla manipolazione dell’output al riequilibrio delle rappresentazioni, condizionato dalla presenza di conflitti. In primo luogo, OWP individua i conflitti tra modalità attraverso prospettive complementari specifiche per ciascuna modalità. Impiega poi una decomposizione ortogonale per separare, negli stati nascosti, le evidenze su cui si fondano le risposte dalle conoscenze pregresse in competizione con esse. Infine, prima della generazione della risposta, OWP riequilibra in modo adattivo le rappresentazioni fuse, attenuando le conoscenze pregresse fuorvianti e recuperando le evidenze ignorate. Numerosi esperimenti dimostrano l’efficacia di OWP e la sua elevata capacità di generalizzare tra architetture. Usando Qwen2.5-Omni-7B come modello di base, OWP migliora le prestazioni di 12,9 e 8,6 punti rispettivamente su CMM e AVHBench, ottenendo inoltre miglioramenti costanti compresi tra 0,67 e 2,25 punti su quattro benchmark generali di ragionamento per OLLM. OWP generalizza efficacemente anche a VideoLLaMA2-AV, migliorando le prestazioni di 4,6 e 3,9 punti sugli stessi benchmark. Il codice è disponibile pubblicamente all’indirizzo https://github.com/ZiiJianLiu/Omni-Woodpecker