DreamRealm: esplorare e materializzare mondi di allucinazioni per modelli di visione-linguaggio affidabili

Abstract degli autori

I grandi modelli linguistici multimodali (MLLM) restano inclini alle allucinazioni visive quando le risposte corrette dipendono da dettagli visivi sottili. Una linea di metodi di post-training costruisce contrasti visivi tramite il recupero, la generazione o la modifica di immagini, per migliorare la percezione dei dettagli. Tuttavia, questi contrasti non sono costruiti attorno alle allucinazioni proprie del modello, rendendo difficile garantire che la supervisione punti alle sue effettive confusioni percettive. Un’altra linea sopprime le risposte allucinate tramite la correzione delle risposte o l’apprendimento per preferenza a parità di immagine, ma lascia relativamente inesplorata la progettazione dei segnali di supervisione sul versante dell’input visivo. Ispirandoci a come gli esseri umani correggono le idee sbagliate, presentiamo DreamRealm, un framework di post-training che esplora diverse risposte allucinate latenti, modifica il meno possibile le immagini originali perché le risposte risultino valide e addestra il modello ad associare ciascuna risposta all’immagine che la supporta. La nostra pipeline di costruzione dei dati, RealmForgePipe, individua allucinazioni osservate e latenti in un modello bersaglio e le materializza modificando le immagini. A partire dalle allucinazioni individuate con Qwen3.5-9B, costruiamo il Realized Hallucination Dataset (RealmSet). Il nostro obiettivo di training, RealmMatch, costruisce una matrice di punteggi di verosimiglianza per le combinazioni immagine-risposta e combina l’apprendimento supervisionato con funzioni di perdita contrastive bidirezionali per rafforzare le corrispondenze corrette e sopprimere quelle errate. Rispetto al modello originale Qwen3.5-9B, DreamRealm migliora le prestazioni in sei benchmark di percezione visiva e allucinazioni, con incrementi di 7,26 punti percentuali nell’accuratezza su HallusionBench e di 11,34 punti percentuali nell’accuratezza delle coppie su MMVP. Nel loro insieme, questi risultati e gli studi di ablazione sulla costruzione dei dati e sui metodi di training dimostrano che l’assegnazione delle allucinazioni è un paradigma promettente per migliorare la percezione visiva e mitigare le allucinazioni.