ROT: rotazione degli stati nascosti verso vettori contestuali per mitigare le allucinazioni nei LVLM

Abstract degli autori

I modelli visivo-linguistici di grandi dimensioni (LVLM) producono spesso allucinazioni relative agli oggetti. Gli interventi esistenti che non richiedono addestramento agiscono soprattutto sui pesi di attenzione, influenzando indirettamente le informazioni semantiche profonde che raggiungono gli strati predittivi finali. In questo lavoro ci concentriamo invece sui vettori degli stati nascosti estratti dopo la self-attention e la somma residua. L’analisi empirica rivela che i token allucinati non si affidano semplicemente troppo alle conoscenze linguistiche pregresse: mostrano piuttosto una deviazione contestuale anomala, con similarità significativamente inferiori sia rispetto al contesto testuale sia rispetto a quello visivo negli strati intermedi. Su questa base proponiamo ROT, un metodo specifico per ciascuno strato che non richiede addestramento. ROT rileva dinamicamente le deviazioni semantiche negli strati centrali e applica una rotazione che preserva la norma per riportare gli stati nascosti verso il piano del contesto multimodale locale definito dai contesti. Per gli strati successivi introduciamo un meccanismo di livellamento delle rappresentazioni che stabilizza la traiettoria corretta. Esperimenti approfonditi su più benchmark dimostrano che ROT riduce costantemente le allucinazioni in modelli di diverse architetture e dimensioni, offrendo una soluzione efficiente, basata sulla geometria, per una generazione ancorata al contesto.