Valutare la comprensione della negazione nei modelli visione-linguaggio attraverso l’attenzione agli oggetti

Abstract degli autori

La negazione è un aspetto fondamentale della comprensione del linguaggio ed è importante che i modelli visione-linguaggio (VLM) sappiano elaborarla efficacemente. Studiamo come i VLM elaborano la negazione analizzando i pattern di attenzione di diversi modelli. Confrontiamo lo sguardo umano e l’attenzione dei modelli nell’elaborazione di enunciati affermativi e negati. Confrontiamo l’attenzione dei modelli a livello di oggetto con le fissazioni oculari umane, sia in contesti binari sia in contesti con più alternative, usando per la valutazione dataset sintetici e realistici. Riscontriamo che, nel risolvere la negazione, i modelli in genere non seguono pattern di attenzione simili a quelli umani, il che suggerisce che si affidino a meccanismi diversi dall’attenzione. Sebbene l’analisi per strati mostri che PaliGemma2-3B sposta l’attenzione agli oggetti verso l’alternativa in presenza di negazione, le nostre ablazioni per testa suggeriscono che si tratti di un effetto collaterale, non di un meccanismo di elaborazione della negazione. Riscontriamo inoltre che LLaVA-1.5-7B presenta una distorsione spaziale a favore degli oggetti sul lato sinistro. La nostra valutazione dei modelli su compiti successivi mostra che tutti presentano una differenza di prestazioni tra domande affermative e negate, evidenziando la necessità di comprendere meglio i processi alla base dell’elaborazione della negazione per colmare questo divario. Il codice è disponibile all’indirizzo https://github.com/otmive/negation_attention