Ripensare la risposta a domande visive guidata dagli LLM: integrare più a fondo le conoscenze aiuta davvero?

Abstract degli autori

La risposta a domande visive basata sulla conoscenza (VQA) richiede un ragionamento che vada oltre il contenuto visibile dell’immagine e attinga a conoscenze esterne, sia di senso comune sia fattuali. Sebbene studi recenti impieghino i Large Language Models (LLM) come fonti di conoscenza, resta poco esplorata la questione di quanto a fondo integrare le indicazioni che forniscono in un’architettura visione-linguaggio. In questo lavoro usiamo Llama~3.3~70B per generare indicazioni strutturate per il ragionamento, concetti su cui concentrare l’attenzione visiva, elementi di distrazione e conoscenze esterne. Confrontiamo poi sistematicamente due strategie di integrazione sul benchmark OK-VQA, all’interno di un’unica architettura ViT + FLAN-T5 con modelli congelati: la fusione tardiva a livello decisionale e l’iniezione nella matrice di attenzione. Contrariamente all’ipotesi prevalente secondo cui un’integrazione più profonda sia migliore, riscontriamo che la fusione tardiva, meno profonda, ottiene i risultati migliori (39,4% di corrispondenze esatte, +10,0 rispetto alla baseline senza indicazioni), superando la modifica profonda dell’attenzione (31,8%) nel fine-tuning con pochi dati. Proponiamo inoltre una pipeline di ampliamento dei dati basata su un LLM che, riformulando le domande, moltiplica i dati di addestramento per più di dieci volte. I nostri risultati indicano che la profondità dell’integrazione deve essere adeguata alla quantità di dati disponibili.