Dove falliscono le didascalie lunghe? Diagnosi basata sulla posizione e apprendimento per rinforzo per la descrizione dettagliata delle immagini

Abstract degli autori

La descrizione dettagliata delle immagini viene solitamente considerata un problema di quantità: un modello dovrebbe menzionare più elementi visivi evitando le allucinazioni. Tuttavia, i VLM autoregressivi generano didascalie come sequenze ordinate, e le parti successive possono essere prodotte con un ancoraggio visivo più debole o più soggetto a rumore. Sosteniamo quindi che le didascalie lunghe vadano studiate non solo in base agli elementi menzionati, ma anche alla posizione in cui compaiono. Introduciamo una rappresentazione basata su una griglia di valutazione che tiene conto della posizione: scompone i riferimenti umani ricchi di dettagli in affermazioni atomiche sugli elementi visivi, verifica le didascalie generate rispetto a tali affermazioni e ricava, per ciascun quartile, la composizione di contenuti supportati, allucinati e generici. Questa prospettiva rivela due tipi di errore qualitativamente diversi nelle didascalie lunghe: i modelli tendono a produrre dettagli specifici non supportati nella parte centrale, mentre la parte finale spesso ripiega su un linguaggio vago e privo di riscontri, anziché limitarsi ad accumulare altre allucinazioni. Un controllo umano basato sullo stesso riferimento non mostra questi andamenti; ulteriori verifiche umane esaminano la validità visiva delle etichette ricavate. Sulla base di questa diagnosi, proponiamo PAGER (Position-Aware Grounded Evidence Reinforcement), un obiettivo di addestramento GRPO con segnali distinti per le evidenze dettagliate e supportate nella parte centrale, la prosecuzione della parte finale con contenuti corroborati da evidenze, la copertura delle affermazioni e il controllo della lunghezza in funzione del contenuto. Ne risulta un processo a ciclo chiuso: la stessa rappresentazione ordinata delle affermazioni individua dove falliscono le didascalie lunghe e fornisce la ricompensa specifica per posizione necessaria a correggere questi errori. Gli esperimenti sui benchmark per le didascalie dettagliate mostrano che PAGER migliora l’ancoraggio visivo nelle diverse posizioni e la preferenza nei confronti a coppie tra didascalie, mantenendo competitiva la qualità complessiva delle didascalie.