LongBanana: un benchmark verificato da esperti per la sintesi di immagini con più riferimenti e contesto lungo

Abstract degli autori

Presentiamo LongBanana, che, per quanto ne sappiamo, è il primo benchmark progettato e verificato da esperti per la sintesi di immagini con più riferimenti e contesto lungo nell’era della generazione di immagini guidata da agenti. Il compito richiede di recuperare elementi visivi distribuiti, scartare i distrattori, associare entità e relazioni e comporre un’unica immagine finale coerente a partire da più riferimenti. LongBanana contiene 90 compiti progettati con cura e organizzati secondo una tassonomia 3 × 3; ogni compito include circa 32 immagini di riferimento, 20 vincoli e 50 elementi di valutazione, per un totale di 4.670 elementi di valutazione atomici specificati da esperti. Il suo sistema di valutazione basato su grafi associa a ogni compito immagini di riferimento e un grafo di entità e relazioni, quindi traduce gli obblighi relativi ai nodi, agli archi e all’intero grafo in voci di checklist per la fedeltà dei contenuti, l’associazione relazionale e il soddisfacimento dei vincoli globali. Le etichette degli esperti sottoposte a revisione comprendono un sottoinsieme con doppia etichettatura del 15%, con un accordo esatto dell’89,4% e un kappa quadratico ponderato di 0,83. Presentiamo inoltre LongBanana-Gen, un framework di harness per agenti dedicato alla generazione di immagini su orizzonti temporali lunghi; gli esperimenti mostrano che gli harness minimi per agenti migliorano i risultati rispetto alla generazione diretta, mentre un flusso di lavoro ReAct-Plan-Exec-Reflect (RPR) produce miglioramenti che dipendono dall’harness, rafforzando l’ancoraggio alle evidenze e la correzione. Nel loro insieme, LongBanana offre un banco di prova verificabile per misurare l’uso di elementi visivi densi e un obiettivo comune per sviluppare sistemi di generazione di immagini più efficaci guidati da agenti. Codice e dati sono disponibili nella pagina del progetto: https://long-banana.com/.