PaperBanana-Interact: perfezionamento dei diagrammi scientifici con feedback umano in più turni

Abstract degli autori

Recenti ricerche hanno cercato di automatizzare la generazione di diagrammi scientifici a partire dal contenuto degli articoli (Lin et al., 2026; Zhu et al., 2026a). Tuttavia, soddisfare pienamente le preferenze visive e comunicative di un autore in un solo turno è difficile: nel nostro studio preliminare sugli utenti (N = 14), tutti i partecipanti hanno chiesto ulteriori revisioni dopo aver visto una prima bozza e l’86% ha giudicato più soddisfacenti i diagrammi perfezionati. Nonostante questa chiara esigenza, il processo in più turni resta in gran parte inesplorato. Per colmare questa lacuna, presentiamo MTPaperBananaBench, un benchmark per la generazione di diagrammi in più turni che contiene 292 immagini annotate con 3.518 richieste degli utenti. Per ridurre il ricorso a costosi studi con utenti e consentire valutazioni su larga scala, creiamo un simulatore di utenti che, a ogni turno, individua le richieste non soddisfatte e ne trasforma k in feedback in linguaggio naturale. La valutazione sia del soddisfacimento delle richieste sia della qualità complessiva dei diagrammi rivela due problemi fondamentali comuni ai sistemi baseline in più turni: (1) la deriva della qualità, per cui la qualità dei diagrammi diminuisce progressivamente da un turno all’altro, e (2) la dimenticanza, per cui caratteristiche già implementate vanno perse nei turni successivi. Per affrontare questi problemi, presentiamo PaperBanana-Interact, un sistema multi-agente che perfeziona i diagrammi attraverso un ciclo interno di valutazione critica e revisione. PaperBanana-Interact migliora costantemente la qualità dei diagrammi, anziché peggiorarla, da un turno all’altro: supera i sistemi baseline di 11,9-18,6 punti nel punteggio di qualità e riduce la dimenticanza di 3,7-6,2 punti.