RAP: un dataset per generare poster da articoli scientifici tramite markup dichiarativo ricavato da esempi realizzati da persone

Abstract degli autori

Realizzare un poster per una conferenza è un esercizio di visual coding in miniatura: bisogna condensare un intero articolo in una sola pagina, mettendo alla prova insieme la capacità di sintesi, la progettazione visiva e l’implementazione del codice, senza usare altro che l’articolo stesso. Eppure i benchmark per questo compito nel contesto del visual coding sono ancora scarsi: le risorse esistenti sono di piccole dimensioni e annotate soltanto con riquadri che indicano la disposizione degli elementi. La valutazione deve quindi affidarsi a VLM usati come giudici o a checklist compilate da esseri umani, anziché a un confronto oggettivo tra immagini renderizzate. Inoltre, i metodi di generazione supportati da queste risorse progettano la disposizione degli elementi da zero, impedendo di usare i poster realizzati da esseri umani sia come raccolta di modelli grafici consultabile sia come supervisione verificata. Presentiamo RAP (Reconstruct A Poster), un dataset e benchmark per la generazione di poster a partire da articoli scientifici come compito di visual coding. RAP contiene oltre 25K coppie articolo-poster verificate, provenienti da diverse conferenze di machine learning tenutesi tra il 2022 e il 2026 e annotate secondo una tassonomia dei contenuti a tre livelli, oltre a un benchmark separato di 150 articoli di test, ciascuno abbinato al poster realizzato da una persona. Una pipeline di derendering completamente automatizzata trasforma ogni poster in HTML/CSS con stili applicati e slot tipizzati e riutilizzabili con nuovi contenuti. Ogni campione è così una tripla articolo-poster-markup, verificabile renderizzando il markup e confrontando il risultato con il poster originale. Il corpus serve sia per l’inferenza sia per l’addestramento: PosterRAG, una pipeline multiagente che non richiede addestramento, recupera un esempio e ne riempie gli slot con nuovi contenuti senza modificare la disposizione degli elementi né gli stili, mentre una procedura SFT+RL addestra un modello dedicato usando le stesse triple. Una demo online è disponibile all’indirizzo https://reconstruct-a-poster.github.io/.