VisCodeBench: un nuovo dataset di benchmark per Text-to-Vis che rispecchia la pratica del mondo reale

Abstract degli autori

La generazione di visualizzazioni a partire da richieste in linguaggio naturale (text-to-vis) consente agli utenti di esplorare i dati in modo più efficiente. Sebbene gli LLM siano in grado di soddisfare semplici richieste di visualizzazione, le loro prestazioni nei casi più impegnativi non sono adeguatamente valutate dai benchmark esistenti. Presentiamo VisCodeBench, un benchmark end-to-end per il text-to-vis, con 2.672 campioni tratti da tre ambiti diversi: scenari educativi, scientifici e rivolti al pubblico generale, con vari livelli di complessità. Valutiamo tre sistemi di visualizzazione — Codex, Claude Code e LIDA — abbinati a una serie di LLM open source e commerciali, usando sette metriche che coprono esecuzione, contenuto dei grafici e qualità visiva. Se per i sistemi più solidi l’esecuzione di base è ormai quasi risolta, nessun sistema si avvicina a riprodurre i dati di riferimento: la migliore somiglianza dei dati visualizzati raggiunge solo $0.81$ e scende a $0.69$ nel sottoinsieme più difficile per questa metrica. Rileviamo inoltre che i modelli di frontiera si differenziano per correttezza dei grafici ed efficienza: ClaudeCode-Opus-4.7 migliora la correttezza dei grafici di circa 5 punti rispetto a Codex-GPT-5, impiegando circa 20 secondi in meno. Separatamente, rileviamo che la progettazione del sistema conta quanto il modello sottostante: pur basandosi entrambi su GPT-5, Codex supera nettamente LIDA, a dimostrazione che l’insieme di prompt, esecuzione e perfezionamento che circonda il modello può influire sui risultati tanto quanto il modello stesso. Infine, la latenza resta un ostacolo pratico: anche i sistemi più potenti impiegano 39-78 secondi per produrre risultati. VisCodeBench è disponibile all’indirizzo \href{https://github.com/SAIPLL/VisCodeBench}{https://github.com/SAIPLL/VisCodeBench} e consultabile tramite una leaderboard; il dataset completo è mantenuto privato per impedirne l’uso nell’addestramento degli LLM.