BlenderWorld: un benchmark per gli agenti visivi nella creazione 3D a partire da riferimenti del mondo reale

Abstract degli autori

I recenti progressi dei modelli linguistici multimodali di grandi dimensioni (MLLM) hanno permesso loro di agire come agenti autonomi, creando e modificando modelli 3D tramite codice o intervenendo direttamente nel software. Nei flussi di lavoro pratici, questi modelli devono ricavare forme degli oggetti, materiali, disposizioni spaziali e illuminazione da riferimenti diversi, attenendosi rigorosamente alle istruzioni per ricostruire, modificare o progettare contenuti 3D. I benchmark esistenti, tuttavia, coprono solo in misura limitata richieste così aperte in scenari del mondo reale. Per colmare questa lacuna, presentiamo BlenderWorld, il primo benchmark completo dedicato alla valutazione dei modelli di frontiera in compiti realistici di creazione 3D. BlenderWorld comprende 223 compiti che spaziano dall’architettura ai prodotti, dagli ambienti naturali alla visualizzazione scientifica, basati su input testuali, immagini, video e specifiche strutturate. Per valutare rigorosamente questi complessi risultati, definiamo un protocollo di valutazione unificato: produciamo rendering dei progetti Blender presentati da più punti di vista e li valutiamo in base a 2.651 criteri binari specifici per ciascun compito, oltre che con punteggi complessivi di qualità visiva. La valutazione tramite benchmark di tredici modelli di frontiera mostra che GPT-6-Astra ottiene il punteggio complessivo combinato più alto, pari a 79,9, seguito da Opus-5 (73,0) e GPT-5.6-Sol (67,7). In definitiva, i nostri risultati mettono in luce un ostacolo cruciale: sebbene i modelli attuali riescano a interpretare istruzioni generali, incontrano ancora notevoli difficoltà nel mantenere la coerenza spaziale 3D nei dettagli e nel riprodurre accuratamente le strutture in Blender, lasciando ampi margini di miglioramento per le future capacità agentiche native per il 3D.