Scene-Designer: apprendere l’intelligenza progettuale per la generazione di scene 3D basata su agenti

Abstract degli autori

Generare a partire dal linguaggio naturale scene 3D di interni complete, coerenti e utilizzabili richiede una solida \textbf{intelligenza progettuale}: la capacità di progettare scene di alta qualità e valutarne criticamente la qualità. Tuttavia, gli approcci esistenti si affidano a modelli di uso generale privi di esperienza specifica nella progettazione, oppure apprendono da scene statiche. In questo lavoro presentiamo \textbf{Scene-Designer}, un framework basato su agenti che apprende l’intelligenza progettuale attraverso esperienze complementari di progettazione e valutazione critica. Costruiamo due dataset: \textbf{Scene-OTA-35K}, che fornisce una supervisione Observation--Thought--Action per apprendere a progettare scene e a correggere gli errori in modo efficiente, e \textbf{Scene-OTC-15K}, che fornisce una supervisione Observation--Thought--Critic per apprendere a valutare criticamente la qualità delle scene in termini di validità fisica, correttezza funzionale e coerenza della disposizione. Sulla base di queste esperienze, proponiamo \textbf{Scene-GRPO}, un framework GRPO guidato dal Critic che migliora le decisioni progettuali e riduce le correzioni non necessarie per tentativi ed errori. Numerosi esperimenti dimostrano che Scene-Designer ottiene risultati superiori in termini di validità fisica, correttezza funzionale e coerenza della disposizione, mentre Scene-Critic, una volta addestrato, supera nettamente i modelli di uso generale nella valutazione critica delle scene. Inoltre, la guida del Critic durante la fase di test migliora ulteriormente la generazione delle scene, mostrando che il Critic può fornire indicazioni utili anche oltre l’addestramento. Ulteriori analisi suggeriscono una tendenza al miglioramento reciproco delle capacità di progettazione e di valutazione critica delle scene.