EditHero: un benchmark per l’editing 3D delle singole parti su lunghe sequenze e la modellazione a sensazione

Abstract degli autori

I metodi di editing 3D vengono di solito testati su una singola modifica, ma un asset si costruisce attraverso una lunga sequenza di revisioni, ciascuna delle quali deve apportare il cambiamento richiesto lasciando invariato tutto il resto. Presentiamo EditHero, a nostra conoscenza il primo benchmark per l’editing 3D delle singole parti su lunghe sequenze, con istruzioni in linguaggio naturale e immagini obiettivo sia per la geometria sia per le texture. Un motore di assemblaggio deterministico produce il risultato esatto previsto dopo ogni modifica, e ogni sequenza viene esaminata manualmente. Usiamo EditHero per confrontare 2 approcci opposti all’editing 3D. I metodi non agentici procedono dall’alto verso il basso: rigenerano l’oggetto a partire da una rappresentazione 3D appresa e deducono che cosa conservare. Gli agenti LLM/VLM, invece, procedono dal basso verso l’alto: modificano l’oggetto tramite codice che esamina la mesh e riscrive solo le parti richieste dalle istruzioni. I metodi non agentici spesso non apportano il cambiamento richiesto e alterano regioni che dovrebbero rimanere invariate. La maggior parte degli LLM segue le istruzioni più fedelmente e tutti preservano meglio le parti non modificate, ma ciascuna delle loro modifiche richiede minuti. Renderemo disponibili il motore e le sequenze di modifiche per sostenere la ricerca su un editing 3D iterativo affidabile.