The Pulse
InstructMesh del MIT permette agli utenti di riparare modelli 3D generati dall’IA
I ricercatori del MIT presentano InstructMesh, uno strumento per modificare i modelli 3D generati dall’IA prima della fabbricazione. Nei test, persone senza esperienza hanno individuato e riparato difetti in progetti di Thingiverse ricreati
AI.info Team · Scritto con l’IA ·
«Poiché la manipolazione avviene nello spazio latente del modello generativo, InstructMesh consente di descrivere i problemi in linguaggio naturale e produce modifiche interpretabili alla geometria, che l’utente può valutare e approvare»
Faraz Faruqi, autore principale dell’articolo scientifico sul progetto
Da una forma plausibile a un oggetto stampabile
Il 1° ottobre 2026, i ricercatori del MIT hanno presentato InstructMesh come strumento per riparare i modelli 3D generati dall’IA prima di fabbricarli. Lo strumento permette agli utenti di selezionare una parte di un progetto e perfezionarla con istruzioni scritte o cursori, senza dover intervenire direttamente in un software di modellazione specialistico.
Il problema è pratico: un oggetto generato può sembrare corretto sullo schermo ma non svolgere la funzione prevista. Il MIT porta l’esempio di una tazza la cui forma non le permetterebbe di contenere il caffè. InstructMesh è progettato per aiutare gli utenti a individuare e correggere difetti di questo tipo, legati alla fabbricazione, lasciando loro il controllo sulle modifiche da accettare.
TRELLIS genera; GPT-4 aiuta a orientare le modifiche
Il sistema combina TRELLIS di Microsoft, che genera modelli 3D da prompt testuali e immagini, con GPT-4. Secondo i ricercatori, anziché modificare soltanto la mesh finale, InstructMesh lavora sulla rappresentazione intermedia del generatore. L’articolo scientifico descrive operazioni mirate, tra cui l’apertura o la chiusura di cavità e la modifica dello spessore locale.
Questa impostazione offre due modi per perfezionare un’area selezionata: descrivere il problema in linguaggio naturale oppure regolare un cursore. Il MIT riferisce che gli utenti hanno usato i cursori per modifiche più precise, come ingrandire o allungare una parte del modello, mentre i prompt hanno permesso loro di esprimere idee più generali.
Quasi quattro modelli su cinque sottoposti al test presentavano difetti
Per verificare se chi non aveva esperienza potesse usare lo strumento, il gruppo ha fatto ricreare a TRELLIS progetti popolari di Thingiverse per la stampa 3D. Secondo il resoconto del MIT, quasi l’80% dei modelli generati presentava difetti strutturali. Il risultato riguarda questo insieme di progetti ricreati, non i modelli 3D generati dall’IA in generale.
Persone senza esperienza hanno poi individuato e riparato i problemi circa il 90% delle volte, con un esperto che ha esaminato il loro lavoro. Il test suggerisce che, in questo compito, utenti privi di esperienza nella modellazione potrebbero apportare correzioni utili; non dimostra che InstructMesh verifichi automaticamente ogni progetto o garantisca la riuscita della stampa.
Tazze, ginocchiere e un robot a forma di gamberetto
I ricercatori hanno usato il sistema per creare oggetti tra cui una tazza a tema drago, un fischietto simile a una conchiglia e occhiali con dettagli a forma di ali di farfalla. Hanno realizzato anche una ginocchiera progettata per assomigliare al denim e un piccolo «robot a setole» la cui scocca, simile a un gamberetto, nasconde un motore.
Il MIT afferma che gli utenti hanno creato anche oggetti come supporti per telefoni e vasi, e che gli oggetti ottenuti hanno funzionato come previsto. Il gruppo indica le simulazioni fisiche e i suggerimenti sui materiali come possibili aggiunte future, non come funzionalità attuali di InstructMesh. Il progetto è stato sviluppato da ricercatori del MIT, di Google e della Northeastern University, che prevedono di presentarlo all’ACM Symposium on User Interface Software and Technology nel novembre 2026.