LLM2R: dai modelli linguistici di grandi dimensioni ai sistemi di riassemblaggio 3D

Abstract degli autori

L’assemblaggio di parti 3D mira a ricostruire una forma completa a partire da un insieme di parti non assemblate, prevedendo per ciascuna una trasformazione rigida SE(3). Poiché la posizione di una parte è raramente determinata dalla sua sola geometria, il compito richiede di ragionare sull’intero insieme. I metodi esistenti, basati su relazioni tra coppie di parti o su cicli iterativi di generazione e verifica, si adattano male agli oggetti composti da molte parti. Presentiamo LLM2R, che tratta l’assemblaggio come un problema di modellazione di sequenze mediante un modello linguistico di grandi dimensioni (LLM) preaddestrato di tipo decoder-only: un encoder Point-BERT e un Q-Former comprimono ciascuna parte in un blocco di token geometrici; i blocchi di tutte le parti vengono concatenati e un LLM causale adattato con Low-Rank Adaptation (LoRA) elabora la sequenza in un’unica passata in avanti. L’attenzione causale, però, consente agli stati nascosti di una parte di osservare soltanto le parti che la precedono. LLM2R aggiunge quindi, dopo l’ultima parte, un blocco di token di sintesi apprendibili: poiché seguono tutte le parti, i loro stati aggregano informazioni sull’intero assemblaggio a un costo costante in token. Prima di prevedere rotazione e traslazione, un modulo di previsione della posa che tiene conto di ciascuna parte combina gli stati di quella parte con quelli dei token di sintesi. Un’unica architettura gestisce così l’assemblaggio semantico e geometrico e prevede tutte le pose in una sola passata non autoregressiva. LLM2R ottiene la più alta accuratezza delle parti e il più alto tasso di successo in tutte e tre le categorie di PartNet; su PartNeXt, i più bassi errori di rotazione e traslazione e la più alta accuratezza delle parti; su Breaking Bad, il più basso errore di traslazione e l’inferenza più rapida, mentre soltanto un metodo specializzato nelle fratture è più accurato. Il suo vantaggio cresce con il numero di parti: con 100 parti supera GARF di 33,5 punti nell’accuratezza delle parti su Breaking Bad e Assembler di 29,1 punti su PartNet. Si applica inoltre senza addestramento aggiuntivo a categorie mai viste, con un’accuratezza delle parti superiore di oltre 16 punti a quella della migliore fra tre baseline.