Gli octree come linguaggio 3D esplicito

Abstract degli autori

Gli attuali modelli linguistici di grandi dimensioni 3D (LLM) accettano due compromessi: comprimono le forme in indici di un codebook latente o in testo che rappresenta coordinate, eliminando così la struttura spaziale da ciò che il modello osserva; inoltre, acquisiscono la modalità 3D tramite il fine-tuning del modello di base, compromettendone le capacità linguistiche generali. Presentiamo OctLLM, che supera entrambi i limiti. La geometria viene rappresentata come una sequenza 3D esplicita di token di occupazione di un octree. Le sequenze complete di un octree, però, crescono rapidamente con la profondità: OctLLM svuota quindi in modo casuale i nodi del penultimo livello e ne omette i discendenti, preservando la forma. Si ottiene così uno Sparse Octree (S-Octree) più breve, ancorato a coordinate e profondità, per la generazione mediante modellazione con maschere sensibile alla posizione e per la comprensione 3D. Sul secondo fronte, i metodi esistenti introducono una nuova modalità tramite fine-tuning completo o LoRA. Il fine-tuning completo, però, è costoso, LoRA limita la capacità 3D ed entrambi modificano il percorso linguistico. OctLLM aggiunge invece capacità 3D attraverso parametri separati da quelli preaddestrati: i token delle mesh vengono instradati attraverso rami addestrabili indipendenti in un sottoinsieme di blocchi, mentre i token di testo e immagini continuano a seguire il percorso visivo-linguistico congelato. I due flussi interagiscono attraverso un meccanismo di self-attention condiviso. OctLLM addestra molti meno parametri rispetto al fine-tuning completo, ma stabilisce un nuovo stato dell’arte tra gli LLM multimodali unificati: rispetto a ShapeLLM-Omni, riduce la FID da immagine a 3D del $17.4\%$ e aumenta di $28.7$ punti il punteggio nella generazione di didascalie basate sui rendering, eguagliando al contempo il modello di base nei benchmark linguistici generali.