ACE-Brain-0.6: Ampliare il grounding spaziale per i modelli fondazionali del mondo fisico

Abstract degli autori

I modelli multimodali generalisti, tra cui GPT-6 Astra e Claude Opus 5.5, mostrano ampie capacità di manipolazione nel mondo fisico. La nostra analisi indica che questa versatilità si accompagna a una solida percezione spaziale: Astra riesce a individuare dove interagire con le entità pertinenti al compito anche in presenza di elementi visivi di disturbo. Poiché la percezione spaziale collega il ragionamento di alto livello alla scena fisica, studiamo come ampliare il grounding visivo per rafforzare la base percettiva delle operazioni generali nel mondo fisico. Abbiamo sviluppato una pipeline unificata per i dati che combina registrazioni di manipolazione robotica con dati visivi complementari provenienti da fonti diverse. Dopo aver annotato automaticamente le registrazioni dei robot, la pipeline trasforma i dati raccolti in segnali di supervisione verificabili per il grounding. Il fine-tuning di Qwen3.5-9B su circa 1,5 milioni di campioni prodotti da questa pipeline dà origine a ACE-Brain-0.6. Il modello supera GPT-6 Astra in quattro dei sette benchmark pubblici di grounding, con un punteggio medio complessivo di 75,41 contro 73,68 di Astra. Mantenendo fissa la configurazione di fine-tuning di Qwen3.5-9B, le prestazioni aggregate nel grounding migliorano costantemente man mano che le successive pubblicazioni di dati ampliano la raccolta per l’addestramento, fino a coprire una gamma più vasta di scenari di grounding. Questi risultati mostrano che ampliare la supervisione verificabile per il grounding attingendo a fonti diverse può rafforzare la percezione spaziale di un modello aperto 9B per operazioni generali nel mondo fisico.