PhysBrain 1.5: dai modelli visivo-linguistici ai modelli fondazionali per il mondo fisico

Abstract degli autori

Presentiamo PhysBrain 1.5, un modello unificato per comprendere gli ambienti fisici, generare azioni e prevedere stati futuri. Prendendo spunto dal ciclo fisico di osservazione, interazione e cambiamento dell’ambiente, riuniamo queste capacità in un quadro di apprendimento comune. Partendo da un modello visivo-linguistico generale, codifichiamo le risposte linguistiche, il movimento dell’effettore finale e i target visivi densi come sequenze discrete e li ottimizziamo congiuntamente mediante la predizione autoregressiva del token successivo. Nel preaddestramento, la supervisione incarnata proviene interamente da video di interazioni umane: episodi incentrati sul compito associano il contesto semantico e spaziale al movimento ricostruito e alle osservazioni successive. Adattiamo poi il modello mediante fine-tuning supervisionato su una combinazione di dimostrazioni umane, traiettorie robotiche ed esperienza simulata. Su 28 benchmark di comprensione incarnata, il nostro modello 8B ottiene un punteggio medio di 72,5, stabilendo un nuovo stato dell’arte open source e raggiungendo prestazioni pari a quelle di importanti modelli proprietari come GPT-6-Astra e Gemini 3.6 Flash. Ottiene i migliori risultati open source in 14 benchmark, pur mantenendo capacità multimodali generali. Oltre a queste valutazioni della comprensione, esempi qualitativi mostrano la capacità del modello di produrre traiettorie dell’effettore finale e prevedere scene future attraverso output RGB, di profondità e di maschera del robot allineati spazialmente.