The Pulse
Runway rende disponibili i pesi del modello di controllo robotico Praxis-1
Runway ha reso disponibile Praxis-1 con licenza Apache 2.0, insieme ai pesi e al codice per adattare il modello di controllo robotico. L’azienda riporta i risultati di test simulati e su robot fisici, segnalando difficoltà con oggetti dall’aspetto simile e istruzioni articolate in più passaggi.

Runway ha pubblicato con licenza Apache 2.0 i pesi di Praxis-1, un modello di controllo robotico basato sul suo preaddestramento su video. La pubblicazione comprende anche il codice per l’inferenza e il fine-tuning destinato a ricercatori e sviluppatori, inclusi gli utenti commerciali.
Runway ha presentato Praxis-1 a settembre come il suo primo modello di azione del mondo. L’azienda afferma che i partner coinvolti al lancio, Noble Machines, Standard Bots e Ultra, lo hanno utilizzato sui propri dispositivi, tra cui un umanoide dotato di gambe, un braccio industriale e un robot da magazzino a due braccia.
Dal video al movimento
Praxis-1 è un transformer a diffusione mixture-of-experts da 27 miliardi di parametri che prevede insieme video e azioni. La sua componente video prevede come apparirà una scena nell’istante successivo, mentre un esperto separato per le azioni legge le caratteristiche del video per determinare il movimento.
A ogni chiamata, il modello riceve un’istruzione, i fotogrammi recenti della telecamera e la posa attuale del robot. Restituisce il video previsto insieme a 1,6 secondi di azioni, espresse come 24 righe di azioni a 15 Hz; il robot esegue quindi le azioni e invia i fotogrammi della telecamera per la chiamata successiva.
L’addestramento procede in quattro fasi: inizia con video generici e passa attraverso filmati di mani e robot, prima di introdurre le azioni obiettivo. Nell’ultima fase viene eseguito il fine-tuning del modello per un robot specifico, mantenendo la previsione video nell’obiettivo di addestramento.
Risultati in simulazione e su un braccio
In un benchmark simulato, Runway afferma che Praxis-1, sottoposto a fine-tuning sul dataset DROID, ha completato 555 episodi su 1200, con un tasso di successo del 46,2%. RoboLab-120 comprende 120 compiti da svolgere su un piano di lavoro per un braccio di tipo DROID, con 10 prove per compito; FLUX 3 Action ha ottenuto il 42,9% nella classifica.
L’azienda descrive Praxis-1 come il modello di azione del mondo e il modello fondativo per la robotica open source con il punteggio più alto in quella classifica al momento della pubblicazione. Il rapporto afferma che quattro partecipanti hanno ottenuto un punteggio complessivo superiore, tra cui due agenti che utilizzano direttamente modelli di frontiera anziché policy addestrate.
Runway ha testato il modello anche su un braccio fisico Franka FR3 gestito da Positronic, utilizzando i compiti pubblicati per FLUX 3 Action che prevedono l’uso di un singolo oggetto. L’azienda riferisce che Praxis-1 ha avuto successo in 88 episodi su 100, contro gli 80 di FLUX 3 Action, in 10 compiti eseguiti sulla stessa piattaforma.
In una simulazione separata del robot RT-1 di Google, Runway afferma che una versione sottoposta a fine-tuning ha raggiunto un tasso medio di successo dell’80,0% su quattro compiti, contro il 52,4% della policy originale di RT-1. La valutazione ha utilizzato la griglia di corrispondenza visiva di SimplerEnv, con 864 episodi.
Download e limiti
Il modello è disponibile su GitHub e Hugging Face, con supporto nativo per LeRobot, e in vLLM-Omni; l’inferenza ospitata è disponibile tramite Reactor. Runway pubblica tre checkpoint: le versioni sottoposte a fine-tuning su DROID e sul robot bimanuale YAM, oltre al modello base a uno stadio intermedio di addestramento.
Il rapporto tecnico afferma che l’errore più comune su un robot reale consiste nel tentare di raggiungere un oggetto che assomiglia a quello desiderato. Aggiunge che le istruzioni vaghe sono più difficili da gestire per la policy e che concatenare più passaggi a partire da un singolo prompt rimane difficile; i compiti articolati in più passaggi funzionano quando ciascuno riceve un’istruzione specifica.
Fonti
Notizie correlate
- Runway inizia a concedere alle imprese licenze per i pesi dei suoi modelli chiusi
- Procon schiera un robot dotato di telecamera al terminal di Port Canaveral
- Agile Robots raccoglie 500 milioni di dollari con una valutazione di 8,5 miliardi di dollari
- Robust AI mette al lavoro i robot Carter collaborativi accanto al personale
- L’utile di Tesla cala del 43% nel terzo trimestre mentre si espandono i progetti di IA