The Pulse
Un preprint riporta un tasso di successo del 91% per HALO in 360 prove su un umanoide
Un preprint descrive HALO, un sistema di autonomia per umanoidi addestrato su dati simulati che combinano visione, linguaggio e movimento e testato in sei ambienti domestici reali. Gli autori riportano un tasso di successo del 91% in 360 pr
AI.info Team · Scritto con l’IA · verificato ·
HALO ha ottenuto un tasso di successo del 91% in 360 prove condotte in sei ambienti reali non mappati, secondo un preprint dei suoi autori. Gli autori riferiscono che il sistema di autonomia per umanoidi si è trasferito zero-shot al mondo fisico, pur non avendo mai visto una casa reale durante l’addestramento.
La scarsità di dati ostacola l’autonomia degli umanoidi
Il preprint individua nella scarsità di dati associati tra loro un limite alla costruzione di sistemi umanoidi generalisti. Questi sistemi devono tradurre immagini e linguaggio libero in comandi di basso livello per le articolazioni, un’operazione che richiede esempi che colleghino gli input visivi e le istruzioni ai movimenti che le eseguono. «Tradurre pixel e linguaggio libero in comandi per le articolazioni richiede però una supervisione basata su dati associati: un’immagine in prima persona, un’istruzione e la precisa traiettoria dell’intero corpo che la soddisfa», scrivono gli autori.
Gli autori contrappongono il loro approccio ai metodi che utilizzano la teleoperazione umana o dispositivi di acquisizione indossabili. Produrre un’ora di dati con questi metodi può richiedere almeno un’ora di lavoro umano, scrivono. HALO utilizza invece una pipeline di simulazione per generare dati che combinano visione, linguaggio e movimento: il volume dei dati dipende dalle risorse di calcolo, anziché da persone che eseguono fisicamente ciascun episodio.
Addestramento in case simulate
Il corpus di addestramento contiene 300 ore di episodi ambientati in mille case generate proceduralmente. Per ogni episodio, un modello di diffusione del movimento genera il movimento dell’intero corpo, un generatore procedurale fornisce un ambiente e un simulatore colloca il movimento in quell’ambiente per riprodurre gli input sensoriali del robot. Gli autori affermano che non è necessario visitare o scansionare le case per creare i dati e che verificatori automatici aiutano a mantenere la qualità dei dati.
Il sistema è progettato per funzionare a bordo del robot fisico. La sua architettura di autonomia ha tre livelli. Un orchestratore utilizza un modello visione-linguaggio già disponibile, richiamato ogni due secondi, per trasformare una richiesta formulata liberamente in sottocompiti che identificano una capacità e l’oggetto a cui si applica. Un generatore di movimento opera a 3 hertz e combina un encoder basato su un modello visione-linguaggio con un decoder diffusion-transformer. A partire da un’immagine RGB in prima persona e da un sottocompito, produce un piano di movimento dell’intero corpo della durata di cinque secondi, composto da angoli delle articolazioni e pose del bacino.
Un sistema di tracciamento del movimento opera a 50 hertz. Utilizza il piano di movimento insieme alle informazioni sulla profondità e ai dati propriocettivi del robot per eseguire il movimento attraverso comandi agli attuatori a livello delle articolazioni. Il preprint afferma che il sistema di tracciamento viene addestrato tramite apprendimento per rinforzo su larga scala a seguire i piani di movimento rispettando i limiti di equilibrio, contatto e degli attuatori.
Capacità e prove nel mondo reale
Tra le capacità attribuite a HALO figurano sedersi sulle sedie, raggiungere oggetti indicati per nome, passare lateralmente attraverso porte socchiuse, accucciarsi e strisciare sotto i tavoli e spingere scatole. Secondo gli autori, il sistema può combinare queste capacità in sequenze più lunghe in risposta a richieste formulate in linguaggio naturale.
Per la valutazione fisica, gli autori hanno impiegato HALO in sei ambienti domestici reali che non erano stati visti durante l’addestramento e non erano stati scansionati o mappati. Riportano un tasso di successo del 91% in 360 prove. Il preprint descrive il risultato come un trasferimento diretto dalla simulazione ad ambienti fisici mai visti prima, senza una scansione preparatoria dell’ambiente di destinazione.
Dettagli del preprint
«Perceptive Humanoid Motion from Simulation» è stato sottoposto ad arXiv il 4 novembre 2026 ed è classificato come preprint di robotica. Gli autori sono Siyuan Hu, Abulikemu Abuduweili, Yue Meng, Shipeng Liu, Quentin Leboutet, Chen Chen, Matthias Müller e Vladlen Koltun.