The Pulse

HomeBody di Stanford fa dirigere a GPT Astra un umanoide in cucina

Un team di Stanford e Caltech presenta HomeBody, un sistema che permette a GPT Astra di dirigere un umanoide Unitree G1 richiamando abilità motorie riutilizzabili. Il robot esplora una cucina, ne costruisce un gemello digitale e una memoria

AI.info Team · Scritto con l’IA · verificato · 2026-09-26

I ricercatori del Movement Lab di Stanford University e di Caltech hanno sviluppato HomeBody, un sistema che consente a un modello visivo-linguistico di frontiera di dirigere un umanoide nei compiti domestici scegliendo da una libreria di abilità motorie riutilizzabili. Il progetto abbina GPT Astra di OpenAI, che opera da remoto, a un robot Unitree G1 il cui software locale gestisce la navigazione, la presa, il posizionamento degli oggetti e l’apertura dei cassetti. Il modello decide cosa fare e dove; le abilità pianificano ed eseguono i movimenti fisici.

Una libreria di abilità al posto di un modello di azione appreso

Un’architettura comune per l’autonomia degli umanoidi prevede tre livelli in sequenza: un modello visivo-linguistico interpreta la scena e l’istruzione, un modello visione-linguaggio-azione appreso le trasforma in comandi e un sistema di controllo dell’intero corpo li esegue. Gio Huh, studente universitario al Caltech e borsista di ricerca presso il Movement Lab, è il primo autore e ha lavorato con Cayden Gu e Takara E. Truong sotto la supervisione di C. Karen Liu e Guy Tevet. Il team mette in discussione il livello intermedio. Sulla pagina del progetto scrive:

«Man mano che i modelli visivo-linguistici di frontiera come Astra diventano più capaci, ci chiediamo se serva ancora un modello visione-linguaggio-azione appreso tra il ragionamento di alto livello e le abilità del robot.»

Gio Huh, Cayden Gu, Takara E. Truong, C. Karen Liu e Guy Tevet, Caltech e Stanford University

La risposta di HomeBody è collegare direttamente il modello di alto livello alle abilità, che condividono un’unica interfaccia per i bersagli e i risultati dell’esecuzione. Il modello comunica la propria scelta tramite una chiamata strutturata a uno strumento e non genera mai direttamente comandi di movimento di basso livello. Attraverso la stessa interfaccia si possono aggiungere nuove abilità, basate su una policy appresa o su un algoritmo classico.

Due compiti in cucina, senza addestramento specifico per la cucina

Il team mostra il sistema mentre pulisce una cucina, raccogliendo sacchetti di caffè su un’isola e gettando cartoni di latte e di succo d’arancia andati a male. In un secondo compito, al G1 viene chiesto di prendere una medicina che non può vedere: usa fotogrammi chiave memorizzati per trovare il cassetto, lo apre con la mano destra, prende la medicina e la porge, poi getta un cartone andato a male con la sinistra. I ricercatori affermano che HomeBody ha svolto questi compiti in una cucina mai vista prima, senza dati di addestramento specifici per quell’ambiente né ulteriore apprendimento di una policy.

L’esplorazione dà a HomeBody una mappa da ricordare

Prima di ricevere un compito, il robot esplora la stanza. Raccoglie video ripresi con iPhone, osservazioni da una telecamera di profondità, scansioni LiDAR con SLAM, pose delle articolazioni e punti di passaggio scelti dal modello. GPT Astra agisce quindi come agente «Real2Sim», usando questi dati per costruire un gemello digitale della stanza in NVIDIA Isaac Sim. Il robot determina la propria posizione con Super Odometry e le osservazioni della telecamera vengono memorizzate nel sistema di riferimento della mappa condivisa, così il modello può ricordare dove si trovava un oggetto dopo che è uscito dal campo visivo.

A ogni passo, il modello sceglie un’abilità e un bersaglio in base alla vista attuale della telecamera, al contesto della mappa, allo stato della pinza, alle osservazioni richiamate dalla memoria e al risultato dell’abilità precedente. Il tracciamento visivo corregge la posizione di un bersaglio che si sposta mentre il robot si avvicina, e l’abilità di prelievo può effettuare un numero limitato di nuovi tentativi se la presa si chiude a vuoto. Esauriti i tentativi di recupero, l’abilità comunica il motivo al modello, che può riposizionarsi, scegliere un nuovo bersaglio o cambiare piano.

Un laptop, una connessione di rete e limiti fisici

HomeBody esegue la percezione, la pianificazione dei movimenti e le proprie abilità su un unico laptop Razer Blade con una GPU RTX 4090, mentre GPT Astra opera da remoto e invia le richieste di esecuzione delle abilità attraverso la rete. I comandi per braccia e mani vengono eseguiti a 250 hertz, mentre la policy AMO di controllo dell’intero corpo, che mantiene il robot in equilibrio mentre allunga le braccia, si aggiorna a 50 hertz.

La pagina del progetto elenca i limiti: ricostruire una stanza aumenta i tempi di preparazione e i costi delle API, la latenza del ragionamento di GPT Astra crea pause tra le abilità e la portata, la capacità di manipolazione e la resistenza del robot limitano la durata dei compiti, anche a causa del surriscaldamento dei servomotori delle dita durante il funzionamento prolungato. Il repository GitHub del team indica che il codice arriverà presto e la pagina promette altri compiti.