The Pulse
DEEP Robotics presenta cinque progressi nella ricerca sull’IA per i robot
DEEP Robotics ha presentato cinque progressi nella ricerca per la sua architettura DEEPRobotics-Brain, che riguardano modelli del mondo per i robot, navigazione, manipolazione, ottimizzazione delle policy, memoria e valutazione. Il suo benc
AI.info Team · Scritto con l’IA · verificato ·
Il nuovo programma di ricerca di DEEP Robotics si fonda su 833,6 ore di attività robotica nel mondo reale, durante le quali il suo robot con ruote e zampe LYNX M20 ha percorso 3.294,7 chilometri. Il 24 ottobre l’azienda ha annunciato cinque progressi nella ricerca, presentandoli come parti di DEEPRobotics-Brain, un’architettura per robot che operano in ambienti mutevoli. I lavori riguardano la previsione fisica, la navigazione e la manipolazione, l’ottimizzazione delle policy, la memoria spaziale e la valutazione.
L’annuncio descrive un insieme di ricerche, non un singolo prodotto robotico finito. Le cinque aree indicate sono il modello del mondo DR-WM-1.0, il modello fondazionale per robot DR-VLA-2.0, il framework di ottimizzazione delle policy DR-APO, l’agente robotico DR-Agent e la piattaforma di dati e valutazione DR-Benchmark. Agli studi partecipano ricercatori del MIT, della UC San Diego, della UIUC, della Tsinghua University, della Zhejiang University, della Hong Kong University of Science and Technology e del Beijing Institute of Technology.
LynxScenes documenta miglia percorse da un robot
DR-Benchmark è incentrato su LynxScenes, un dataset di attività all’aperto raccolto con il LYNX M20. Secondo DEEP Robotics, la raccolta contiene circa 100.000 clip di navigazione e 3 milioni di frame annotati, con etichette per oggetti, strutture stradali, istruzioni di navigazione e dimostrazioni di esperti. Le sue 27 categorie di oggetti, quattro categorie di strutture stradali e 20 istruzioni di navigazione offrono ai ricercatori un dataset condiviso per confrontare diversi tipi di percezione e pianificazione robotica.
Il benchmark valuta la previsione di traiettorie basata su istruzioni, la percezione con visuale dall’alto, la previsione di scene future e la ricostruzione di scene da più punti di vista. L’azienda afferma di aver testato 25 modelli rappresentativi sul dataset. La scala è notevole, ma riguarda le attività registrate e i frame annotati, non l’affidabilità con cui un robot impiegato sul campo lavora per settimane senza supervisione.
DR-WM prevede gli effetti del terreno su un robot
DR-WM-1.0 punta a far sì che le previsioni del robot su ciò che accadrà tengano conto del terreno sotto di lui. Lo studio combina la geometria ricostruita della scena con stime delle proprietà del terreno, come attrito, irregolarità e rigidità, calibrate sui dati relativi alle azioni e alle risposte di robot reali. L’azienda afferma che l’addestramento si basa su 2,58 milioni di coppie immagine-maschera e oltre 100.000 clip di robot.
«Presentiamo DR-WM, un modello del mondo fisicamente coerente che incorpora le dinamiche di contatto tra robot e terreno per prevedere le conseguenze delle azioni di un quadrupede».
Ruo Chen et al., «From Pixels to Executable Physics»
Secondo l’articolo, in 90 scenari impegnativi un modello visivo-linguistico con 8 miliardi di parametri, integrato con DR-WM, ha superato un modello senza tale supporto da 32 miliardi di parametri in cinque delle sei metriche di valutazione. Il risultato riguarda i test dello studio, non dimostra in generale che i modelli più piccoli superino quelli più grandi nelle attività robotiche. DEEP Robotics presenta il metodo come un modo per consentire a un robot di confrontare le possibili azioni, per esempio percorsi su superfici diverse, prima di muoversi.
I video umani guidano la navigazione; i comandi di movimento orientano i bracci
DR-VLA-2.0 affronta un diverso problema legato ai dati: raccogliere dimostrazioni eseguite da robot è costoso, mentre i video umani in prima persona offrono numerosi esempi di come evitare ostacoli, dare la precedenza e scegliere un percorso. La raccolta EgoLynx abbina 10.000 ore di video egocentrici selezionati dal web a 2.000 clip di navigazione di robot teleoperati. Il modello apprende a comprendere le scene dai video umani, poi usa le dimostrazioni dei robot per produrre traiettorie eseguibili.
Su una porzione di test tenuta separata, lo studio riporta un miglioramento di circa il 5% del Quadruped Navigation Score e una riduzione del 14,6% dell’errore nell’orientamento finale, in ciascun caso rispetto al miglior risultato concorrente per quella metrica. Il punteggio combina sicurezza, rispetto delle istruzioni, comfort e avanzamento; non è un tasso riferito all’impiego sul campo a lungo termine. Uno studio separato sulla manipolazione introduce Atomic Motion Coordinate, che assegna a ciascun braccio 13 comandi con segno di traslazione, rotazione e mantenimento, concepiti per permettere alle istruzioni linguistiche di guidare il movimento e al feedback di forza di correggerlo durante il contatto.
DR-Agent aggiorna la memoria quando i luoghi cambiano
DR-Agent affronta il problema di un robot che arriva in un luogo dopo che un oggetto è stato spostato fuori dal suo campo visivo. Il suo metodo EvolvingNav costruisce una stima indicizzata nel tempo a partire dalle posizioni passate degli oggetti, poi aggiorna tale stima con il passare del tempo e con le nuove informazioni visive raccolte dal robot. Secondo l’azienda, il benchmark associato EvoWorld-Bench contiene 54 scene simulate, 803.680 istanze di attività e circa 239.000 cambiamenti di stato degli oggetti.
La ricerca riporta miglioramenti rispetto ai metodi di riferimento valutati nel successo della navigazione e nell’efficienza della ricerca, con vantaggi più evidenti quando l’ambiente segue schemi temporali che possono essere appresi. È una precisazione importante: una memoria capace di prevedere una sequenza ricorrente può essere utile in modi che non si estendono ai cambiamenti imprevedibili. Il metodo è pensato per attività continuative, come cercare oggetti o rivedere un percorso di ispezione dopo che uno spazio è cambiato.
Cinque progressi, ma nessun risultato sull’impiego del sistema completo
DEEP Robotics collega le cinque aree in un percorso che va dalla previsione e dall’esecuzione delle istruzioni all’apprendimento, alla memoria e alla valutazione. L’azienda afferma che la ricerca è stata valutata attraverso simulazioni, esperimenti con robot reali e benchmark condivisi; l’annuncio rimanda inoltre a preprint di ricerca. I test riguardano metodi e attività distinti, perciò l’annuncio non dimostra che un unico sistema integrato riunisca tutte e cinque le capacità nell’uso ordinario.
Il comunicato non indica una data di commercializzazione né dati sui tempi di funzionamento a livello di flotta. Riporta invece esperimenti condotti per i singoli articoli e le dimensioni del dataset. L’annuncio non chiarisce come i componenti funzionino insieme su un unico robot durante turni prolungati e in condizioni mutevoli.