The Pulse
Dream Labs raccoglie 90 milioni di dollari e apre l’API robotica di Dream-1
Dream Labs afferma che Dream-1 è disponibile tramite un’API pubblica e può controllare robot bimanuali mai incontrati prima, dotati di pinze parallele. L’azienda mostra anche esempi di fine-tuning su robot con mani dotate di destrezza e alt
AI.info Team · Scritto con l’IA · verificato ·
«Oggi Dream-1 è una policy di manipolazione per robot bimanuali con pinze parallele. È un punto di partenza.»
scrivono gli autori del post di ricerca di Dream Labs
Dream Labs afferma di uscire dalla fase di riservatezza con 90 milioni di dollari di finanziamenti seed e di rendere Dream-1 accessibile tramite un’API pubblica. L’azienda di San Francisco presenta il modello come un livello di controllo condiviso per robot di produttori diversi, anziché come un software legato a una sola macchina. La sua descrizione, però, delimita più strettamente il prodotto al lancio: Dream-1 può controllare robot bimanuali mai incontrati prima, dotati di pinze parallele.
Dream-1 trasforma le immagini delle telecamere in azioni robotiche
L’azienda definisce Dream-1 un World Action Model, o WAM. Afferma che il modello impara a prevedere insieme video e azioni, poi usa le immagini delle telecamere di un robot e un’istruzione in linguaggio naturale per produrre azioni. L’approccio mira a consentire al modello di applicare ciò che ha imparato a robot e compiti mai incontrati prima, senza dover prima raccogliere dimostrazioni da ogni nuova macchina.
Dream Labs afferma che Dream-1 può prevedere le pose degli organi terminali: dove dovrebbe trovarsi ciascuna pinza e se dovrebbe essere aperta o chiusa. Il risolutore di cinematica inversa del robot converte queste pose in comandi per le articolazioni. Questo spazio d’azione condiviso consente al modello di controllare robot con due bracci e pinze parallele, mentre le sue prestazioni dipendono in parte dal risolutore di ciascun robot. L’azienda afferma che i robot il cui spazio di lavoro, o la cui cinematica e dinamica, differiscono nettamente da quelli già incontrati da Dream-1 possono portare a previsioni di stati futuri irrealizzabili. Precisa inoltre che il modello prevede dove arriverà una pinza, non come si muoverà il braccio per raggiungere quella posa.
L’azienda riferisce test su 27 robot simulati
Dream Labs afferma di aver testato Dream-1 in simulazione su 27 robot su cui non era stato addestrato e di aver pubblicato 21 filmati di robot bimanuali reali. Gli esempi comprendono compiti di manipolazione come spostare oggetti, chiudere cassetti e piegare tessuti. L’azienda indica anche test beta in 12 sedi, precisando che le prestazioni variano da un robot all’altro.
Questi risultati provengono dal materiale di lancio dell’azienda, non da un’ampia replica indipendente. Dream Labs descrive il lancio come un primo segnale di trasferimento zero-shot tra configurazioni robotiche, non come la soluzione del problema del controllo generalista. Afferma che l’adattamento one-shot, che aggiunge dati di un determinato robot, offre comunque risultati migliori rispetto all’uso del modello senza dati specifici per quel robot.
Un’API pubblica costa 3 dollari all’ora
Dream-1 è disponibile tramite l’API pubblica di Dream Labs a 3 dollari all’ora; una versione più leggera, Dream-1-flash, costa 2 dollari all’ora, secondo l’azienda. Ogni chiamata al modello restituisce 1,6 secondi di azioni, che Dream Labs fa corrispondere a circa 2.250 chiamate all’ora. L’azienda afferma che il servizio è disponibile per costruttori e sviluppatori di robot.
Dream Labs offre anche il fine-tuning per i casi in cui le prestazioni zero-shot non sono sufficienti. Negli esempi sul suo sito, usa cinque minuti di dati raccolti dal robot stesso per adattare il modello. Per i robot più distanti da quelli presenti nei dati di addestramento, la pagina mostra un robot Dexmate con mani Sharpa dotate di destrezza dopo 77 minuti di dati, e un robot YAM dotato di una pinza cedevole e di una pinza a coltello modificata dopo 98 minuti. Questi esempi mostrano capacità ottenute tramite fine-tuning, distinte dall’ambito zero-shot dichiarato per il modello: robot bimanuali con pinze parallele.
I limiti fanno parte di quanto dichiarato al lancio
Dream-1 non è ancora un sistema di controllo generale per ogni tipo di robot: l’azienda descrive il modello attuale come una policy di manipolazione per robot bimanuali con pinze parallele. La pagina di lancio mostra anche il fine-tuning di Dream-1 per controllare Dexmate con mani Sharpa dotate di destrezza dopo 77 minuti di dati specifici per quel robot. L’azienda presenta le mani dotate di destrezza e i manipolatori mobili come possibili estensioni di un più ampio modello di base per la robotica, distinguendoli però dalle attuali capacità zero-shot del prodotto.
Il finanziamento da 90 milioni di dollari sostiene un primo prodotto concreto, ma anche i suoi confini attuali sono concreti: due bracci, pinze parallele, un’API che trasforma immagini delle telecamere in azioni e prestazioni variabili a seconda dell’hardware. La prova decisiva per Dream Labs sarà verificare se questo punto di partenza possa evitare ai produttori di robot di sviluppare un sistema di controllo separato per ogni macchina e compito. Per ora, i suoi esempi mostrano che l’adattamento può migliorare le prestazioni e che la quantità di dati specifici per ciascun robot varia tra le diverse configurazioni.