The Pulse
PokeBot apre RoboAPI per testare il suo modello robotico Poke-Aurora
PokeBot ha reso disponibile RoboAPI, un’API che collega bracci robotici compatibili al suo modello world-action Poke-Aurora, in anteprima tecnica gratuita per uso non commerciale. L’azienda riferisce un tasso di successo del 74,2% nella pro
AI.info Team · Scritto con l’IA · verificato ·
«Dobbiamo anche rendere più facile per gli sviluppatori mettere alla prova l’IA embodied nel mondo reale»,
Huazhe Xu, fondatore di PokeBot e professore assistente presso l’Institute for Interdisciplinary Information Sciences della Tsinghua University
PokeBot apre l’accesso a Poke-Aurora
Il 30 ottobre PokeBot ha reso disponibile RoboAPI, offrendo agli sviluppatori un modo per collegare bracci robotici compatibili a Poke-Aurora, il modello world-action dell’azienda. L’API riceve le osservazioni e lo stato di un robot insieme a un’istruzione dell’utente, quindi prevede una sequenza di azioni che la macchina dovrà eseguire. Secondo l’azienda, gli sviluppatori possono provare il servizio senza raccogliere dati specifici per ciascun compito né addestrare ogni volta un nuovo modello.
Il lancio segue l’annuncio di PokeBot del 29 ottobre. RoboAPI è in fase di anteprima tecnica ed è offerta gratuitamente per uso non commerciale; l’azienda afferma di non fornire prodotti o servizi a terzi a scopo di lucro. Le registrazioni sono state aperte il 30 ottobre sulla piattaforma di PokeBot.
Una telecamera al polso è centrale nella configurazione
Poke-Aurora combina le previsioni sulle future osservazioni visive con quelle sulle azioni del robot. PokeBot afferma di aver aggiunto un metodo chiamato Modulated Residual Coupling per favorire lo scambio di informazioni tra le componenti del modello dedicate alla previsione dei video e delle azioni. Secondo l’azienda, maggiori dettagli tecnici saranno pubblicati in un rapporto tecnico.
Per il controllo del robot, PokeBot ha allineato il modello attorno a una telecamera fisheye montata sul polso e al controllo della posa dell’effettore finale. L’azienda afferma che questa configurazione è stata trasferita da un braccio UR7e a una configurazione YAM Standard e che, nei suoi test, il passaggio tra due marche di telecamere non ha avuto quasi alcun effetto sulle prestazioni. Precisa che l’approccio dipende comunque dalla presenza sul braccio di un risolutore di cinematica inversa sufficientemente capace.
Il risultato del 74,2% proviene da un test di PokeBot
PokeBot ha valutato Poke-Aurora su quasi 1.000 oggetti manipolabili distinti e quasi 10.000 istruzioni, raggruppate nelle categorie di trasferimento e organizzazione degli oggetti, allineamento di pose e forme e interazione con l’ambiente. L’azienda riferisce un tasso complessivo di successo nei compiti del 74,2%, nel confronto con GPT-6 Astra, π0.5 e MolmoAct2. I dati provengono da un benchmark creato da PokeBot; l’azienda osserva che le configurazioni dei robot e le definizioni dei compiti complicano i confronti tra modelli.
I risultati variavano a seconda del compito. Poke-Aurora ha ottenuto l’86,0% nel trasferimento e nell’organizzazione, il 54,1% nell’allineamento di pose e forme e l’87,7% nell’interazione con l’ambiente. La sua categoria più debole è stata l’allineamento di pose e forme, pur avendo superato in ogni categoria i modelli indicati per il confronto. PokeBot avverte che gli utenti potrebbero non ottenere gli stessi risultati del suo benchmark nei propri contesti.
I test esterni metteranno in luce le lacune
PokeBot descrive anche prove interne in decine di contesti e una beta privata in cui i partecipanti hanno usato i propri robot e oggetti di uso quotidiano. Gli esempi sulla pagina di lancio includono l’apertura di una friggitrice ad aria, l’inserimento di pane in un tostapane, l’impilamento di tazze e il posizionamento di una bottiglia in verticale. L’azienda li presenta come dimostrazioni di compiti, non come una valutazione indipendente e controllata.
La configurazione presenta limiti pratici. PokeBot avverte che un oggetto tenuto dal braccio può ostruire la visuale dell’unica telecamera, riducendo le prestazioni; afferma inoltre che istruzioni brevi e precise in inglese funzionano generalmente meglio dei compiti lunghi. L’azienda raccomanda di definire limiti di sicurezza intorno al braccio o di utilizzare un controllo cedevole e riconosce che RoboAPI può commettere errori, anche se il suo filtro di sicurezza respinge le istruzioni che identifica come potenzialmente dannose.
L’apertura dell’API offre agli sviluppatori esterni un modo per testare Poke-Aurora su hardware fisico, oltre al benchmark e alle dimostrazioni dell’azienda. La prova che RoboAPI rende ora possibile è verificare se il trasferimento tra configurazioni robotiche riferito dall’azienda regga con le apparecchiature e i compiti degli utenti.