The Pulse
Maxwell della CAS ottiene 91,9 nel benchmark di robotica Meta-World
Il modello Maxwell dell’Accademia cinese delle scienze ha registrato un tasso medio di successo del 91,9% sui quattro livelli di difficoltà del benchmark di robotica Meta-World, composto da 50 attività. Secondo l’Institute of Artificial Int
AI.info Team · Scritto con l’IA ·
Una media di 91,9 su quattro livelli di difficoltà
Maxwell, un modello di IA incarnata sviluppato dall’Institute of Artificial Intelligence for Industries dell’Accademia cinese delle scienze, ha registrato un tasso medio di successo del 91,90% sui quattro livelli di difficoltà di Meta-World, ha dichiarato l’istituto in un annuncio datato 14 settembre. Il risultato colloca il modello al primo posto nel confronto relativo al benchmark riportato dall’istituto. Il South China Morning Post ha riferito del risultato il 1° ottobre, descrivendolo come il punteggio più alto registrato nel benchmark simulato.
L’istituto ha inoltre dichiarato che Maxwell ha completato 2.305 delle 2.500 traiettorie sottoposte a test. Da questi dati risulta un tasso di successo complessivo del 92,2%, mentre il 91,90% è la media dichiarata dall’istituto sui quattro livelli di difficoltà: le due percentuali derivano da calcoli diversi. Nel livello più difficile, Maxwell ha completato con successo 287 traiettorie su 300, per un tasso di successo del 95,67%.
Cinquanta attività di manipolazione simulate
La valutazione MT50 di Meta-World comprende 50 ambienti di manipolazione robotica. Il benchmark include attività come afferrare e trasportare oggetti, aprire porte e azionare cassetti, e mette alla prova un modello su azioni diverse anziché su un’unica manovra ripetuta. Il progetto originale descrive MT50 come una valutazione dell’apprendimento di tutti e 50 gli ambienti.
Secondo quanto riferito dall’istituto, i test di Maxwell hanno coperto tutte le 50 attività. Le dimostrazioni includevano lo spostamento di un dado su un perno bersaglio, l’apertura di un’anta o di un cassetto tirandoli e il trasferimento di oggetti tra contenitori. Questi risultati provengono da simulazioni: il punteggio riportato nel benchmark non dimostra come il modello si comporti su un robot fisico in un luogo di lavoro o in un’abitazione.
Il confronto tra Maxwell e le altre proposte
Secondo quanto riportato dal SCMP, tra le proposte presentate a luglio per il confronto figuravano FabriVLA, sviluppato da Youibot, con sede a Shenzhen, con un punteggio di 90, e SUREFlow, sviluppato da ricercatori della Kyungpook National University della Corea del Sud, con 88,3. L’articolo elencava anche proposte di Physical Intelligence, Google DeepMind, Alibaba, Meituan, Carnegie Mellon University, MIT, University of Cambridge e Toyota Research Institute. Alibaba è proprietaria del SCMP.
Questi confronti collocano Maxwell tra i progetti di ricerca di università, aziende tecnologiche e gruppi specializzati in robotica. Ma un punteggio in un benchmark simulato condiviso misura le prestazioni nelle condizioni di quella valutazione; da solo non dimostra che i modelli funzionino altrettanto bene in contesti reali o che i gruppi abbiano usato metodi di addestramento identici.
Un modello piccolo, il cui impiego resta da dimostrare
Secondo l’istituto, Maxwell ha 1 miliardo di parametri e supporta l’inferenza su una sola scheda grafica. L’istituto lo descrive come un modello progettato pensando all’impiego edge, una caratteristica potenzialmente utile per i sistemi robotici che non possono dipendere da grandi risorse di calcolo remote. L’annuncio non dimostra che Maxwell sia stato impiegato su hardware edge o convalidato nelle attività riportate usando un robot fisico.
Il risultato nel benchmark è quindi un traguardo concreto nella simulazione, ma non ancora una prova di un’ampia capacità operativa nel mondo reale. La prossima prova pratica sarà verificare se Maxwell riuscirà a trasferire le sue prestazioni oltre i 50 ambienti simulati, sui robot fisici, dove il rumore dei sensori, il contatto e i cambiamenti degli oggetti e dell’ambiente circostante possono influire su ogni movimento.