Vai al contenuto
AI.info

The Pulse

Waddle-1 ottiene l’81,4% nel benchmark di Robocurve con robot reali, senza limite alle chiamate al modello

L’agente di Waddle Labs per l’impiego dei robot ha ottenuto l’81,4% nel benchmark di Robocurve per attività nel mondo reale, superando le altre configurazioni elencate. Il sistema non aveva limiti alle chiamate al modello, a differenza dei modelli linguistici in classifica.

Waddle-1 ottiene l’81,4% nel benchmark di Robocurve con robot reali, senza limite alle chiamate al modello

Waddle-1 di Waddle Labs ha ottenuto l’81,4% in un benchmark di attività robotiche nel mondo reale, il punteggio medio più alto tra quelli riportati dal valutatore Robocurve. Il risultato supera il 65,7% di GPT-6.2 Astra, ma i sistemi sono stati testati con limiti diversi: Waddle-1 non aveva limiti alle chiamate al modello, mentre le configurazioni basate su modelli linguistici erano limitate a 40 chiamate.

Waddle Labs ha presentato l’agente per l’impiego dei robot il 20 novembre. Il suo risultato su RoboDojo-RC Tier 1 riflette i progressi compiuti nei vari tentativi delle attività, non la percentuale di attività completate per intero.

Un agente cloud con policy locali

L’azienda afferma che Waddle-1 controlla robot a due bracci in attività che non ha mai affrontato prima, senza esempi specifici per l’attività. Chiama modelli linguistici nel cloud per dirigere policy di livello inferiore eseguite localmente.

Waddle Labs invita chi è interessato a installare robot a richiedere l’accesso a un’API in anteprima. Robocurve descrive Waddle-1 come un sistema completo composto da modelli linguistici che controllano il robot tramite policy di livello inferiore.

Nella valutazione, Waddle-1 aveva una chat per attività e un limite di 10 minuti, senza limiti alle chiamate al modello. Robocurve applica inoltre un limite di 3.600 passaggi di controllo ai modelli vision-language-action, una categoria distinta rappresentata in classifica.

Cosa misura il punteggio

Il benchmark comprende sei attività di manipolazione nel mondo reale adattate da RoboDojo, eseguite su bracci I2RT YAM, secondo il resoconto dei risultati di explainx.ai. Le attività comprendono mettere il cappuccio a una penna, ordinare oggetti, impilare ciotole e raddrizzare bottiglie.

Il punteggio misura i progressi medi secondo criteri di valutazione specifici per ciascuna attività, in 120 tentativi per configurazione, riporta explainx.ai. Questi criteri assegnano punti alle varie fasi dei progressi, invece di registrare soltanto se un tentativo è stato completato con successo.

Per l’attività con le bottiglie, Robocurve ha riferito che Waddle-1 ha ottenuto il 99% e completato 19 prove su 20. Il valutatore ha descritto quell’attività come particolarmente difficile per i modelli linguistici testati prima di GPT-6.2 Astra.

Confronti di costo e tempo

Robocurve stima il costo dell’inferenza di Waddle-1 ospitata a 2,46 dollari per tentativo, sulla base di una tariffa prevista di 20 dollari all’ora. La classifica indica un costo stimato di 10,51 dollari per tentativo per la configurazione high-effort, ultrafast di GPT-6.2 Astra.

La classifica indica 7,4 minuti per tentativo per Waddle-1 e 2,7 minuti per la configurazione high-effort, ultrafast di GPT-6.2 Astra. Per i modelli linguistici, la misura del tempo è il tempo effettivo per tentativo; questi modelli possono terminare un tentativo indicando di aver finito o di arrendersi.

Secondo Robocurve, Dream-1 ha ottenuto il 59,5%, con un costo stimato dell’inferenza ospitata di 0,15 dollari per tentativo e un tempo indicato di 1,5 minuti. Per i modelli vision-language-action, il dato relativo al tempo è il tempo medio necessario per raggiungere il punteggio finale; il valutatore afferma che questi modelli arrivano sempre al limite dei passaggi di controllo.

Fonti

  1. Fonte originale Robocurve · pagina 1 robocurve.org

Altre pagine lette

  1. Waddle Labs x.com
  2. explainx.ai
  3. Robocurve · pagina 2 x.com

Notizie correlate

Esplora

Altri articoli