Ir al contenido
AI.info

The Pulse

Waddle-1 obtiene un 81,4 % en el benchmark de robots reales de Robocurve, sin límite de llamadas al modelo

El agente de Waddle Labs para controlar robots obtuvo un 81,4 % en el benchmark de tareas robóticas en el mundo real de Robocurve, por delante de las otras configuraciones que aparecen en la tabla. El sistema no tenía límite de llamadas al modelo, a diferencia de los modelos de lenguaje de la clasificación.

Waddle-1 obtiene un 81,4 % en el benchmark de robots reales de Robocurve, sin límite de llamadas al modelo

Waddle-1, de Waddle Labs, obtuvo un 81,4 % en un benchmark de tareas robóticas en el mundo real, la puntuación media más alta de las que enumera la entidad evaluadora Robocurve. El resultado supera el 65,7 % de GPT-6.2 Astra, pero los sistemas se probaron con límites diferentes: Waddle-1 no tenía límite de llamadas al modelo, mientras que las configuraciones de modelos de lenguaje tenían un máximo de 40 llamadas.

Waddle Labs presentó el agente para controlar robots el 20 de noviembre. Su resultado en RoboDojo-RC Tier 1 refleja el progreso a lo largo de los intentos de las tareas, y no la proporción de tareas completadas por completo.

Un agente en la nube con políticas locales

La empresa afirma que Waddle-1 controla robots de dos brazos en tareas que no ha visto antes, sin ejemplos específicos de esas tareas. Llama a modelos de lenguaje en la nube para dirigir políticas de nivel inferior que se ejecutan localmente.

Waddle Labs invita a quienes estén interesados en desplegar robots a solicitar acceso a una API preliminar. Robocurve describe Waddle-1 como un sistema completo compuesto por modelos de lenguaje que controlan el robot mediante políticas de nivel inferior.

En la evaluación, Waddle-1 tenía un chat por tarea y un límite de 10 minutos, sin límite de llamadas al modelo. Robocurve también establece un límite de 3.600 pasos de control para los modelos de visión-lenguaje-acción, una categoría aparte representada en la clasificación.

Qué mide la puntuación

El benchmark utiliza seis tareas de manipulación en el mundo real adaptadas de RoboDojo, realizadas con brazos I2RT YAM, según el informe de explainx.ai sobre los resultados. Las tareas incluyen ponerle el capuchón a un bolígrafo, clasificar objetos, apilar cuencos y poner botellas de pie.

La puntuación mide el progreso medio según rúbricas específicas de cada tarea, a lo largo de 120 intentos por configuración, informa explainx.ai. Esas rúbricas otorgan puntos por las distintas etapas del progreso, en lugar de registrar únicamente si un intento se completó con éxito.

Para la tarea de las botellas, Robocurve informó que Waddle-1 obtuvo un 99 % y completó 19 de 20 pruebas. La entidad evaluadora describió esa tarea como particularmente difícil para los modelos de lenguaje probados antes de GPT-6.2 Astra.

Comparaciones de coste y tiempo

Robocurve estima que el coste de inferencia alojada de Waddle-1 es de 2,46 dólares por intento de tarea, según una tarifa prevista de 20 dólares por hora. La clasificación sitúa en 10,51 dólares por intento el coste estimado de la configuración de alto esfuerzo y ultrarrápida de GPT-6.2 Astra.

La clasificación indica que Waddle-1 tarda 7,4 minutos por intento y que la configuración de alto esfuerzo y ultrarrápida de GPT-6.2 Astra tarda 2,7 minutos. En el caso de los modelos de lenguaje, la medida de tiempo es el tiempo de reloj por intento; esos modelos pueden poner fin a un intento indicando que han terminado o que se dan por vencidos.

Dream-1 obtuvo un 59,5 %, con un coste de inferencia alojada estimado en 0,15 dólares por intento y un tiempo indicado de 1,5 minutos, según Robocurve. En el caso de los modelos de visión-lenguaje-acción, la cifra de tiempo es el tiempo medio que tardan en alcanzar su puntuación final; la entidad evaluadora afirma que esos modelos siempre se ejecutan hasta alcanzar su límite de pasos de control.

Fuentes

  1. Fuente original Robocurve · página 1 robocurve.org

Otras páginas leídas

  1. Waddle Labs x.com
  2. explainx.ai
  3. Robocurve · página 2 x.com

Noticias relacionadas

Explora

Más artículos