The Pulse
Waddle-1 erzielt 81,4 % auf Robocurves Benchmark mit realen Robotern – ohne Begrenzung der Modellaufrufe
Der Robotik-Agent von Waddle Labs erzielte auf Robocurves Benchmark für Aufgaben in der realen Welt 81,4 % und lag damit vor den anderen aufgeführten Konfigurationen. Für das System gab es keine Begrenzung der Modellaufrufe, anders als für die Sprachmodelle auf der Bestenliste.

Waddle-1 von Waddle Labs erzielte auf einem Benchmark für Roboteraufgaben in der realen Welt 81,4 % – den höchsten aufgeführten Mittelwert bei der Bewertung durch Robocurve. Damit lag das System vor GPT-6.2 Astra mit 65,7 %, allerdings wurden die Systeme unter unterschiedlichen Beschränkungen getestet: Für Waddle-1 gab es keine Begrenzung der Modellaufrufe, während die Konfigurationen mit Sprachmodellen auf 40 Aufrufe begrenzt waren.
Waddle Labs stellte den Robotik-Agenten am 20. November vor. Das Ergebnis auf RoboDojo-RC Tier 1 spiegelt den Fortschritt über mehrere Aufgabenversuche hinweg wider und nicht den Anteil der Aufgaben, die vollständig abgeschlossen wurden.
Ein Cloud-Agent mit lokalen Policies
Das Unternehmen sagt, Waddle-1 steuere zweiarmige Roboter bei Aufgaben, die das System zuvor noch nicht gesehen hat, und zwar ohne aufgabenspezifische Beispiele. Der Agent ruft Sprachmodelle in der Cloud auf, um untergeordnete Policies anzuleiten, die lokal ausgeführt werden.
Waddle Labs lädt alle, die sich für den Einsatz von Robotern interessieren, dazu ein, Zugang zu einer Vorschau-API anzufragen. Robocurve beschreibt Waddle-1 als vollständiges System aus Sprachmodellen, die den Roboter über untergeordnete Policies steuern.
Bei der Bewertung hatte Waddle-1 einen Chat pro Aufgabe und ein Zeitlimit von 10 Minuten, aber keine Begrenzung der Modellaufrufe. Robocurve begrenzt außerdem Vision-Language-Action-Modelle auf 3.600 Steuerschritte. Sie bilden eine separate Kategorie auf der Bestenliste.
Was der Wert misst
Der Benchmark umfasst sechs Manipulationsaufgaben in der realen Welt, die von RoboDojo abgeleitet wurden und mit I2RT-YAM-Armen ausgeführt wurden, wie aus dem Bericht von explainx.ai zu den Ergebnissen hervorgeht. Zu den Aufgaben gehören, einen Stift mit einer Kappe zu verschließen, Gegenstände zu sortieren, Schüsseln zu stapeln und Flaschen aufzustellen.
Der Wert misst den durchschnittlichen Fortschritt anhand aufgabenspezifischer Bewertungsraster über 120 Versuche pro Konfiguration hinweg, berichtet explainx.ai. Die Bewertungsraster vergeben Punkte für einzelne Fortschrittsstufen, statt nur zu erfassen, ob ein Versuch vollständig erfolgreich war.
Für die Flaschenaufgabe berichtete Robocurve, dass Waddle-1 99 % erzielte und 19 von 20 Durchläufen abschloss. Der Bewerter bezeichnete diese Aufgabe als besonders schwierig für Sprachmodelle, die vor GPT-6.2 Astra getestet wurden.
Vergleiche von Kosten und Zeit
Robocurve schätzt die Kosten für die gehostete Inferenz von Waddle-1 auf 2,46 US-Dollar pro Aufgabenversuch, basierend auf einem geplanten Tarif von 20 US-Dollar pro Stunde. Auf der Bestenliste werden die geschätzten Kosten für GPT-6.2 Astra in der Konfiguration mit hohem Aufwand und ultraschneller Verarbeitung mit 10,51 US-Dollar pro Versuch angegeben.
Laut Bestenliste benötigt Waddle-1 7,4 Minuten pro Versuch, GPT-6.2 Astra in der Konfiguration mit hohem Aufwand und ultraschneller Verarbeitung 2,7 Minuten. Bei Sprachmodellen wird die verstrichene Zeit pro Versuch gemessen; diese Modelle können einen Versuch beenden, indem sie angeben, dass sie fertig sind oder aufgeben.
Dream-1 erzielte laut Robocurve 59,5 %; die geschätzten Kosten für die gehostete Inferenz lagen bei 0,15 US-Dollar pro Versuch, die angegebene Dauer bei 1,5 Minuten. Bei Vision-Language-Action-Modellen entspricht die Zeitangabe der durchschnittlichen Zeit bis zum Erreichen ihres Endwerts; laut dem Bewerter laufen diese Modelle immer bis zu ihrer Begrenzung der Steuerschritte.
Quellen
- Originalquelle Robocurve · Seite 1 robocurve.org
Weitere gelesene Seiten
- Waddle Labs x.com
- explainx.ai
- Robocurve · Seite 2 x.com
Verwandte Meldungen
- Humyn Labs sammelt 47 Millionen US-Dollar ein, um seine Roboterdaten-Aktivitäten auszubauen
- TuringSpace-Test findet Lücken beim räumlichen Handeln führender KI-Modelle
- LlamaIndex schlägt eine Bewertung nach Schweregrad für das Dokumenten-Parsing vor
- Sakana AI gründet Sicherheitsforschungsgruppe mit Schwerpunkt auf KI-gestützter Cyberabwehr
- AWS ermöglicht KI-Agenten, Marketplace-Käufe über Cloud-Konten abzurechnen