Zum Inhalt springen
AI.info

The Pulse

AWS ergänzt SageMaker JumpStart um eine Modell-Rangliste

Eine neue Ansicht in SageMaker Studio vergleicht mindestens 70 Modelle anhand von Benchmark-Ergebnissen, Geschwindigkeit und geschätzten Instanzkosten. AWS zufolge führt das Unternehmen die Qualitätstests mit einem einheitlichen Evaluierungs-Setup durch; für Vergleiche zwischen Reasoning- und Nicht-Reasoning-Modellen gelten Einschränkungen.

AWS ergänzt SageMaker JumpStart um eine Modell-Rangliste

Nutzer von SageMaker Studio können jetzt in einer neuen Rangliste mindestens 70 Modelle hinsichtlich Qualität, Geschwindigkeit und geschätzter Instanzkosten vergleichen. Dazu gehören Modelle von Anbietern wie Meta, Google, Qwen, IBM und Arcee. Amazon Web Services zufolge führt das Unternehmen die Qualitätstests selbst mit demselben Evaluierungs-Setup für alle Modelle durch.

Die JumpStart Model Leaderboard ist eine neue Ansicht auf der Seite für Basismodelle von SageMaker JumpStart – neben den bestehenden Ansichten „Categories“ und „All models“. Sie zeigt standardmäßig Ranglisten großer Sprachmodelle an, ohne dass Nutzer Einrichtungsfragen beantworten müssen.

Was die Ranglisten messen

Die Ansicht bietet weiterhin die bestehende Suchleiste und Filter, darunter Filter für Lizenz, Anbieter sowie Eingabe- und Ausgabemodalität. Nutzer können die Benchmark-Spalten sortieren, nicht benötigte Kennzahlen ausblenden und einen direkten Link zur Rangliste teilen.

Eine blaue Heatmap zeigt die relativen Ergebnisse in jeder Spalte an; ein dunklerer Farbton steht für ein stärkeres Ergebnis. Die Modellnamen bleiben sichtbar, wenn Nutzer horizontal durch die verfügbaren Kennzahlen scrollen.

AWS führt drei öffentliche Reasoning-Benchmarks durch: BIG-Bench Hard, GPQA Diamond und MMLU-Pro. BIG-Bench Hard prüft Aufgaben, die mehrstufiges Reasoning erfordern, darunter logisches Schlussfolgern und Rechnen; GPQA Diamond besteht aus naturwissenschaftlichen Fragen auf Graduiertenniveau; und MMLU-Pro prüft Wissen und Schlussfolgerungsfähigkeit in Fächern wie Naturwissenschaften, Recht und Ingenieurwesen.

Die Rangliste zeigt jeden Benchmark einzeln an, statt die Ergebnisse zu einer einzigen Punktzahl zusammenzufassen. AWS weist darauf hin, dass die Ergebnisse verschiedener Benchmarks nicht direkt miteinander vergleichbar sind, da die Tests unterschiedlich schwierig sind.

Geschwindigkeit, Kosten und Bereitstellungsoptionen

AWS zufolge misst das Unternehmen Leistung und Kosten, indem es eine standardisierte Arbeitslast an einen Endpunkt sendet, der mit jeder JumpStart-Konfiguration bereitgestellt wurde. Zu den Leistungsspalten gehören die Zeit bis zum ersten Token, der Durchsatz pro Anfrage in Token pro Sekunde und die geschätzten stündlichen Instanzkosten.

Die geschätzten Kosten umfassen nur die Kosten der SageMaker-Instanz und basieren auf dem On-Demand-Stundensatz für den Standard-Instanztyp der Konfiguration. Nicht enthalten sind Datenübertragung, Speicher, Kosten für Inferenzkomponenten und Rabatte wie Reserved Instances oder AWS Savings Plans; die tatsächlichen Rechnungsbeträge können abweichen.

Zwei Menüs bestimmen, welche Leistungs- und Kostenangaben angezeigt werden. Das Anwendungsprofil ist standardmäßig auf Max Context eingestellt und ändert diese Angaben, nicht aber die Qualitätswerte. Das Optimierungsziel ist standardmäßig auf Balanced eingestellt und wählt eine Bereitstellungskonfiguration für das gewählte Profil aus.

Das Ziel Balanced wählt die Konfiguration mit den niedrigsten geschätzten Kosten pro Token aus. Cost optimized wählt den niedrigsten stündlichen Instanzpreis, während Latency optimized die kürzeste Zeit bis zum ersten Token auswählt. Throughput optimized wählt die Konfiguration mit dem höchsten Durchsatz aus, die spekulatives Decoding verwenden kann.

Grenzen des Vergleichs

Reasoning- und Nicht-Reasoning-Modelle werden mit unterschiedlichen Generierungsparametern evaluiert, sodass Vergleiche zwischen den beiden Typen nur näherungsweise möglich sind. Die GPQA-Diamond-Ergebnisse für Reasoning-Modelle werden über 10 Durchläufe gemittelt.

AWS empfiehlt, mithilfe der Rangliste eine Vorauswahl zu treffen und die aussichtsreichsten Kandidaten vor dem Produktiveinsatz mit den eigenen Daten und Prompts einer Anwendung zu evaluieren. Außerdem weist das Unternehmen darauf hin, dass jede Kennzahl für die Konfiguration gilt, mit der sie gemessen wurde; eine andere Bereitstellungskonfiguration kann Qualität, Latenz, Durchsatz und Kosten verändern.

Nutzer können ein Modell in der Rangliste öffnen, um es bereitzustellen oder – sofern es eine serverlose Anpassung unterstützt – anzupassen. Für diesen Arbeitsablauf sind Zugriff auf SageMaker Studio und die Berechtigung erforderlich, JumpStart-Modelle bereitzustellen.

Quellen

  1. Originalquelle · Blogbeitrag Amazon Web Services aws.amazon.com

Unternehmen in dieser Meldung

Verwandte Meldungen

Entdecken

Weitere Artikel