Zum Inhalt springen
AI.info

The Pulse

Exa zufolge steigerten Optimierungen für AWS-Chips den Embedding-Durchsatz um etwa 50 %

Exa berichtet, nach der Optimierung von Workloads auf AWS-Inferentia2-Chips etwa das 1,5-Fache seines ursprünglichen Embedding-Durchsatzes zu erreichen. Die Arbeit fiel in eine Phase, in der das Suchunternehmen 30 Milliarden Dokumente mit hoher Priorität für ein neues Modell erneut einbettete.

Exa zufolge steigerten Optimierungen für AWS-Chips den Embedding-Durchsatz um etwa 50 %

Exa zufolge steigerte das Unternehmen den Durchsatz seines Workloads zum Einbetten von Dokumenten auf etwa das 1,5-Fache des ursprünglichen Werts, indem es ihn für AWS-Inferentia2-Chips optimierte. In einem Beitrag vom 18. November im AWS-Blog für Machine Learning berichtete das Suchunternehmen außerdem von einer Verbesserung der Leistung und der Kosten pro 1 Million eingebetteter Dokumente um 47 % gegenüber dem ursprünglichen Ausgangswert.

Quelle aws.amazon.com

Die Arbeit fiel in eine Phase, in der Exa 30 Milliarden Dokumente mit hoher Priorität auswählte, um sie mit einem neuen Dokumentenmodell erneut einzubetten. Der parallele Betrieb der laufenden und der neuen Embedding-Pipelines verdoppelte während dieser Migration die Inferenzlast.

Warum die Embedding-Kapazität wichtig ist

Exa erstellt einen Index, der Webdaten ebenso wie private und synthetische Quellen nutzt. Das Unternehmen verwendet Machine-Learning-Modelle, um Webdokumente und Suchanfragen im selben Vektorraum abzubilden. Dadurch sind natürlichsprachliche Suchanfragen neben der Stichwortsuche möglich.

Dokumente, die den Qualitätsschwellenwert des Unternehmens erreichen, durchlaufen eine asynchrone Pipeline, bevor sie aus der hauseigenen Vektordatenbank bereitgestellt werden können. Die Pipeline durchsucht, parst, moderiert und filtert Daten, bevor sie eingebettet werden.

Die gemeldeten Inferentia2-Zahlen beziehen sich auf eine inf2.xlarge-Instanz mit einem Chip und zwei NeuronCores. Der Workload läuft auf einem einzelnen NeuronCore, wobei Kubernetes-Pods auf größeren Instanzen untergebracht werden. Derselbe Prozess läuft auch auf einem Trainium2-NeuronCore und lässt sich durch Datenparallelität skalieren.

Änderungen am Workload

Ausgangspunkt war eine datenparallelisierte FP16-Version des Modells. Anschließend änderte Exa die Anordnung der Modellgewichte, um unnötige Transpositionen zu vermeiden, und aktivierte Autocast. Dadurch konnte der Compiler für Matrixmultiplikationen eine geringere Präzision verwenden und zugleich den Dynamikbereich bewahren.

Die Ausgaben mit geringerer Präzision erfüllten laut dem Beitrag den Korrektheitsschwellenwert des Unternehmens von 0,999 Kosinusähnlichkeit gegenüber der Referenz. Ein vorgefertigter Attention-Kernel aus der Bibliothek Neuron Kernel Interface brachte einen weiteren Leistungsgewinn.

Das Profiling zeigte, dass Daten wiederholt in den Speicher mit hoher Bandbreite ausgelagert und von dort erneut geladen wurden, wodurch die Tensor Engine während des Vorwärtsdurchlaufs nicht ausreichend ausgelastet war. Das Team schrieb einen eigenen fusionierten SwiGLU-MLP-Kernel, der diese Speicherwartezeiten nach eigenen Angaben beseitigte.

Exa schrieb den Attention-Kernel außerdem so um, dass er auf die Formen in seinem Modell zugeschnitten war und weniger Rechenleistung für Padding aufwenden musste. Das Unternehmen fasste Attention-Operationen zu einzelnen Matrixmultiplikationen zusammen, wo der generische Kernel mehrere Instruktionsschritte verwendete. Dadurch wurden Operationen in der inneren Schleife und Speicherzugriffe reduziert.

Agenten und die Planung von Rechenleistung

Agenten entwickelten die Optimierungen mithilfe eines Systems zur Überprüfung der Korrektheit, Leistungsmessung und Profilerstellung des Workloads. Jeder Agent führt einen Workflow mit Flyte aus, der ein Neuron-Executable kompiliert und einen Vorwärtsdurchlauf anhand eines Basisdatensatzes überprüft. Dabei ist eine Kosinusähnlichkeit von 0,999 gegenüber dem kanonischen Modell erforderlich.

Der Workflow erstellt außerdem ein Profil eines Vorwärtsdurchlaufs und führt auf der Hardware einen 30-minütigen Sättigungsbenchmark aus. Leichtere Modelle suchen nach Compiler-Parametern, Reasoning-Agenten überprüfen Hypothesen und finden Engpässe, und Codegenerierungsagenten schreiben eigene Kernel.

Das Unternehmen hat Inferentia2 in der Region US West (Oregon) optimiert und überträgt die Arbeit zugleich auf Trainium2. Exa plant Rechenleistung über mehrere Regionen hinweg von einer einzigen Kubernetes-Steuerungsebene aus, vergleicht die Leistung pro Dollar zwischen Instanztypen und platziert Pods auf den günstigsten Knoten, wenn sich die Nachfrage nach Embeddings verändert.

Quellen

  1. Originalquelle · Blogbeitrag Amazon Web Services aws.amazon.com

Unternehmen in dieser Meldung

Verwandte Meldungen

Entdecken

Weitere Artikel