The Pulse
NVIDIA ergänzt DAQIRI-Datenerfassungsbibliothek um Paket-Neuordnung
NVIDIAs DAQIRI-Bibliothek kann nun unterstützte Netzwerkkarten nutzen, um eingehende Messgerätedaten in der Hardware neu zu ordnen. Das Unternehmen beschrieb außerdem einen Kamera-Workflow des Berkeley Lab, der während der Datenerfassung mehr als 500 Gbit/s verarbeitet.

NVIDIAs DAQIRI-Bibliothek kann nun unterstützte Netzwerkkarten nutzen, um eingehende Datenpakete von Messgeräten zu ordnen, bevor sie zur Verarbeitung weitergeleitet werden. Das Unternehmen erläuterte die Änderungen in einem technischen Beitrag vom 19. November und beschrieb darin auch einen Workflow für eine wissenschaftliche Kamera, der Daten während der Messungen auf GPUs verarbeitet.
Quelle developer.nvidia.com
DAQIRI ist eine softwaredefinierte Bibliothek, mit der sich Sensordaten mit hoher Bandbreite in GPU-Workflows übertragen lassen, ohne die Messdaten zuvor auf Festplatte zu schreiben. Die neueste Version führt außerdem eine neue Paketverarbeitungs-Engine und einen direkten Polling-Modus für latenzempfindliche Kommunikation ein.
Eine Kamera, die Daten an GPUs streamt
Die Kamera mit hohem Dynamikumfang wurde für die Elektronenenergieverlustspektroskopie (EELS) am Molecular Foundry des Lawrence Berkeley National Laboratory entwickelt. Bei dieser Technik wird gemessen, wie viel Energie Elektronen verlieren, wenn sie mit einer Probe interagieren. So können Forschende Elemente identifizieren und feststellen, wie sie gebunden sind.
Bei der herkömmlichen EELS werden in rascher Folge zwei separat optimierte Messungen durchgeführt, um starke und schwache Signale aufzunehmen. Anschließend müssen diese Messungen aufeinander ausgerichtet und kombiniert werden. Die neue Kamera nimmt beide Signalarten gleichzeitig auf.
Laut dem Beitrag erzeugt die Kamera Daten mit mehr als 500 Gigabit pro Sekunde. NVIDIA zufolge sind das mehr als 500-mal so schnelle Datenströme wie bei herkömmlicher EELS.
In dem von NVIDIA beschriebenen Workflow übertragen FPGA-Ausleseelektroniksysteme Detektordaten über Ethernet, und DAQIRI empfängt die Pakete direkt im GPU-Speicher. Die GPU-Verarbeitung setzt Detektorframes zusammen und korrigiert sie. Anschließend verdichtet sie diese zu Energieverlustspektren, während das Experiment läuft.
Nach Angaben des Unternehmens ermöglicht die Berechnung außerdem eine räumliche Auflösung im Submikrometerbereich mit Sensorpixeln, die 5 Mikrometer breit sind. Laut dem Beitrag kann das Team dank des Workflows Messungen prüfen und Aufnahmeparameter sowie interessierende Bereiche in Echtzeit anpassen.
Paket-Neuordnung in der Hardware
DAQIRI kann die Paket-Neuordnung an unterstützte NVIDIA-ConnectX-7-Netzwerkkarten oder neuere Netzwerkkarten auslagern. Bei kompatiblen Sequenzformaten liest die Karte die Sequenzfelder aus und platziert jede Nutzlast an der richtigen Position im Speicher, ohne sie zuvor in einem separaten Software-Schritt neu ordnen zu müssen.
Die Neuordnung in der Hardware wird für eine bestimmte Empfangswarteschlange konfiguriert. Die Konfiguration legt fest, wie Sequenznummern aus Paket-Headern ausgelesen werden, welche Methode zur Neuordnung verwendet wird und wie mit fehlenden Paketen umzugehen ist.
Die Version führt außerdem eine ibverbs-Engine ein, mit der sich rohe Ethernet-Pakete mit hoher Geschwindigkeit empfangen und übertragen lassen. Sie basiert auf libibverbs und NVIDIA DevX und ist standardmäßig für rohe Ethernet-Streams ausgewählt. Entwickler können sie auch ausdrücklich in ihrer Konfiguration auswählen, ohne ihre Nutzung der Anwendungs-API zu ändern.
NVIDIA zufolge zeigten Benchmark-Tests bei kleinen Paketen und extrem hohen Datenraten einen etwa doppelt so hohen Durchsatz pro Kern wie beim vorherigen standardmäßigen DPDK-Backend. Die Tests umfassten Pakete mit einer Größe von bis zu 1.024 Byte und Datenraten von mehr als 200 Gbit/s auf den Plattformen NVIDIA DGX Spark, NVIDIA IGX Thor und NVIDIA RTX PRO Server.
Ein Vergleich mit einer einzelnen Warteschlange auf IGX Thor ergab bei 64-Byte- und 256-Byte-Paketen nahezu den doppelten Durchsatz, bei 8-KB-Paketen jedoch einen ähnlichen Durchsatz, so das Unternehmen.
Polling für schnelleres Feedback
Die neueste Version ermöglicht es einem Anwendungsthread außerdem, Pakete direkt zu senden und zu empfangen, statt sie an einen separaten Ein-/Ausgabe-Worker weiterzugeben. In kabelgebundenen Loopback-Tests zeigte der direkte Polling-Modus laut NVIDIA eine Latenz vom Senden bis zum Empfang in der Anwendung in der Größenordnung von 2–4 Mikrosekunden.
Mit der ibverbs-Engine können Entwickler direktes Polling für Steuerungswarteschlangen nutzen und zugleich die gebündelte Verarbeitung für Datenströme mit hohem Durchsatz beibehalten. Der Beitrag beschreibt den Modus als Option für Instrumente, bei denen das Feedback aus der GPU-Analyse empfindlich auf die Kommunikationslatenz reagiert.
Quellen
- Originalquelle · Blogbeitrag NVIDIA developer.nvidia.com
Unternehmen in dieser Meldung
Verwandte Meldungen
- NVIDIA erläutert Zwei-Prompt-Workflow für Trainingsdaten physischer KI
- NVIDIA aktualisiert GGUF-Decoder für Nemotron 3.5 Transcribe
- NVIDIA nimmt mit Daviator Engpässe bei Materialberechnungen ins Visier
- NVIDIA erläutert Dynamo-Werkzeuge für Rollouts beim bestärkenden Lernen
- FlashInfer auf ROCm routet AMD-GPU-Kernels automatisch