Aller au contenu
AI.info

The Pulse

NVIDIA ajoute le réordonnancement des paquets à la bibliothèque d’acquisition de données DAQIRI

La bibliothèque DAQIRI de NVIDIA peut désormais utiliser les cartes réseau prises en charge pour réordonner en matériel les données entrantes des instruments. L’entreprise a également décrit un flux de travail pour une caméra de Berkeley Lab qui traite plus de 500 Gbit/s pendant l’acquisition.

NVIDIA ajoute le réordonnancement des paquets à la bibliothèque d’acquisition de données DAQIRI

La bibliothèque DAQIRI de NVIDIA peut désormais utiliser les cartes réseau prises en charge pour réordonner les paquets de données instrumentales entrants avant de les transmettre pour traitement. L’entreprise a détaillé ces changements dans une publication technique du 19 novembre, ainsi qu’un flux de traitement avec une caméra scientifique qui traite les données sur des GPU pendant les mesures.

DAQIRI est une bibliothèque définie par logiciel qui permet d’intégrer des données de capteurs à large bande passante à des flux de travail sur GPU sans avoir à écrire d’abord les mesures sur disque. La dernière version introduit également un nouveau moteur de traitement des paquets et un mode d’interrogation directe pour les communications sensibles à la latence.

Une caméra qui diffuse vers des GPU

La caméra à grande gamme dynamique a été développée à la Molecular Foundry du Lawrence Berkeley National Laboratory pour la spectroscopie de perte d’énergie des électrons, ou EELS. Cette technique mesure l’énergie perdue par les électrons lorsqu’ils interagissent avec un échantillon, ce qui aide les chercheurs à identifier les éléments et la façon dont ils sont liés.

La méthode EELS conventionnelle utilise deux acquisitions optimisées séparément, réalisées rapidement l’une après l’autre, pour capturer les signaux forts et faibles. Ces mesures doivent ensuite être alignées et combinées. La nouvelle caméra capture simultanément les deux types de signaux.

La caméra produit plus de 500 gigabits de données par seconde, selon la publication. NVIDIA affirme que c’est plus de 500 fois la vitesse des flux de données EELS conventionnels.

Dans le flux de traitement décrit par NVIDIA, des composants électroniques de lecture FPGA envoient les données du détecteur par Ethernet, et DAQIRI reçoit directement les paquets dans la mémoire du GPU. Le traitement sur GPU assemble et corrige les images du détecteur, puis les convertit en spectres de perte d’énergie pendant l’expérience.

L’entreprise indique que le calcul permet également d’obtenir une résolution spatiale submicronique à partir de pixels de capteur de 5 micromètres de côté. Selon la publication, le flux de traitement permet à l’équipe d’examiner les mesures et d’ajuster en temps réel les paramètres d’acquisition et les régions d’intérêt.

Réordonner les paquets dans le matériel

DAQIRI peut déléguer le réordonnancement des paquets aux cartes réseau NVIDIA ConnectX-7 ou ultérieures prises en charge. Pour les formats de séquence compatibles, la carte lit les champs de séquence et place chaque charge utile à la bonne position dans la mémoire, sans copie logicielle distincte pour la réordonner.

Le réordonnancement matériel est configuré pour une file de réception spécifique. La configuration précise comment lire les numéros de séquence dans les en-têtes des paquets, quelle méthode de réordonnancement utiliser et comment traiter les paquets manquants.

La version introduit également un moteur ibverbs permettant de recevoir et de transmettre des paquets Ethernet bruts à haut débit. Basé sur libibverbs et NVIDIA DevX, il est sélectionné par défaut pour les flux Ethernet bruts ; les développeurs peuvent aussi le sélectionner explicitement dans leur configuration sans changer leur utilisation de l’API de l’application.

NVIDIA indique que des tests de benchmark ont montré un débit par cœur environ deux fois supérieur à celui de l’ancien backend DPDK par défaut pour les petits paquets à des débits de données extrêmes. Les tests cités portaient sur des paquets allant jusqu’à 1024 octets et des débits supérieurs à 200 Gbps sur les plateformes NVIDIA DGX Spark, NVIDIA IGX Thor et NVIDIA RTX PRO pour serveurs.

Une comparaison sur une seule file d’attente, réalisée sur IGX Thor, a montré un débit presque deux fois supérieur pour les paquets de 64 octets et de 256 octets, mais un débit similaire pour les paquets de 8 KB, selon l’entreprise.

Interroger directement pour obtenir un retour plus rapide

La dernière version permet également à un thread d’application d’envoyer et de recevoir directement des paquets, plutôt que de les transmettre à un processus distinct d’entrée/sortie. Lors de tests en boucle avec une connexion câblée, le mode d’interrogation directe a démontré une latence entre l’envoi et la réception par l’application de l’ordre de 2 à 4 microsecondes, selon NVIDIA.

Avec le moteur ibverbs, les développeurs peuvent utiliser l’interrogation directe pour les files de contrôle tout en conservant le traitement par lots pour les flux de données à haut débit. La publication présente ce mode comme une option pour les instruments dont le retour issu de l’analyse sur GPU est sensible à la latence des communications.

Sources

  1. Source originale · Billet de blog NVIDIA developer.nvidia.com

Entreprises citées

Articles liés

Explorer

Autres articles