The Pulse
NVIDIA añade reordenamiento de paquetes a la biblioteca de adquisición de datos DAQIRI
La biblioteca DAQIRI de NVIDIA ya puede usar tarjetas de red compatibles para reordenar por hardware los datos entrantes de los instrumentos. La empresa también describió un flujo de trabajo con una cámara de Berkeley Lab que procesa más de 500 Gbps durante la adquisición.

La biblioteca DAQIRI de NVIDIA ya puede usar tarjetas de red compatibles para ordenar los paquetes de datos entrantes de los instrumentos antes de enviarlos para su procesamiento. La empresa detalló los cambios en una publicación técnica del 19 de noviembre, junto con un flujo de trabajo con una cámara científica que procesa datos en GPU mientras se realizan las mediciones.
DAQIRI es una biblioteca definida por software para incorporar datos de sensores de gran ancho de banda a flujos de trabajo con GPU sin tener que escribir primero las mediciones en un disco. La versión más reciente también incorpora un nuevo motor de procesamiento de paquetes y un modo de sondeo directo para comunicaciones sensibles a la latencia.
Una cámara que transmite a GPU
La cámara de alto rango dinámico se desarrolló en Molecular Foundry del Laboratorio Nacional Lawrence Berkeley para la espectroscopia de pérdida de energía de electrones, o EELS. Esta técnica mide la energía que pierden los electrones al interactuar con una muestra, lo que ayuda a los investigadores a identificar los elementos y cómo están enlazados.
La EELS convencional utiliza dos adquisiciones optimizadas por separado y realizadas en rápida sucesión para captar señales intensas y débiles. Después, esas mediciones deben alinearse y combinarse. La nueva cámara capta ambos tipos de señal a la vez.
La cámara produce más de 500 gigabits de datos por segundo, según la publicación. NVIDIA afirma que eso es más de 500 veces la velocidad de los flujos de datos de la EELS convencional.
En el flujo de trabajo descrito por NVIDIA, los componentes electrónicos de lectura de la FPGA envían los datos del detector por Ethernet, y DAQIRI recibe los paquetes directamente en la memoria de la GPU. El procesamiento en la GPU ensambla y corrige los fotogramas del detector y, después, los reduce a espectros de pérdida de energía mientras el experimento está en curso.
La empresa afirma que los cálculos también permiten obtener una resolución espacial submicrométrica a partir de píxeles del sensor de 5 micrómetros de ancho. Según la publicación, el flujo de trabajo permite al equipo inspeccionar las mediciones y ajustar en tiempo real los parámetros de adquisición y las regiones de interés.
Ordenar paquetes por hardware
DAQIRI puede descargar el reordenamiento de paquetes en tarjetas de interfaz de red NVIDIA ConnectX-7 compatibles o más recientes. Para los formatos de secuencia compatibles, la tarjeta lee los campos de secuencia y coloca cada carga útil en la posición correspondiente, en orden, en la memoria, sin necesidad de una copia de software aparte para reordenarla.
El reordenamiento por hardware se configura para una cola de recepción específica. La configuración especifica cómo leer los números de secuencia de los encabezados de los paquetes, qué método de reordenamiento utilizar y cómo gestionar los paquetes que faltan.
La versión también incorpora un motor ibverbs para recibir y transmitir paquetes Ethernet sin procesar a altas velocidades. Basado en libibverbs y NVIDIA DevX, se selecciona de forma predeterminada para los flujos Ethernet sin procesar; los desarrolladores también pueden seleccionarlo explícitamente en su configuración sin cambiar la forma en que utilizan la API de la aplicación.
NVIDIA afirma que las pruebas de benchmark mostraron aproximadamente el doble de rendimiento por núcleo que el backend DPDK predeterminado anterior para paquetes pequeños a velocidades de datos extremas. Las pruebas citadas incluyeron paquetes de hasta 1024 bytes y velocidades superiores a 200 Gbps en las plataformas NVIDIA DGX Spark, NVIDIA IGX Thor y NVIDIA RTX PRO server.
Según la empresa, una comparación con una sola cola en IGX Thor mostró casi el doble de rendimiento para paquetes de 64 bytes y 256 bytes, pero un rendimiento similar para paquetes de 8 KB.
Sondeo para obtener respuestas más rápidas
La versión más reciente también permite que un hilo de la aplicación envíe y reciba paquetes directamente, en vez de pasarlos a un trabajador de entrada/salida independiente. En pruebas de bucle de retorno con cable, NVIDIA afirma que el modo de sondeo directo demostró una latencia de envío a recepción de la aplicación del orden de 2–4 microsegundos.
Con el motor ibverbs, los desarrolladores pueden usar el sondeo directo para las colas de control y conservar el procesamiento por lotes para los flujos de datos de alto rendimiento. La publicación describe este modo como una opción para instrumentos en los que la latencia de comunicación afecta a la respuesta del análisis en la GPU.
Fuentes
- Fuente original · Entrada de blog NVIDIA developer.nvidia.com
Empresas en esta noticia
Noticias relacionadas
- NVIDIA detalla un flujo de trabajo con dos prompts para preparar datos de entrenamiento de IA física
- NVIDIA actualiza los decodificadores GGUF de Nemotron 3.5 Transcribe
- NVIDIA apunta a los cuellos de botella en los cálculos de materiales con Daviator
- NVIDIA detalla herramientas de Dynamo para las trayectorias de aprendizaje por refuerzo
- FlashInfer en ROCm enruta automáticamente los kernels de GPU de AMD