The Pulse
NVIDIA adiciona reordenação de pacotes à biblioteca de aquisição de dados DAQIRI
A biblioteca DAQIRI da NVIDIA agora pode usar placas de rede compatíveis para reordenar por hardware os dados de instrumentos recebidos. A empresa também descreveu um fluxo de trabalho com uma câmera do Berkeley Lab que processa mais de 500 Gbps durante a aquisição.

A biblioteca DAQIRI da NVIDIA agora pode usar placas de rede compatíveis para ordenar os pacotes de dados de instrumentos recebidos antes de encaminhá-los para processamento. A empresa detalhou as mudanças em uma publicação técnica de 19 de novembro, junto com um fluxo de trabalho com uma câmera científica que processa dados em GPUs enquanto as medições são realizadas.
DAQIRI é uma biblioteca definida por software para transferir dados de sensores de alta largura de banda para fluxos de trabalho em GPUs sem antes gravar as medições em disco. A versão mais recente também apresenta um novo mecanismo de processamento de pacotes e um modo de polling direto para comunicação sensível à latência.
Uma câmera que transmite para GPUs
A câmera de alto alcance dinâmico foi desenvolvida na Molecular Foundry do Lawrence Berkeley National Laboratory para espectroscopia de perda de energia de elétrons, ou EELS. Essa técnica mede a energia perdida pelos elétrons ao interagirem com uma amostra, ajudando pesquisadores a identificar elementos e como eles estão ligados.
A EELS convencional usa duas aquisições, otimizadas separadamente e realizadas em rápida sucessão, para capturar sinais intensos e fracos. Em seguida, essas medições precisam ser alinhadas e combinadas. A nova câmera captura os dois tipos de sinal ao mesmo tempo.
A câmera produz mais de 500 gigabits por segundo de dados, segundo a publicação. A NVIDIA afirma que isso é mais de 500 vezes mais rápido do que os fluxos de dados da EELS convencional.
No fluxo de trabalho descrito pela NVIDIA, a eletrônica de leitura baseada em FPGA envia os dados do detector por Ethernet, e o DAQIRI recebe os pacotes diretamente na memória da GPU. O processamento na GPU monta e corrige os quadros do detector e, em seguida, os reduz a espectros de perda de energia enquanto o experimento está em andamento.
A empresa afirma que a computação também permite obter resolução espacial submicrométrica a partir de pixels do sensor com 5 micrômetros de largura. Segundo a publicação, o fluxo de trabalho permite que a equipe inspecione as medições e ajuste em tempo real os parâmetros de aquisição e as regiões de interesse.
Ordenação de pacotes por hardware
O DAQIRI pode delegar a reordenação de pacotes a placas de interface de rede NVIDIA ConnectX-7 ou mais novas compatíveis. Para formatos de sequência compatíveis, a placa lê os campos de sequência e coloca cada carga útil em sua posição correta na memória, sem uma cópia separada por software para reordená-la.
A reordenação por hardware é configurada para uma fila de recepção específica. A configuração especifica como ler os números de sequência nos cabeçalhos dos pacotes, qual método de reordenação usar e como lidar com pacotes ausentes.
A versão também apresenta um mecanismo ibverbs para receber e transmitir pacotes Ethernet brutos em altas velocidades. Desenvolvido com base em libibverbs e NVIDIA DevX, ele é selecionado por padrão para fluxos Ethernet brutos; os desenvolvedores também podem selecioná-lo explicitamente na configuração, sem alterar a forma como usam a API do aplicativo.
A NVIDIA afirma que testes de benchmark mostraram uma vazão por núcleo aproximadamente duas vezes maior que a do backend DPDK padrão anterior para pacotes pequenos em taxas de dados extremas. Os testes citados abrangeram pacotes de até 1024 bytes e taxas superiores a 200 Gbps nas plataformas NVIDIA DGX Spark, NVIDIA IGX Thor e NVIDIA RTX PRO server.
Uma comparação com uma única fila no IGX Thor mostrou vazão quase duas vezes maior para pacotes de 64 bytes e 256 bytes, mas vazão semelhante para pacotes de 8 KB, segundo a empresa.
Polling para obter feedback mais rápido
A versão mais recente também permite que uma thread do aplicativo envie e receba pacotes diretamente, em vez de encaminhá-los a uma thread separada de entrada e saída. Em testes de loopback com cabos, a NVIDIA afirma que o modo de polling direto demonstrou latência entre o envio e o recebimento pelo aplicativo da ordem de 2–4 microssegundos.
Com o mecanismo ibverbs, os desenvolvedores podem usar o polling direto para filas de controle e, ao mesmo tempo, manter o processamento em lote para fluxos de dados de alta vazão. A publicação descreve o modo como uma opção para instrumentos nos quais o feedback da análise por GPU é sensível à latência de comunicação.
Fontes
- Fonte original · Post de blog NVIDIA developer.nvidia.com
Empresas nesta notícia
Notícias relacionadas
- NVIDIA detalha fluxo de trabalho com dois prompts para dados de treinamento de IA física
- NVIDIA atualiza decodificadores GGUF do Nemotron 3.5 Transcribe
- NVIDIA mira gargalos em cálculos de materiais com Daviator
- NVIDIA detalha ferramentas Dynamo para rollouts de aprendizado por reforço
- FlashInfer no ROCm roteia automaticamente kernels de GPU da AMD