Vai al contenuto
AI.info

The Pulse

NVIDIA aggiunge il riordinamento dei pacchetti alla libreria di acquisizione dati DAQIRI

La libreria DAQIRI di NVIDIA può ora usare schede di rete supportate per riordinare via hardware i dati strumentali in ingresso. L’azienda ha descritto anche un flusso di lavoro con una fotocamera del Berkeley Lab che elabora oltre 500 Gbps durante l’acquisizione.

NVIDIA aggiunge il riordinamento dei pacchetti alla libreria di acquisizione dati DAQIRI

La libreria DAQIRI di NVIDIA può ora usare schede di rete supportate per mettere in ordine i pacchetti di dati strumentali in ingresso prima di consegnarli all’elaborazione. L’azienda ha descritto le modifiche in un post tecnico del 19 novembre, insieme a un flusso di lavoro con una fotocamera scientifica che elabora i dati sulle GPU mentre vengono effettuate le misurazioni.

DAQIRI è una libreria software-defined che trasferisce dati da sensori ad alta larghezza di banda ai flussi di lavoro su GPU senza prima scrivere le misurazioni su disco. L’ultima versione introduce anche un nuovo motore di elaborazione dei pacchetti e una modalità di polling diretto per le comunicazioni sensibili alla latenza.

Una fotocamera che trasmette alle GPU

La fotocamera ad ampia gamma dinamica è stata sviluppata presso la Molecular Foundry del Lawrence Berkeley National Laboratory per la spettroscopia di perdita di energia degli elettroni, o EELS. Questa tecnica misura l’energia persa dagli elettroni quando interagiscono con un campione, aiutando i ricercatori a identificare gli elementi e i legami che li uniscono.

La EELS convenzionale usa in rapida successione due acquisizioni ottimizzate separatamente per catturare segnali intensi e deboli. Le misurazioni devono poi essere allineate e combinate. La nuova fotocamera cattura insieme entrambi i tipi di segnale.

La fotocamera genera oltre 500 gigabit al secondo di dati, secondo il post. NVIDIA afferma che è oltre 500 volte più veloce dei flussi di dati EELS convenzionali.

Nel flusso di lavoro descritto da NVIDIA, l’elettronica di lettura FPGA invia i dati del rilevatore via Ethernet e DAQIRI riceve i pacchetti direttamente nella memoria della GPU. L’elaborazione su GPU assembla e corregge i fotogrammi del rilevatore, quindi li riduce a spettri di perdita di energia mentre l’esperimento è in corso.

L’azienda afferma che il calcolo consente anche una risoluzione spaziale submicrometrica a partire da pixel del sensore di 5 micrometri. Il flusso di lavoro permette al team di esaminare le misurazioni e regolare in tempo reale i parametri di acquisizione e le regioni di interesse, secondo il post.

Riordinare i pacchetti via hardware

DAQIRI può delegare il riordinamento dei pacchetti alle schede di rete NVIDIA ConnectX-7 supportate o ai modelli più recenti. Per i formati di sequenza compatibili, la scheda legge i campi della sequenza e colloca ciascun payload nella posizione corretta in memoria, senza ricorrere a una copia software separata per riordinarlo.

Il riordinamento hardware si configura per una specifica coda di ricezione. La configurazione specifica come leggere i numeri di sequenza dalle intestazioni dei pacchetti, quale metodo di riordinamento usare e come gestire i pacchetti mancanti.

La versione introduce anche un motore ibverbs per ricevere e trasmettere pacchetti Ethernet grezzi ad alta velocità. Basato su libibverbs e NVIDIA DevX, è selezionato per impostazione predefinita per i flussi Ethernet grezzi; gli sviluppatori possono anche selezionarlo esplicitamente nella propria configurazione senza modificare il modo in cui usano l’API dell’applicazione.

NVIDIA afferma che i test di benchmark hanno mostrato un throughput per core circa doppio rispetto al precedente backend DPDK predefinito, con pacchetti piccoli e velocità di trasmissione dati estreme. I test citati riguardavano pacchetti fino a 1024 byte e velocità superiori a 200 Gbps sulle piattaforme NVIDIA DGX Spark, NVIDIA IGX Thor e NVIDIA RTX PRO server.

Un confronto con una singola coda su IGX Thor ha mostrato un throughput quasi doppio per pacchetti da 64 e 256 byte, ma simile per pacchetti da 8 KB, secondo l’azienda.

Polling per un feedback più rapido

L’ultima versione consente anche a un thread dell’applicazione di inviare e ricevere pacchetti direttamente, invece di passarli a un worker separato di input/output. Nei test di loopback via cavo, NVIDIA afferma che la modalità di polling diretto ha dimostrato una latenza dall’invio alla ricezione nell’applicazione nell’ordine di 2–4 microsecondi.

Con il motore ibverbs, gli sviluppatori possono usare il polling diretto per le code di controllo, mantenendo l’elaborazione in batch per i flussi di dati ad alto throughput. Il post descrive questa modalità come un’opzione per gli strumenti in cui il feedback dell’analisi su GPU è sensibile alla latenza di comunicazione.

Fonti

  1. Fonte originale · Post del blog NVIDIA developer.nvidia.com

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli