Vai al contenuto
AI.info

The Pulse

Exa afferma che le ottimizzazioni sui chip AWS hanno aumentato di circa il 50% il throughput di generazione degli embedding

Exa riferisce di aver raggiunto un throughput di generazione degli embedding circa 1,5 volte superiore a quello iniziale dopo aver ottimizzato i workload sui chip AWS Inferentia2. Il lavoro è stato svolto mentre l’azienda di ricerca generava nuovamente gli embedding di 30 miliardi di documenti ad alta priorità per un nuovo modello.

Exa afferma che le ottimizzazioni sui chip AWS hanno aumentato di circa il 50% il throughput di generazione degli embedding

Exa afferma di aver portato il throughput del proprio workload di generazione degli embedding dei documenti a circa 1,5 volte il livello iniziale, ottimizzandolo per i chip AWS Inferentia2. In un post del 18 novembre sul blog AWS dedicato al machine learning, l’azienda di ricerca ha inoltre riferito di aver migliorato del 47% le prestazioni e il costo per 1 milione di documenti sottoposti a embedding rispetto al livello iniziale di riferimento.

Fonte aws.amazon.com

Il lavoro è stato svolto mentre Exa selezionava 30 miliardi di documenti ad alta priorità per generarne nuovamente gli embedding con un nuovo modello di documenti. L’esecuzione in parallelo delle pipeline di embedding, quella live e quella nuova, ha raddoppiato il carico di inferenza durante la migrazione.

Perché la capacità di generare embedding è importante

Exa crea un indice usando dati web, oltre a fonti private e sintetiche. L’azienda utilizza modelli di machine learning per collocare documenti web e query nello stesso spazio vettoriale, consentendo ricerche in linguaggio naturale accanto alla ricerca per parole chiave.

I documenti che superano la soglia di qualità dell’azienda passano attraverso una pipeline asincrona prima di poter essere serviti dal suo database vettoriale interno. Prima di generare gli embedding, la pipeline esegue crawling, parsing, moderazione e filtraggio dei dati.

I dati riportati su Inferentia2 si riferiscono a un’istanza inf2.xlarge con un chip e due NeuronCores. Il workload viene eseguito su un singolo NeuronCore, con pod Kubernetes distribuiti su istanze più grandi; lo stesso processo viene eseguito anche su un NeuronCore Trainium2 e si espande tramite parallelismo dei dati.

Modifiche al workload

Il punto di partenza era una versione del modello FP16 con parallelismo dei dati. Exa ha poi modificato la disposizione dei pesi del modello per evitare trasposizioni non necessarie e ha abilitato autocast, consentendo al compilatore di usare una precisione inferiore per la moltiplicazione di matrici, preservando al contempo l’intervallo dinamico.

Secondo il post, gli output a precisione inferiore hanno soddisfatto la soglia di correttezza dell’azienda, pari a 0,999 di similarità coseno rispetto al riferimento. Un kernel di attenzione precompilato della libreria Neuron Kernel Interface ha fornito un ulteriore aumento delle prestazioni.

La profilazione ha mostrato che i dati venivano trasferiti ripetutamente nella memoria ad alta banda e ricaricati da essa, lasciando il Tensor Engine sottoutilizzato durante il passaggio forward. Il team ha scritto un kernel MLP SwiGLU fuso personalizzato, che, afferma, ha eliminato queste attese dovute alla memoria.

Exa ha inoltre riscritto il kernel di attenzione sulla base delle forme presenti nel proprio modello, per ridurre i calcoli dovuti al padding. Ha combinato le operazioni di attenzione in singole moltiplicazioni di matrici, laddove il kernel generico usava più passaggi di istruzioni, riducendo le operazioni nei cicli interni e gli accessi ripetuti alla memoria.

Agenti e pianificazione del calcolo

Gli agenti hanno sviluppato le ottimizzazioni utilizzando un sistema per verificare la correttezza, misurare le prestazioni e profilare il workload. Ogni agente esegue un workflow con Flyte, che compila un eseguibile Neuron e verifica un passaggio forward rispetto a un dataset di riferimento, richiedendo una similarità coseno di 0,999 con il modello canonico.

Il workflow profila anche un passaggio forward ed esegue sull’hardware un benchmark di saturazione di 30 minuti. Modelli più leggeri esplorano i parametri del compilatore, agenti di ragionamento verificano ipotesi e individuano colli di bottiglia, mentre agenti di generazione del codice scrivono kernel personalizzati.

L’azienda ha ottimizzato Inferentia2 nella Regione US West (Oregon), estendendo poi il lavoro a Trainium2. Exa pianifica il calcolo su più Regioni da un unico piano di controllo Kubernetes, confronta le prestazioni per dollaro tra i tipi di istanza e colloca i pod sui nodi meno costosi al variare della domanda di generazione degli embedding.

Fonti

  1. Fonte originale · Post del blog Amazon Web Services aws.amazon.com

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli