Vai al contenuto
AI.info

The Pulse

FlashInfer su ROCm instrada automaticamente i kernel delle GPU AMD

La release di FlashInfer sceglie tra la libreria AITER di AMD e i kernel HIP integrati nel progetto per le chiamate di attenzione supportate. Aggiunge anche il prefill FP8, operazioni mixture-of-experts fuse e altre funzionalità, ma deve essere compilata dai sorgenti.

FlashInfer su ROCm instrada automaticamente i kernel delle GPU AMD

FlashInfer su ROCm sceglie ora tra la libreria AITER di AMD e i kernel HIP integrati nel progetto per le chiamate di attenzione supportate, usando un backend automatico predefinito. La release, descritta in un post sul blog di AMD del 20 novembre, aggiunge anche il prefill FP8, operazioni mixture-of-experts fuse e il decode AITER durante l’acquisizione di grafi CUDA.

FlashInfer è una libreria open source di kernel per l’attenzione e il serving di modelli linguistici di grandi dimensioni. La release per ROCm supporta le GPU AMD Instinct MI300X, MI325X, MI350X e MI355X. I suoi wrapper per decode, prefill e attenzione latente multi-head (MLA) mantengono le firme e l’ordine degli argomenti di FlashInfer upstream v0.6.18.

Come funziona l’instradamento

Il prefill single, batch paged e batch ragged, così come il batch decode, dispongono sia di backend AITER sia di backend HIP integrati nel progetto. Per le chiamate di attenzione, l’impostazione automatica verifica innanzitutto se AITER è in grado di gestire i tipi di dati, il layout della cache chiave-valore, le maschere e le dimensioni delle head, quindi applica regole di instradamento specifiche per l’architettura.

AMD afferma che queste regole si basano sui test e sui benchmark condotti sulle GPU CDNA3 e CDNA4. Il percorso integrato nel progetto gestisce le chiamate che AITER non è in grado di servire, tra cui una cache chiave-valore FP8 letta da una query a 16 bit e il batch decode che usa tensor core.

MLA e le operazioni mixture-of-experts fuse usano solo AITER. Le operazioni di normalizzazione, attivazione, embedding posizionale rotazionale e aggiunta alla cache chiave-valore usano per impostazione predefinita kernel integrati nel progetto; per alcuni punti d’ingresso è possibile attivare AITER come opzione.

Dopo aver pianificato una chiamata di batch prefill o batch decode, il wrapper segnala il backend selezionato e, nella maggior parte dei casi in cui AITER rifiuta la chiamata, il motivo del ripiego. I kernel di attenzione AITER vengono lanciati dal codice C++ di FlashInfer; MLA fa eccezione e usa AITER tramite Python.

Nuove operazioni e limiti

La release include anche operazioni di attenzione a cascata, MLA ed embedding posizionale rotazionale standalone, che erano in fase di sviluppo nella release precedente dedicata all’attenzione nel prefill. POD-Attention sovrappone prefill e decode in un unico kernel.

L’operazione mixture-of-experts fusa supporta bf16 e fp16, oltre ai pesi degli esperti FP8. Ogni peso degli esperti deve prima essere sottoposto a pre-shuffling, dopo la quantizzazione nel caso dei pesi FP8.

I kernel integrati nel progetto per la cache chiave-valore FP8 usano codifiche FNUZ su entrambe le architetture supportate e rifiutano le codifiche OCP. Su gfx950, una cache scritta in float8_e4m3fn per il prefill FP8 di AITER non può anche essere letta dal decode: il decode integrato nel progetto rifiuta quella codifica, mentre il decode AITER accetta solo cache chiave-valore a 16 bit.

Alcuni moduli upstream non sono supportati su ROCm perché avvolgono librerie disponibili solo per CUDA o altri componenti specifici di CUDA. Altre operazioni, tra cui flashinfer.topk e l’aggiornamento selettivo dello stato in flashinfer.mamba, non hanno un’implementazione per ROCm.

Compilazione e build

La configurazione supportata usa ROCm 10.1.0, PyTorch 2.12.0, Python 3.12, Ubuntu 24.04 e amd-aiter 0.1.21.post2 compilato dai sorgenti. Per la release non è pubblicato alcun wheel né immagine precompilata, quindi FlashInfer su ROCm deve essere compilato dal repository.

Alcune operazioni di attenzione, aggiunta alla cache e mixture-of-experts fuse possono essere compilate con torch.compile se il flag custom-operations viene impostato prima di importare FlashInfer. AMD avverte che PyTorch 2.12 può compilare silenziosamente in modo errato un’operazione che scrive in una vista di un tensore più grande e specifica che, per append_paged_kv_cache, le cache delle chiavi e dei valori devono essere allocate separatamente.

Fonti

  1. Fonte originale · Post del blog AMD ROCm Blogs rocm.blogs.amd.com

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli