Vai al contenuto
AI.info

The Pulse

AMD riferisce kernel di raccordo per l’inferenza più veloci grazie alle configurazioni fissate di AITER

AMD ha misurato kernel di raccordo più veloci in due modelli di produzione non specificati, usando configurazioni selezionate offline e incluse insieme al testo dei kernel. L’azienda afferma che i miglioramenti sono stati misurati rispetto all’unica configurazione predefinita di TorchInductor, con un vantaggio minore rispetto all’autotuning a lista aperta.

AMD riferisce kernel di raccordo per l’inferenza più veloci grazie alle configurazioni fissate di AITER

Le configurazioni selezionate offline hanno reso i kernel di raccordo per l’inferenza 1,388 volte più veloci su un modello di produzione e 2,846 volte più veloci su un altro rispetto all’unica configurazione predefinita di TorchInductor, ha riferito AMD in un post tecnico. Rispetto all’autotuning a lista aperta, l’accelerazione misurata dei kernel sul secondo modello è stata di 1,15 volte.

Fonte rocm.blogs.amd.com

Le misurazioni riguardano due modelli di produzione non specificati, chiamati Model A e Model B, con rispettivamente 143 e 25 kernel di raccordo. Le accelerazioni riportate riguardano quei kernel, non la latenza complessiva delle richieste.

Fissare le configurazioni al testo dei kernel

Il lavoro si concentra sui piccoli kernel che circondano operazioni più ampie, come la moltiplicazione di matrici e l’attention. Questi kernel di raccordo gestiscono attività come conversioni di tipo, concatenazioni, normalizzazioni, attivazioni e operazioni di gather; TorchInductor li genera in Triton.

Nell’approccio descritto da AMD, le configurazioni candidate vengono testate offline anziché cronometrate all’avvio, e una configurazione che supera i controlli e migliora la traccia viene scritta nel pacchetto. AITER è una libreria di kernel Triton per le GPU AMD Instinct; il pacchetto ottimizzato può includere sia il corpo di un kernel sostitutivo sia una configurazione selezionata.

La conversione lascia intatto il grafo: ogni fusione continua a chiamare una funzione con gli stessi puntatori e la stessa griglia. I kernel vengono associati alle configurazioni fissate usando un’impronta digitale ricavata dall’hash SHA-256 del testo della funzione Triton, a cui viene rimosso il suffisso numerico e il cui risultato viene troncato a 20 caratteri esadecimali. Se due configurazioni fissate con la stessa impronta non concordano, il nome del kernel corrispondente determina quale viene applicata.

Separare le modifiche al corpo dai parametri di ottimizzazione

I test hanno separato la sostituzione del corpo di un kernel dalla modifica di una configurazione. La baseline manteneva il corpo del kernel di TorchInductor e usava un’unica configurazione predefinita per i kernel di raccordo; nella fase AITER il corpo veniva sostituito, mantenendo quella configurazione predefinita. Una fase ottimizzata modificava poi la configurazione, mentre un controllo applicava le configurazioni ottimizzate al corpo generato dal compilatore.

Per Model A, la sostituzione del corpo riguardava tre kernel SiLU su 143. Per Model B, 24 file su 25 corrispondevano al testo del compilatore, mentre il file rimanente differiva solo per costanti che la procedura di compilazione reinizializza.

AMD afferma che la ricerca per Model A ha testato 5.220 configurazioni candidate, di cui 1.329 non hanno superato il controllo bit a bit; nessuna ha fallito la compilazione. La ricerca ha selezionato nuove configurazioni per 67 kernel e ha lasciato gli altri 76 con la configurazione di baseline. Delle 67 configurazioni selezionate, 12 corrispondevano a una configurazione generata dall’euristica del compilatore per quel kernel, mentre 55 non corrispondevano.

Controlli e limiti

Ogni kernel è stato sottoposto a tre cicli di cinque ripetizioni; i tre candidati più veloci che avevano superato i controlli sono stati verificati in sette cicli di dieci, alternandoli alla baseline. Un candidato veniva mantenuto se la sua mediana era almeno dello 0,5 per cento più veloce e il suo valore massimo nei cicli di verifica era inferiore al valore minimo della baseline.

Per Model B, 17 kernel hanno ricevuto una nuova configurazione, sei hanno mantenuto quella precedente perché nessun candidato ha superato la soglia dello 0,5 per cento e due non hanno avuto candidati che superassero i controlli. Una sigmoid veloce che ammetteva un errore di un’unità all’ultima posizione in bf16 non è stata mantenuta perché rendeva più lenti i kernel di raccordo su entrambi i modelli.

L’azienda ha inoltre riferito una variabilità in tre compilazioni con autotuning a lista aperta per Model A: 1618,9, 1769,8 e 1863,5 microsecondi, con uno scarto di 245 microsecondi. Queste esecuzioni non erano state controllate per verificare la presenza di un altro processo sulla GPU.

Gli autori affermano che l’approccio è adatto a forme fisse e non è utile quando il percorso più sollecitato continua a essere una moltiplicazione di matrici non ottimizzata, la forma cambia a ogni passaggio o il tempo è dovuto a un lancio che il corpo del kernel non può eliminare tramite fusione. La latenza delle richieste è stata misurata separatamente, con il profiler disattivato.

Fonte

  1. AMD ROCm Blogs

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli