Valutare l’applicabilità delle ottimizzazioni per l’inferenza degli LLM su Apple Silicon

Abstract degli autori

Apple Silicon è tra le piattaforme più diffuse per l’inferenza locale degli LLM, eppure quasi tutte le ottimizzazioni per l’inferenza sono progettate e convalidate su GPU NVIDIA di classe server, con carichi di lavoro di serving in batch. Quali ottimizzazioni mantengono i propri vantaggi quando vengono trasferite su Apple Silicon, e da cosa dipende la loro applicabilità? Valutiamo quattro famiglie di ottimizzazioni: la riduzione selettiva della cache KV, la decodifica speculativa, i kernel GPU adattati e la quantizzazione post-addestramento. Gli esperimenti si svolgono su quattro macchine Apple con un carico di lavoro comune di decodifica di una singola richiesta, includendo, ove possibile, confronti a parità di condizioni con RTX 4090. Su Apple, la riduzione selettiva della cache KV può portare la capacità di elaborazione end-to-end fino a 1,75 volte quella di partenza, ma può ridurla sulle GPU NVIDIA per desktop. Nel benchmark comune, tutti i metodi di decodifica speculativa valutati riducono la capacità di elaborazione su Apple, nonostante gli incrementi da 2 a 6 volte riportati per le GPU server. Le soluzioni per i kernel CUDA sono trasferibili solo in parte: la versione pubblica di Metal non supporta la copia asincrona e la decodifica con batch di dimensione uno rende inapplicabili diversi meccanismi pensati per il serving, anche se i componenti trasferibili portano la capacità di elaborazione nella decodifica fino a 1,20 volte quella di partenza. I vantaggi della quantizzazione variano da una macchina all’altra. Considerando le quattro famiglie, un’accelerazione riportata non è una proprietà trasferibile della sola tecnica, ma dipende congiuntamente dalla tecnica, dal runtime, dai vincoli dell’hardware e dal tipo di carico di lavoro.