Specter: inferenza MoE rapida grazie all’offloading speculativo in più passaggi reso possibile dalla quantizzazione

Abstract degli autori

I modelli mixture-of-experts (MoE) spesso superano la capacità di memoria di un singolo acceleratore. Spostare gli esperti nella memoria dell’host crea un grave collo di bottiglia nell’I/O PCIe, perché l’instradamento dipendente dai dati mantiene i trasferimenti sul percorso critico. Presentiamo Specter, un sistema di inferenza che usa la quantizzazione per combinare la decodifica speculativa con l’offloading degli esperti. Il suo modello draft quantizzato e leggero funziona in modo efficiente sul dispositivo, preservando gli schemi di attivazione degli esperti con elevata fedeltà. Questo consente di prevedere con precisione, per più passaggi, quali esperti saranno utilizzati, permettendo al runtime di organizzare in anticipo lo spostamento e l’esecuzione degli esperti, prima della verifica, e di migliorare l’efficienza sia della comunicazione sia dell’esecuzione. Nell’inferenza con una singola richiesta, Specter riduce il tempo per token di output (TPOT) con un’accelerazione media di 1,50x (fino a 1,88x) rispetto al sistema allo stato dell’arte. Specter rende più pratica l’inferenza MoE su una sola GPU con memoria limitata, usando hardware di uso comune. Il nostro codice è disponibile all’indirizzo https://github.com/wwwwwf/specter_asplos.