TokenRouter: un sistema efficiente per il serving degli LLM con routing a livello di token

Abstract degli autori

Il routing dei modelli linguistici di grandi dimensioni (LLM) distribuisce il lavoro di inferenza tra modelli diversi, spostando in avanti la frontiera di Pareto tra costo e qualità nel serving degli LLM. Sebbene il routing a grana grossa, a livello di sessione o di richiesta, sia ampiamente adottato nei sistemi in produzione, recenti studi sugli algoritmi mostrano che il routing a grana fine, a livello di token, può offrire notevoli miglioramenti in termini di efficienza e qualità. Tuttavia, gestire in modo efficiente l’inferenza con routing a livello di token pone sfide significative ai sistemi esistenti. Progettati per un singolo LLM, i sistemi attuali presentano una grave desincronizzazione dei passaggi e frequenti ritardi nell’ammissione ai batch quando si usa il routing a livello di token; inoltre, impongono agli sviluppatori un’elevata complessità di implementazione. Per affrontare queste sfide, abbiamo progettato TokenRouter, un sistema efficiente e facile da usare per gli sviluppatori, destinato al serving dell’inferenza degli LLM con routing a livello di token. TokenRouter segue il principio «programmazione centrata sulla richiesta, esecuzione centrata sul modello»: gli sviluppatori descrivono la logica di routing dal punto di vista di una singola richiesta, mentre l’ambiente di esecuzione avvia un sottoserver per ciascun LLM e smista le richieste in modo asincrono. Ogni sottoserver impiega uno scheduler che ritarda la formazione dei batch, i cui iperparametri ottimali sono ricavati da un modello matematico del throughput del sistema. Con diversi algoritmi di routing, carichi di lavoro e coppie di modelli, TokenRouter raggiunge un throughput di decodifica da 2,01 a 64,15 volte superiore a quello dei sistemi esistenti, migliorando notevolmente l’efficienza del serving per il routing degli LLM a livello di token. Il nostro codice è disponibile all’indirizzo https://github.com/thu-nics/TokenRouter.