MAServeBench: valutazione comparativa dei sistemi di serving per LLM con carichi di lavoro di collaborazione gerarchica

Abstract degli autori

I sistemi multi-agente (MAS) basati su modelli linguistici di grandi dimensioni (LLM) coordinano agenti specializzati per risolvere compiti complessi, trasformando ogni richiesta dell’utente in operazioni interdipendenti del modello e degli strumenti. A differenza delle richieste indipendenti, queste operazioni diventano disponibili in momenti diversi e utilizzano un contesto in evoluzione mentre gli agenti si coordinano e si scambiano risultati. Ne derivano schemi mutevoli di concorrenza, calcolo e domanda di memoria, che possono far emergere diversi colli di bottiglia nell’hardware per il serving degli LLM. Tuttavia, per valutare comparativamente questi effetti occorre acquisire le regole di collaborazione che generano i carichi di lavoro di serving, andando oltre le richieste osservate durante l’esecuzione. Presentiamo MAServeBench, un benchmark che considera la collaborazione tra agenti come una dimensione configurabile dei carichi di lavoro per la valutazione del serving degli LLM e dell’hardware. Le sue fasi componibili rappresentano il modo in cui gli agenti si coordinano e si scambiano contesto nei flussi di lavoro MAS documentati, consentendo alle esecuzioni native di generare carichi di lavoro diversi anche quando gli input dei compiti e gli strumenti restano invariati. Le Hierarchical Semantic Traces conservano le operazioni effettivamente eseguite e le relative dipendenze, per consentire la riproduzione riproducibile di carichi di lavoro fissi e fornire input ai simulatori di architettura. Le misurazioni collegate ai compiti mettono in relazione questi carichi di lavoro con l’esecuzione del serving e il comportamento dell’hardware GPU/NPU, mostrando perché l’efficienza del serving non si traduce sempre nel completamento tempestivo dei compiti. Il codice del benchmark è disponibile all’indirizzo https://github.com/ShengxuanQiu/MAServeBench.