TAO: schedulazione congiunta che tiene conto dei tool per il serving agentico basato su LLM

Abstract degli autori

I servizi agentici alternano l’inferenza dei modelli su GPU in cluster all’uso di tool esterni su CPU distribuite. In questo scenario, i sistemi esistenti (1) non tengono conto della disponibilità dei risultati restituiti dai tool nella valutazione del servizio, sprecando risorse limitate, e (2) usano strategie euristiche per decidere l’ammissione e l’assegnazione alle GPU, con decisioni di schedulazione subottimali. Per colmare questa lacuna, presentiamo TAO, un framework di schedulazione congiunta che tiene conto dei tool per il serving agentico basato su LLM. La sua interfaccia di valore combina la disponibilità a breve termine dei tool, il credito di cache specifico per nodo con un decadimento che tiene conto del tempo e l’occupazione in termini di token; un programma dinamico seleziona e assegna congiuntamente le sessioni in attesa nel rispetto dei vincoli di capacità. Nelle 12 configurazioni di modello, carico di lavoro e concorrenza riportate, TAO riduce la latenza fino al 26,8%, riduce il tempo medio al primo token (TTFT) fino al 36,3% e aumenta il throughput di decodifica fino al 29,5% rispetto alla migliore baseline allo stato dell’arte valutata per ciascuna metrica.