Potenziare gli agenti edge: un’analisi sistematica della collaborazione edge-cloud nell’esecuzione degli agenti basati su LLM

Abstract degli autori

La collaborazione edge-cloud combina il minore overhead di inferenza e la maggiore località dei dati dell’esecuzione sul lato edge con le capacità superiori dei modelli ospitati nel cloud. Tuttavia, man mano che gli agenti basati su LLM operano sempre più spesso in scenari a lungo termine, il coinvolgimento del cloud si distribuisce lungo l’intera esecuzione, anziché costituire una decisione una tantum per ogni richiesta. Questo coinvolgimento intermittente produce effetti a livello di traiettoria che restano ancora poco compresi. Per colmare questa lacuna, presentiamo EC2-Bench, un benchmark per valutare la collaborazione edge-cloud nell’esecuzione di agenti a lungo termine. Offre compiti eseguibili per agenti in ambienti di lavoro digitali e un quadro di valutazione unificato che comprende le prestazioni nei compiti, l’uso delle risorse e l’esposizione della privacy. Con questo benchmark studiamo empiricamente diverse forme di collaborazione edge-cloud. Lo studio mette in luce tre risultati. Primo, rispetto all’esecuzione esclusivamente sul lato edge o nel cloud, la collaborazione raggiunge un equilibrio favorevole tra prestazioni nei compiti, uso delle risorse ed esposizione della privacy. Secondo, con il miglioramento dei modelli edge, le prestazioni dell’esecuzione collaborativa si avvicinano a quelle dell’esecuzione esclusivamente nel cloud e le differenze tra le strategie si riducono, mentre l’esposizione della privacy continua a dipendere fortemente dalla strategia adottata. Terzo, il rafforzamento delle capacità edge sposta la preferenza dal coinvolgimento del cloud controllato dall’esterno e dall’esecuzione diretta nel cloud verso forme di collaborazione maggiormente controllate dal lato edge. Ulteriori analisi individuano nella capacità di decidere quando invocare il cloud e in quella di seguire le istruzioni due importanti capacità sul lato edge per una collaborazione efficace. Questi risultati offrono una comprensione sistematica della collaborazione edge-cloud nell’esecuzione di agenti a lungo termine e indicazioni per progettare futuri agenti edge capaci di collaborare efficacemente con i modelli cloud. Il codice e le risorse sono disponibili all’indirizzo https://github.com/OpenBMB/EC2-Bench.