EdgeWise: portare gli agenti per compiti a lungo orizzonte all’edge con la delega selettiva al cloud

Abstract degli autori

I compiti complessi e a lungo orizzonte affidati agli agenti si basano spesso su modelli di frontiera eseguiti nel cloud per ottenere prestazioni elevate. Usare questi modelli in ogni passaggio di una sequenza a lungo orizzonte comporta però un costo di inferenza considerevole, anche se non tutti i passaggi potrebbero richiedere lo stesso livello di capacità del modello. In questo articolo mostriamo che affidare a un LLM soltanto un piccolo sottoinsieme di passaggi chiave consente di ottenere prestazioni paragonabili all’esecuzione interamente affidata a un LLM, riducendo significativamente il costo di inferenza. Sulla base di questa osservazione, proponiamo EdgeWise, un sistema di collaborazione tra edge e cloud che usa un SLM sul dispositivo locale come principale risolutore e delega selettivamente i passaggi critici a un LLM nel cloud quando occorrono maggiori capacità. Per rendere autonoma la delega senza ricorrere a modelli aggiuntivi durante l’inferenza, introduciamo un metodo di apprendimento per rinforzo (RL) a livello di singolo passaggio che ottimizza congiuntamente la risoluzione del compito e la delega, attribuendo in modo granulare il merito delle singole decisioni di delega. Introduciamo inoltre una strategia di delega basata su un valutatore esterno e la usiamo per esaminare sistematicamente le principali scelte progettuali nella collaborazione tra edge e cloud: quando delegare, come prendere le decisioni di delega, quale contesto condividere e con quale frequenza ricorrere all’LLM nel cloud. Gli esperimenti mostrano che EdgeWise eguaglia o supera le prestazioni dell’esecuzione interamente affidata a un LLM, riducendo il costo di inferenza fino al 62% su SWE-Rebench e al 34% su Terminal-Bench 2.1. Abbiamo inoltre installato EdgeWise su una workstation locale, ottenendo risparmi sui costi paragonabili in un contesto pratico di collaborazione tra edge e cloud.