Mi serve il cloud? Passaggio di controllo a livello di singolo passo basato sull’incertezza per agenti con modelli linguistici piccoli

Abstract degli autori

I modelli linguistici piccoli (SLM) sono interessanti come sistemi di controllo per agenti locali perché riducono il ricorso all’inferenza remota, la latenza e le risorse necessarie per il deployment. Tuttavia, gli errori strutturati relativi agli strumenti possono far fallire un passo dell’agente. I sistemi di instradamento esistenti, di norma, scelgono un modello una sola volta per ogni richiesta. Gli agenti, però, presentano una sequenza di punti decisionali la cui difficoltà cambia dinamicamente in base alle osservazioni intermedie. Proponiamo STEPGATE, un sistema di passaggio di controllo basato sull’incertezza che assegna un punteggio a ogni azione dell’SLM locale e affida selettivamente i passi più difficili a un modello più potente. In un insieme di test separato, derivato da BFCL e composto da 52 compiti a singolo passo, la coppia Qwen2.5-1.5B/7B completa con successo l’82,7% dei compiti, passando al modello più potente nel 30,8% dei casi. I risultati sono del 67,3% usando solo il modello locale e del 75,4% con un passaggio casuale al modello più potente, che avviene nel 33,8% dei casi. In una valutazione separata a più turni, STEPGATE raggiunge un tasso di successo del 69,0% per le traiettorie e dell’84,0% per le azioni, svolgendo nel cloud solo il 30,0% delle azioni. I risultati corrispondenti sono del 48,0%/70,5% usando solo il modello locale, del 60,0%/78,2% con il passaggio casuale e del 57,0%/77,1% con l’instradamento a livello di richiesta; usando solo il modello più potente, il successo delle traiettorie arriva all’82,0%, con il 100% delle azioni svolte nel cloud. Questi risultati suggeriscono che il passaggio al modello più potente a livello di singolo passo colma gran parte del divario di prestazioni rispetto al backend Qwen2.5-7B, a parità di quota di azioni svolte nel cloud, trasmettendo al contempo meno token da remoto. La nostra valutazione è tuttavia limitata a una sola famiglia di modelli, a un unico backend più potente e a compiti basati su script. Inoltre, gli insiemi di test sono piccoli, i confronti a più turni si basano su intervalli per dati appaiati e test statistici, e i nostri livelli di rischio servono come annotazioni di ricerca, non come garanzie formali di sicurezza.