Speculazione a livello di traiettoria con verifica semantica per agenti che usano strumenti

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni risolvono compiti attraverso lunghe sequenze di chiamate a strumenti. Nell’impostazione prevalente, un unico modello potente genera ogni passaggio, benché molti siano abbastanza ordinari da poter essere gestiti da un modello molto più piccolo. I metodi esistenti per suddividere questo lavoro mantengono il modello potente nel ruolo di generatore: i router e gli agenti collaborativi decidono quale modello gestisce ogni richiesta o passaggio, mentre i metodi speculativi verificano le bozze di un modello piccolo un passaggio alla volta, di solito confrontandole con l’azione del modello potente stesso. Presentiamo SpecAgent, un protocollo di collaborazione che trasforma il modello potente da autore di ogni passaggio a revisore dei passaggi preparati da un modello debole. Mentre prepara la bozza, il modello debole esegue chiamate a strumenti di sola lettura, così che ogni passaggio si basi su osservazioni reali, e tiene in sospeso la prima azione che modificherebbe l’ambiente. Il modello potente verifica poi il segmento preparato in un’unica passata di prefill, conferma il prefisso più lungo che giudica semanticamente valido e corregge il primo passaggio respinto. Poiché la verifica sostituisce la decodifica autoregressiva con un prefill parallelo, il modello potente decodifica soltanto brevi giudizi e correzioni occasionali, anziché ogni passaggio. Su $τ^2$-Bench, il tasso di successo di SpecAgent si colloca a un punto da quello del modello potente, mentre il traffico di memoria e il tempo effettivo di esecuzione si riducono all’incirca della metà. Su AutomationBench e VitaBench recupera il 44-75% del divario di qualità, riducendo entrambi. In un’implementazione edge-cloud su MCP-Atlas con tre modelli cloud, colma il 53-75% del divario di qualità tra il modello debole e quello potente, mentre il modello potente genera al massimo la metà dei token. Questi risultati suggeriscono che un modello potente non debba necessariamente essere l’autore di ogni passaggio di un agente: la revisione di bozze basate su osservazioni reali conserva gran parte della sua qualità, riducendo sia la latenza sia il traffico di memoria.