AgSpec: spingere ai limiti la decodifica speculativa basata sul recupero nelle pipeline di agenti per la programmazione

Abstract degli autori

La decodifica speculativa (SD) basata sul recupero prepara sequenze di token copiando la continuazione di testi esistenti. Si presta quindi agli agenti per la programmazione, che riproducono ripetutamente codice, log e tentativi precedenti. I metodi esistenti, però, mostrano limiti nelle pipeline di agenti: gran parte del testo riutilizzabile manca dai loro corpora oppure vi è conservata in una forma diversa da quella prodotta dall’agente; inoltre, le lunghezze delle sequenze preparate non tengono conto del fatto che la lunghezza della sequenza accettata varia da un agente all’altro e cambia nel corso dei turni. Presentiamo AgSpec, un framework che fornisce i corpora e le regole per stabilire la lunghezza delle sequenze preparate di cui i sistemi di recupero esistenti sono privi nelle pipeline di agenti per la programmazione. AgSpec recupera testo dai corpora della sessione, dello spazio di lavoro e globali, conservando la traiettoria della sessione in corso e indicizzando i file aperti nel formato in cui l’agente produce il testo. Per ciascun agente, limita la lunghezza delle sequenze preparate in base a una soglia determinata tramite profilazione offline e la adatta online in base al feedback della verifica. Su due benchmark di programmazione multiagente a livello di repository, AgSpec supera cinque sistemi basati sul recupero per la preparazione delle sequenze ed EAGLE-3 nella maggior parte delle configurazioni valutate, portando il throughput di generazione rispetto alla decodifica autoregressiva fino a 4,37$\times$ con una dimensione del batch pari a 1 e a 4,76$\times$ con una dimensione del batch pari a 16. AgSpec resta efficace anche su benchmark senza repository o pipeline multiagente, mostrando che i suoi vantaggi si estendono più in generale agli agenti per la programmazione.