Vai al contenuto
AI.info

The Pulse

Uno studio sostenuto da Microsoft rileva costi inferiori per gli agenti di programmazione grazie a TokenEconomizer

Un team di ricerca ha rilevato che TokenEconomizer ha ridotto i costi medi dal 18,4% al 30,9% nei test sugli agenti di programmazione. Il plugin open source apprende dalle sessioni precedenti svolte in un repository senza modificare l’agente né il modello sottostante.

Uno studio sostenuto da Microsoft rileva costi inferiori per gli agenti di programmazione grazie a TokenEconomizer

Secondo un articolo di ricerca di un team che include ricercatori di Microsoft, un plugin open source ha ridotto dal 18,4% al 30,9% il costo medio di esecuzione degli agenti di programmazione basati sull’IA, in test su attività reali di correzione di bug. I ricercatori hanno riferito che, nel complesso, il successo nelle attività è rimasto comparabile; la misura del successo Pass@1 è migliorata in quattro delle cinque combinazioni di agente e modello.

Fonte arxiv.org

Microsoft Research ha descritto i risultati in un post del 16 novembre. Il progetto, chiamato TokenEconomizer, è una collaborazione tra UC Berkeley, Microsoft Research e Microsoft Security; l’articolo è stato pubblicato come preprint il 15 ottobre.

Test su attività di programmazione

Il team di ricerca ha testato il controller su 277 attività SWE-Bench provenienti da sei repository, usando cinque combinazioni di agente e modello. Il benchmark consiste in correzioni di bug reali in progetti Python open source.

Ogni repository è partito senza una cronologia di sessioni precedente. I ricercatori hanno riferito che i costi sono diminuiti in ogni repository per ciascuna delle combinazioni testate, mentre ridurre lo sforzo di ragionamento di un modello ha permesso di risparmiare cifre simili o maggiori, ma ha peggiorato notevolmente le prestazioni.

Secondo Microsoft Research, le prime attività potevano costare di più mentre il controller apprendeva; tuttavia, nei test con Claude Code, entro la sesta attività i costi cumulativi erano scesi al di sotto del valore predefinito in ogni repository. I risparmi riportati includono il costo delle chiamate al modello effettuate da TokenEconomizer.

In un’altra serie di test, il team ha valutato 102 attività Web-Bench distribuite su cinque progetti di sviluppo web e 200 attività provenienti da due benchmark di audit della sicurezza. Il team ha riportato riduzioni dei costi dal 16,0% al 21,2% su Web-Bench e dal 6,4% al 19,6% sui benchmark di sicurezza, mentre i risultati sulle rispettive misure di qualità sono rimasti comparabili a quelli dell’esecuzione predefinita.

Cosa apprende il controller

Il plugin legge il registro delle sessioni di un agente al termine del lavoro e aggiorna le proprie conoscenze del repository. Funziona tramite interfacce già offerte dall’agente, senza modificarlo né intervenire sul modello sottostante.

Un meccanismo crea brevi note specifiche per il repository, chiamate micro-skill, a partire da schemi ricorrenti nelle diverse sessioni. Le note vengono inserite nel contesto iniziale dell’agente dopo che diverse sessioni hanno confermato uno schema; il controller le ritira se prove successive lo contraddicono.

Un secondo meccanismo rimuove gli strumenti che, stando alla cronologia di un repository, è improbabile vengano utilizzati, mantenendo però gli strumenti essenziali per i comandi e la modifica dei file. Gli strumenti rimossi possono essere ripristinati se necessario.

Un modello giudice verifica anche se un agente che incontra fallimenti ripetuti è bloccato o sta ancora facendo progressi. Se è bloccato, l’agente riceve un breve suggerimento per provare un approccio diverso; se resta bloccato anche dopo, il plugin open source avvisa lo sviluppatore invece di interrompere il lavoro.

Dove si ripetono i costi

Un’analisi di profiling separata ha esaminato Claude Code su 60 attività SWE-Bench distribuite su sei repository. Secondo i ricercatori, una volta che un repository aveva almeno cinque attività completate, il 30% delle chiamate agli strumenti ripeteva un’azione svolta in un’attività precedente nello stesso repository, rispetto al 7% che corrispondeva a un’azione presente nella cronologia di un altro repository.

I ricercatori hanno inoltre rilevato che a ogni turno l’agente riceveva 23 descrizioni degli strumenti, sebbene 16 strumenti non fossero mai stati chiamati. Nell’analisi di profiling, le attività fallite rappresentavano il 17% del totale, ma il 32% della spesa.

Il plugin supporta Claude Code, Codex, GitHub Copilot CLI e Pi, con supporto sperimentale per altri agenti. Le informazioni apprese restano sul computer dello sviluppatore e il plugin non richiede una propria chiave API.

Fonti

  1. TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents
  2. Microsoft Research
  3. Microsoft on GitHub

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli