EvoWeb: un benchmark per agenti di programmazione alle prese con applicazioni web in evoluzione

Abstract degli autori

Lo sviluppo di applicazioni web procede spesso attraverso richieste successive che ampliano un’implementazione esistente. Eppure, i benchmark per la generazione di applicazioni web valutano soprattutto lo sviluppo rispetto a specifiche fisse. Presentiamo EvoWeb, un nuovo benchmark che comprende 320 richieste cumulative relative a 32 applicazioni web, basate su funzionalità di prodotti reali e strutturate secondo grafi delle dipendenze funzionali. Gli agenti modificano iterativamente una base di codice persistente, mentre un agente web multimodale verifica ogni versione intermedia dell’applicazione in un browser attivo, valutando le funzionalità appena richieste, l’integrazione tra richieste e le funzionalità richieste in precedenza. Per caratterizzare l’affidabilità lungo tutto lo sviluppo, integriamo le prestazioni della traiettoria su diverse soglie di tolleranza degli utenti, anziché imporre un criterio di arresto fisso. Esperimenti condotti su modelli di frontiera open source e a codice chiuso mostrano che EvoWeb mette in luce nette differenze di prestazioni tra i modelli e che l’integrazione tra richieste rappresenta una sfida cruciale. Ulteriori analisi mostrano che le richieste successive con dipendenze più profonde o più numerose vengono risolte con minore accuratezza, mentre gli errori di esecuzione diventano più frequenti con il susseguirsi delle richieste. EvoWeb offre un banco di prova per valutare e migliorare gli agenti di programmazione nello sviluppo a lungo termine basato su richieste multiple.