RSIHub: un framework componibile per i metodi di evoluzione degli agenti

Abstract degli autori

I metodi di evoluzione degli agenti usano il feedback dell’esecuzione per migliorare prompt, competenze, strumenti e orchestrazione, ma le loro implementazioni spesso ricostruiscono la stessa infrastruttura sperimentale. Presentiamo RSIHub, un framework open source per sviluppare, confrontare ed estendere questi metodi su un’infrastruttura condivisa. Le ricette combinano operatori riutilizzabili e dichiarano le risorse modificabili; RSIHub fornisce esecuzione, valutazione, ripristino e tracciabilità della genealogia. I ricercatori possono concentrarsi sulla strategia di evoluzione, mentre la valutazione resta al di fuori della parte modificabile e i risultati rimangono associati ai candidati e alle condizioni di valutazione. Implementiamo AHE, Hyperagents, A-Evolve e GEPA senza modificare il nucleo del framework, mantenendo la logica specifica di ciascun metodo nelle ricette e negli operatori. Li valutiamo con MiniSWE e Codex su Terminal Bench 2 e $τ^3$ Banking, con configurazioni fisse del modello e del valutatore. Il maggiore incremento complessivo osservato di pass@1 è di 13,5 punti percentuali, mentre le classifiche dei metodi variano a seconda delle configurazioni e i miglioramenti ottenuti con l’ottimizzazione non si trasferiscono sempre ai compiti tenuti da parte. RSIHub offre un protocollo comune per confrontare le strategie di evoluzione, cronologie dei candidati consultabili e componenti riutilizzabili per sviluppare nuovi metodi.