PluginRSI: miglioramento ricorsivo degli harness degli agenti con plugin riutilizzabili

Abstract degli autori

L’harness che circonda un modello linguistico è un fattore determinante per le prestazioni di un agente. I metodi recenti ottimizzano gli harness attraverso la ricerca su programmi completi, nei quali è difficile isolare e riutilizzare i singoli meccanismi. Presentiamo PluginRSI, che rappresenta un harness come una composizione di plugin atomizzati e organizza l’evoluzione degli harness attorno a questi plugin. I singoli plugin vengono migliorati indipendentemente e raccolti in una libreria condivisa, per poi essere ricombinati in nuovi harness a ogni iterazione. PluginRSI supera i metodi esistenti di ottimizzazione degli harness nei compiti di ingegneria del software, interazione con la riga di comando e risposta a domande. Gli harness risultanti mantengono il loro vantaggio anche quando vengono trasferiti ad altri modelli risolutori senza ulteriore ottimizzazione. La libreria di plugin così evoluta accelera le successive ottimizzazioni a partire dall’harness iniziale, favorendo una convergenza più rapida e a livelli più elevati su compiti mai affrontati. Questi risultati mostrano che accumulare meccanismi riutilizzabili costituisce una base efficace per migliorare gli harness nel tempo.