EvalResearchBench: gli agenti di IA possono creare da soli il feedback per l’automiglioramento ricorsivo?

Abstract degli autori

L’automiglioramento ricorsivo (RSI) si basa sul feedback delle valutazioni per misurare i progressi e orientare la ricerca successiva, ma eseguire ripetutamente benchmark complessi è costoso e rallenta le iterazioni. Gli esperti umani riducono questo costo selezionando sottoinsiemi di benchmark o progettando batterie di test compatte. Ci chiediamo se gli agenti di IA possano automatizzare questo processo di progettazione e presentiamo EvalResearchBench (ERB), un benchmark per la ricerca autonoma sulle valutazioni. A partire dai materiali dei benchmark obiettivo, dai riferimenti per lo sviluppo, dalle API dei modelli candidati e da budget prestabiliti di tempo e per le API, un agente chiamato researcher seleziona o sintetizza compiti, implementa sistemi di valutazione e li rivede mediante test pilota, prima di rendere definitivo un valutatore eseguibile per la programmazione, il lavoro collaborativo e il ragionamento. Studiamo 9 ricercatori e 13 modelli candidati e confrontiamo ciascun valutatore definitivo con 14 benchmark obiettivo, misurando la concordanza dei punteggi e quella a coppie. I valutatori migliori ordinano circa il 75\% delle coppie di modelli candidati nello stesso modo dei benchmark obiettivo, al di sotto del limite del 91\% determinato dalle divergenze tra questi ultimi. Nessun ricercatore primeggia in tutte le metriche, e il valutatore migliore sui benchmark obiettivo usati per lo sviluppo non è il migliore su quelli riservati, nascosti al ricercatore. Un campione di compiti pubblici progettato da esseri umani rimane un solido termine di confronto, e il valutatore con il costo di esecuzione registrato più basso ottiene la concordanza a coppie più alta. Gli agenti correggono i compiti e i sistemi di valutazione in base al feedback dei test pilota, ma i loro valutatori possono comunque troncare le risposte, esaurire il budget di valutazione o lasciare che poche domande dominino il punteggio di un ambito.