Chi verifica il verificatore? Valutatori ispezionabili che coevolvono con agenti capaci di migliorarsi da soli

Abstract degli autori

Abbiamo modificato l’agente: è davvero migliorato? Ogni ciclo di miglioramento autonomo di un agente risponde a questa domanda centinaia di volte, e ogni risposta arriva da un verificatore. Per i compiti aperti, un verificatore non esiste: al ciclo viene quindi affidata una rubrica scritta a mano oppure un semplice modello linguistico che valuta l’output di un modello simile a sé, aprendo la strada allo sfruttamento delle falle nel sistema di ricompensa e a punti ciechi condivisi. Facciamo evolvere il verificatore stesso: un’espressione ispezionabile costruita a partire da piccoli rilevatori di difetti, per lo più deterministici, sintetizzata raggruppando gli insuccessi, sottoposta a controlli fin dalla creazione e selezionata in base alla concordanza con un insieme di riferimento ancorato di dieci elementi e al consenso sugli output privi di etichetta, mai in base al punteggio dell’agente. Su MBPP+ ottiene un aumento di +0,21 nella concordanza su dati tenuti da parte rispetto alla composizione iniziale scritta a mano, per ogni seed, e alla fine supera anche il semplice modello linguistico che include tra i propri componenti. Un risultato dovrebbe cambiare il modo in cui si convalidano i verificatori coevoluti: eliminando le salvaguardie legate alle ancore, il verificatore degenera in un valutatore privo di utilità che approva sempre tutto; eppure, anche in questa forma, allena le abilità altrettanto bene. Il punteggio nei compiti successivi non può certificare un verificatore che si è evoluto autonomamente. Il punteggio indica però se la risposta è sufficiente, e a questo scopo un verificatore evoluto può fungere da sostituto: Double Ratchet, che abbina il verificatore a un ciclo di abilità gestito lungo il loro ciclo di vita, conserva l’88-110% del miglioramento che la verità di riferimento o una rubrica apportano allo stesso ciclo, nella generazione di codice, nel text-to-SQL aziendale e nella generazione di report senza riferimenti. Quando le abilità evolute hanno sfruttato le falle nella rubrica di valutazione dei report, un valutatore esterno se n’è accorto e l’aggiunta di un rilevatore ha risolto il problema; il valutatore stesso, però, sbagliava finché non gli è stato fornito il contratto del compito.