ParetoRSI-Gym: gli agenti di IA possono migliorare i modelli linguistici in più ambiti?

Abstract degli autori

Il miglioramento ricorsivo di sé (RSI) richiede che un sistema agentico progetti, addestri e valuti il proprio successore. Il post-addestramento basato sui dati è una parte centrale di questo ciclo, ma le valutazioni esistenti lo misurano su un unico benchmark, in cui un agente sceglie da un insieme statico di dati oppure distilla un modello più potente per aumentare un solo punteggio in una singola esecuzione. Il post-addestramento reale riguarda più ambiti, e un miglioramento in uno va soppesato rispetto a un peggioramento in un altro. Proponiamo ParetoRSI-Gym, in cui un agente cerca dati, li seleziona, addestra il modello, esamina i risultati per ciascun ambito e ripete il ciclo, lasciando invariato tutto tranne i dati: l’LLM iniziale, i cinque ambiti (matematica, codice, finanza, medicina, scienza), gli strumenti e la pipeline SFT. I benchmark di generalizzazione in ciascun ambito permettono di distinguere i miglioramenti delle capacità dall’overfitting rispetto ai punteggi che l’agente cerca di ottimizzare. Su tre sistemi agentici, tre modelli di base, cinque cicli e diversi seed, il sistema più efficace, Claude Code con Opus-5, aumenta del 9,2% rispetto al modello iniziale i punteggi di generalizzazione del proprio checkpoint migliore secondo la metrica proxy (+2,3 punti assoluti), calcolando la media con lo stesso peso per tre modelli di base e cinque ambiti. Il miglioramento relativo in un singolo ambito arriva fino al 63% (medicina su Ministral-3-3B). Un’ulteriore analisi mostra che l’infrastruttura che gestisce il modello conta quanto il modello stesso e che ogni agente mantiene una propria strategia di selezione dei dati. Consideriamo il nostro lavoro un passo verso la valutazione dei sistemi RSI nell’ingegneria del machine learning in contesti reali.