RSI Arena: verso l’automiglioramento ricorsivo con il feedback umano

Abstract degli autori

Gli agenti di IA possono addestrare autonomamente modelli linguistici utili e migliorarli grazie al feedback degli utenti? Presentiamo RSI Arena, uno studio in due fasi sull’addestramento autonomo successivo a quello iniziale, come passo verso l’automiglioramento ricorsivo. Dieci modelli di frontiera operano come agenti di addestramento, partendo ciascuno da NVIDIA Nemotron 3.5 Lightning 30B-A3B Base. Nella prima fase, della durata di sei giorni, ogni agente dispone di 1.000 ore-GPU e di 300 dollari di credito API su un cluster condiviso di 64 GPU: seleziona autonomamente i dati, implementa le procedure di addestramento e sceglie i checkpoint. Valutiamo i modelli ottenuti su 20 benchmark e attraverso valutazioni umane alla cieca. Tutti e dieci gli agenti producono assistenti funzionanti. Il modello migliore, addestrato da GPT-6 Astra, colma, in mediana, il 76% del divario tra il modello base e Instruct su 12 benchmark di capacità. Anche il suo punteggio nelle preferenze umane è vicino a quello di NVIDIA Instruct dopo una correzione statistica per la lunghezza e la formattazione delle risposte. Nella fase 2, ogni agente riceve le registrazioni dei confronti e i voti relativi al proprio modello della fase 1, oltre a tre giorni aggiuntivi per proseguire l’addestramento. Usando NVIDIA Instruct come riferimento comune nei due cicli di valutazione, osserviamo un miglioramento dalla fase 1 alla fase 2 nel punteggio relativo corretto per lo stile di otto modelli su dieci. Mostriamo che i progressi nei benchmark sono stati modesti, senza un legame chiaro con i miglioramenti nelle preferenze, mentre alcuni agenti hanno incentivato risposte più lunghe e un modello ha mostrato una maggiore propensione ad assecondare richieste dannose su StrongREJECT. RSI Arena offre un contesto verificabile per studiare come il feedback umano possa guidare lo sviluppo autonomo dei modelli. Rappresenta un passo verso l’automiglioramento ricorsivo con feedback umano (RSIHF), in cui le persone contribuiscono a definire che cosa significhi migliorare i sistemi di IA che utilizzano.