A-RSI: aggiornamento adattivo dei compiti per l’auto-miglioramento multimodale senza dati

Abstract degli autori

L’auto-miglioramento ricorsivo richiede che i modelli non solo acquisiscano esperienze di addestramento utili, ma decidano anche quando quelle di cui dispongono non sono più utili. I metodi esistenti spesso si concentrano su quale esperienza generare successivamente, prestando meno attenzione a quando introdurne di nuova. Molti costruiscono inoltre i target di addestramento tramite self-consistency o voto a maggioranza, facendo dipendere la supervisione dalle previsioni incerte del modello stesso. Affrontiamo separatamente queste due questioni: le dinamiche di addestramento determinano quando acquisire nuove esperienze, mentre le risposte ai nuovi compiti restano verificabili in modo indipendente. A-RSI monitora la variazione delle ricompense e l’accuratezza nei log di addestramento per aggiornare un pool di compiti quando il segnale di apprendimento diminuisce, senza consultare i punteggi di validazione o di test. Una libreria statica di programmi scritti dai modelli genera domande multimodali e ne ricava le risposte di riferimento; specifichiamo il contratto di generazione dei compiti, verifichiamo automaticamente alcune proprietà prescelte delle regole di ricompensa e aggiornamento e controlliamo separatamente le risposte generate. Il ciclo di addestramento non usa esempi di addestramento esterni né etichette di risposta scritte da persone. Sulla suite primaria di undici benchmark, A-RSI porta la media delle prestazioni da 57,77 a 61,05 con 800 nuovi compiti.