La selezione non è apprendimento: scegliere i futuri dei modelli

Abstract degli autori

I modelli linguistici che si evolvono autonomamente si addestrano su compiti che generano da sé: a ogni ciclo occorre quindi decidere quale modello aggiornato sarà ereditato dal ciclo successivo. I processi attuali, come R-Zero, Agent0 e Skill Self-Play, prendono questa decisione in base al compito: ammettono quelli che sembrano apprendibili ed ereditano tutti gli aggiornamenti che ne derivano. In questi processi individuiamo una discrepanza tra selezione e aggiornamento: un compito che sembra apprendibile non produce necessariamente un aggiornamento utile. La maggior parte degli aggiornamenti ottenuti su compiti verificati non aumenta la probabilità di risposte corrette, eppure questi processi li ereditano tutti. HeirCommit congela il modello aggiornato e usa nuovi quesiti di valutazione per decidere se ereditarlo o mantenere il modello attuale. EvoHeir separa l’ereditarietà dei parametri da quella dell’esperienza e usa l’esperienza attuale e quella archiviata per correggere gli insuccessi e preservare i successi prima della conferma finale. La nostra analisi caratterizza l’ottimismo indotto dalla selezione e scompone il rammarico in errori di selezione, assorbimento e conferma. HeirCommit riduce del 68-83% la quota di aggiornamenti dannosi tra quelli accettati rispetto all’ereditarietà casuale, a parità di tasso di accettazione. Su quattro modelli di base, EvoHeir ottiene le medie migliori in matematica e ragionamento generale, aumentando la media in matematica del 5,3% rispetto al miglior metodo di riferimento, Agent0. Il framework consente di conservare l’esperienza utile anche quando il modello che l’ha prodotta non viene ereditato.