Mettere in discussione le domande: sostenere l’autoevoluzione nei modelli di ragionamento

Abstract degli autori

I modelli di ragionamento capaci di autoevolversi imparano dalle domande che generano, ma l’addestramento ripetuto sui propri dati può portare a un crollo delle prestazioni. In questo articolo esaminiamo perché le prestazioni peggiorano nei cicli successivi e come sostenere l’autoevoluzione. La nostra analisi individua due problemi di qualità ricorrenti nelle domande generate dai modelli: domande non valide e varianti ripetute delle stesse domande matematiche. In primo luogo, le domande non valide diventano più frequenti da un ciclo all’altro e il filtraggio basato sulla coerenza delle risposte ne aumenta ulteriormente la proporzione nei dati di addestramento. In secondo luogo, i metodi esistenti per controllare la diversità delle domande, basati sulla somiglianza lessicale, possono non rilevare domande matematicamente equivalenti formulate in modi diversi. Nei cicli successivi di addestramento, questo porta a un crollo della diversità delle domande. Sulla base di questi risultati, presentiamo R-Quest, che usa feedback sulla validità e sulla novità delle domande per guidare l’autoevoluzione. Per prima cosa addestriamo il modello risolutore a riconoscere e rifiutare le domande non valide; poi usiamo le sue valutazioni per guidare le ricompense del modello che genera le domande e filtrare i dati di addestramento del modello risolutore. Per evitare che le domande si ripetano, usiamo un modello di base i cui parametri restano fissi per confrontare coppie di domande campionate e fornire feedback sulla loro novità. Nei test, il nostro metodo ottiene costantemente le prestazioni medie più elevate su 12 benchmark di ragionamento matematico, ragionamento in ambiti generali e generazione di codice, in due famiglie di modelli. Inoltre, R-Quest mantiene miglioramenti stabili delle prestazioni per dieci cicli di autoevoluzione, raggiungendo il massimo nell’ultimo ciclo e superando R-Zero di 17,32 punti.