Che cosa offre l’RL basato sull’esito: completamento, affidabilità, raramente nuovi problemi risolti

Abstract degli autori

L’RL basato sull’esito aumenta pass@1, ma non pass@k quando k è grande (Yue et al., 2025). Ogni pass@1, però, è misurato entro un limite di token. Anche ogni procedura di addestramento si svolge entro un limite di token. Su problemi di fisica e matematica, a parità di limite di token, confrontiamo il pass@1 di 20 modelli RL pubblicati (da 1,5B a 32B) con quello dei modelli di ragionamento da cui derivano. Ci chiediamo se ciascun aumento di pass@1 dipenda da un cambiamento nel comportamento o da nuove conoscenze. Scomponiamo ogni variazione di pass@1 in tre componenti. Il completamento misura la capacità di rispondere prima di esaurire i token disponibili. L’affidabilità misura la capacità di dare la risposta giusta una volta completata la risposta. La portata misura i problemi risolti dall’RL a cui il modello di partenza ha risposto erroneamente in tutti e otto i tentativi, al netto dei problemi risolti dal modello di partenza a cui l’RL ha risposto erroneamente in tutti e otto i tentativi. Troviamo quattro cose. (1) Dove il modello di partenza esaurisce spesso i token prima di rispondere, gran parte della variazione, positiva o negativa, dipende dal completamento (l’82% con limiti di 4k e 8k). Con più token, il modello di partenza colma da sé gran parte del divario nel completamento. (2) Dove il modello di partenza dispone di token sufficienti, il miglioramento riguarda l’affidabilità: la risposta del modello RL viene giudicata corretta più spesso, anche nei problemi per cui entrambi i modelli completano la risposta. (3) Secondo la nostra definizione, l’RL risolve raramente problemi che il modello di partenza non riesce a risolvere. La portata aggiunge al massimo 2,1 punti percentuali in ciascuno dei nostri quattro insiemi di problemi di fisica e matematica. Abbiamo verificato 144 problemi di fisica risolti soltanto dal modello RL. Di questi, il 3,5% regge quando si ripete il campionamento o si esaminano le risposte. In un campione casuale, nove su dieci dei nuovi passaggi del modello RL confermati da una persona compaiono anche nei campioni del modello di partenza. (4) In un addestramento RL su piccola scala condotto su un modello 8B, il miglioramento sui nuovi problemi dipende dal completamento, mentre l’affidabilità resta invariata. Non è emerso che fornire l’impostazione fisica di ciascun problema migliori i risultati rispetto all’RL senza aggiunte.