La competizione tra le code spiega lo scaling del campionamento Best-of-N per problemi verificabili

Abstract degli autori

Il campionamento Best-of-N è una semplice strategia di scaling in fase di inferenza per i grandi modelli linguistici, ma il suo comportamento in presenza di modelli di ricompensa incompleti resta poco compreso. Studiamo Best-of-N come una competizione tra le code estreme delle ricompense delle risposte corrette e di quelle errate. Questa prospettiva mostra che il successo dipende non solo dalla probabilità di campionare una risposta corretta, ma anche dal fatto che, nella coda superiore, le risposte corrette prevalgano su quelle errate. Usando la teoria dei valori estremi, caratterizziamo tre regimi asintotici — dominanza della coda delle risposte corrette, dominanza della coda delle risposte errate e regime critico — che spiegano sia i miglioramenti monotoni sia il peggioramento indotto dal reward hacking. Ricaviamo inoltre leggi di scaling per campioni finiti relative a distribuzioni rappresentative delle ricompense, mostrando che, con ricompense gaussiane, le risposte errate con una varianza sufficientemente elevata possono prevalere nella selezione anche quando la loro ricompensa media è inferiore. A differenza della selezione mediante un oracolo, la convergenza con un selettore incompleto può essere polinomiale anziché esponenziale. Infine, proponiamo un semplice criterio basato sulla tensione tra le code per stimare quando un ulteriore campionamento potrebbe diventare dannoso. Gli esperimenti su dati sintetici e punteggi di modelli di ricompensa reali sono coerenti con i regimi, le leggi di scaling e il comportamento diagnostico previsti dalla teoria, suggerendo che la competizione tra le code offra una prospettiva unificante sul campionamento Best-of-N per problemi verificabili.