Rompere la diffusione: ragionamento parallelo con revisione delle bozze

Abstract degli autori

Redigere una bozza di risposta consente a un modello di ragionamento di riconsiderare ogni decisione alla luce delle altre. Tuttavia, ripetere la rimozione del rumore tramite diffusione non garantisce che modifiche ai token, singolarmente plausibili, producano insieme una risposta migliore. Presentiamo i Draft Refinement Language Models (DRLMs), che usano un unico modello di rimozione del rumore per proporre revisioni in parallelo e valutare una bozza candidata. Addestriamo il modello a ricostruire ogni token a partire da bozze alterate in modo uniforme, insegnandogli sia a preservare sia a correggere. Le sue previsioni indicano direttamente le revisioni, senza una transizione inversa di diffusione. Per valutare una bozza, però, occorre usare queste previsioni in modo diverso: la confidenza attribuita a un token già presente riflette sia il sostegno del contesto sia l’evidenza derivante dall’osservazione del token stesso. Sfruttando il processo di alterazione noto, correggiamo questa evidenza fornita dal token stesso per stimare quanto ciascun token sia sostenuto dal prompt e dal resto della bozza. Aggregando queste stime otteniamo un’energia di cavità calcolata in un’unica passata in avanti, senza un modello di valutazione aggiuntivo. A ogni iterazione, il metodo propone una revisione, esamina la bozza candidata completa nel contesto modificato e la conserva solo se la sua energia è inferiore. Su Countdown, Sudoku-Extreme e Maze-Hard, il nostro metodo supera i metodi di riferimento autoregressivi e quelli basati sulla diffusione discreta. Con 6M parametri, DRLM raggiunge il 44,4% su Countdown-5 e il 93,9% su Sudoku-Extreme. I risultati dimostrano che la revisione parallela di bozze complete è un’alternativa efficace alla diffusione inversa per il ragionamento complesso.