Chopthin-Consensus Power Sampling: un approccio che preserva la diversità nella decodifica degli LLM

Abstract degli autori

Il power sampling in fase di inferenza tramite Sequential Monte Carlo (SMC) può migliorare sensibilmente il ragionamento dei modelli linguistici di grandi dimensioni (LLM) senza richiedere un post-training. Tuttavia, molti approcci SMC esistenti si basano sul ricampionamento con pesi uguali, che può eliminare in modo aggressivo le traiettorie con peso basso, scartando percorsi di ragionamento potenzialmente corretti e riducendo la diversità genealogica dello spazio di ricerca. Per affrontare questo problema, introduciamo Chopthin-Consensus Power Sampling (CCPS). Il nostro metodo applica il ricampionatore Chopthin alla decodifica degli LLM: anziché uniformare i pesi e imporre duplicazioni non necessarie delle particelle, pone un limite superiore al rapporto tra il peso più alto e quello più basso e mantiene i pesi disuguali nelle fasi successive. Questo intervento mirato preserva un insieme più ricco di percorsi di ragionamento distinti, lascia invariata l’approssimazione SMC ponderata in valore atteso condizionato e garantisce un limite inferiore per la dimensione effettiva del campione (ESS) dopo il ricampionamento. Per sfruttare appieno questa popolazione arricchita, adottiamo un meccanismo di selezione a maggioranza semantica che unisce le traiettorie finali identiche a livello di token, raggruppa le risposte semanticamente equivalenti e restituisce la risposta sostenuta dal maggior numero di traiettorie distinte. Valutando tre modelli open-weight su cinque benchmark di ragionamento, mostriamo che Chopthin aumenta la copertura oracle in 13 delle 15 configurazioni. In combinazione con la selezione a maggioranza semantica, CCPS eguaglia o supera l’accuratezza delle risposte finali del metodo di riferimento Power-SMC in 14 delle 15 configurazioni, con incrementi assoluti fino a 10,6 punti percentuali. Questi risultati dimostrano che il ricampionamento che preserva la diversità e la selezione che ne tiene conto sono meccanismi complementari per il ragionamento degli LLM senza training. Il codice è disponibile su github.com/MinooAhmadii/chopthin-consensus-power-sampling.