The Pulse

DoubtLess riduce del 31% i token di ragionamento di Qwen3 senza riaddestramento

I ricercatori presentano DoubtLess, un metodo di decodifica che usa un modello più piccolo per accorciare le tracce di ragionamento di Qwen3-32B senza modificarne i pesi. Nei test su sette benchmark, il metodo ha ridotto del 31% i token di

AI.info Team · Scritto con l’IA · 2026-10-14

DoubtLess ha ridotto del 31% i token di ragionamento di Qwen3-32B su sette benchmark, mentre i risultati aggregati dei ricercatori non hanno mostrato variazioni statisticamente significative nell’accuratezza. Il metodo, presentato in un articolo inviato ad arXiv il 13 ottobre 2026, usa un modello molto più piccolo durante la decodifica, anziché riaddestrare quello più grande. In un distinto test di latenza, di portata limitata, ha anche completato i problemi più rapidamente della decodifica standard.

Un modello piccolo orienta la scelta del token successivo

DoubtLess fa leggere al modello più piccolo la traccia di ragionamento del modello più grande due volte a ogni passaggio: una volta con l’istruzione di essere conciso e una con quella di essere prolisso. Sottrae i punteggi ottenuti per il token successivo, moltiplica la differenza per un fattore e la aggiunge ai punteggi del modello grande. È ancora il modello grande a generare la risposta; quello piccolo modifica la probabilità dei suoi token candidati.

L’approccio è progettato per intervenire sulle verifiche ripetute dopo che un modello ha già prodotto la risposta corretta, anziché vietare determinate parole o interrompere il ragionamento al raggiungimento di una soglia fissa. Gli autori dell’articolo descrivono così il risultato: «Su sette benchmark di matematica competitiva, scienze di livello post-laurea e programmazione competitiva, DoubtLess accorcia del 31% la CoT di Qwen3-32B senza variazioni nell’accuratezza, superando cinque metodi di riferimento applicati durante l’inferenza». Minghao Luo e Liang Chen, “DoubtLess: Training-Free Contrastive Decoding for Efficient Reasoning”

Sette benchmark, con un lieve calo dell’accuratezza

La valutazione principale abbina Qwen3-32B a Qwen3-0.6B e comprende matematica competitiva, scienze di livello post-laurea, problemi olimpici e programmazione. I sette benchmark includono AIME 2024 e 2025, HMMT 2025, AMC 2023, GPQA-Diamond, OlympiadBench e LiveCodeBench. Gli autori riportano 528 problemi nella valutazione aggregata, con tre esecuzioni per problema.

In questi test, la media dei token di ragionamento è scesa da 10.254 con la decodifica standard a 7.120 con DoubtLess, una riduzione del 31%. L’accuratezza media è passata dal 70,8% al 69,9%, un calo di 0,9 punti percentuali; l’intervallo al 95% riportato nell’articolo per questa variazione va da un calo di 2,8 punti a un aumento di 1,0 punto. L’espressione «accuratezza invariata» usata nell’articolo indica quindi l’assenza di un calo statisticamente significativo nei risultati aggregati, non punteggi identici in ogni benchmark.

Il metodo ha funzionato anche con altre due famiglie di modelli nei test su AIME 2025 e AMC 2023. DoubtLess ha ridotto i token di ragionamento del 25% per EXAONE-4.0-32B e del 40% per Granite-4.2-30B, senza perdite di accuratezza riportate in questi confronti. Tali risultati riguardano una coppia di benchmark più ristretta rispetto alla valutazione principale.

Meno token, test più rapidi

Chiamate aggiuntive a un modello non rendono automaticamente più rapida l’inferenza. DoubtLess esegue il modello piccolo due volte a ogni passaggio del ragionamento, ma gli autori hanno misurato una latenza media complessiva di 119,4 secondi per problema, contro i 156,2 secondi della decodifica standard. Il test ha utilizzato una GPU B200 e 14 problemi, due per ciascun benchmark, e gli autori stimano che i due passaggi in avanti del modello piccolo aggiungano circa il 4% alle operazioni in virgola mobile del modello grande.

Un agente di programmazione capace di correggere il proprio codice offre un secondo test, oltre alla risposta a singole domande. Su 164 problemi HumanEval+, l’agente ha usato il 20% di token di ragionamento in meno per turno e il suo tasso di superamento è aumentato di 2,0 punti percentuali rispetto alla decodifica standard. Il sistema scrive codice, esegue test e ottiene un turno per correggerlo quando un test fallisce: il risultato riflette quindi il flusso di lavoro di un agente, non una singola risposta del modello.

La maggior parte del risparmio arriva dopo la comparsa di una risposta

Nell’analisi degli autori, DoubtLess ha ridotto di circa la metà il ragionamento successivo alla prima comparsa della risposta corretta, mentre ha ridotto di circa un quinto quello precedente. La distinzione conta: il sistema non obbliga semplicemente il modello a fermarsi alla prima risposta. L’articolo presenta un esempio in cui un’utile verifica algebrica individua una radice erroneamente esclusa, mostrando perché eliminare ogni controllo successivo sarebbe rischioso.

I risultati sono promettenti, ma resta un limite pratico: il confronto principale si concentra su un modello da 32 miliardi di parametri abbinato a uno da 0,6 miliardi di parametri, e le verifiche su altre famiglie riguardano soltanto due benchmark matematici. Anche il risultato sulla latenza proviene da un campione di 14 problemi su una sola GPU. Il prossimo test sarà verificare se DoubtLess riesca a preservare le verifiche utili riducendo le ripetizioni in una gamma più ampia di compiti, dimensioni dei modelli e configurazioni di inferenza.