The Pulse
Secondo alcuni ricercatori, l’addestramento del modello draft migliora il ragionamento degli agenti a lungo orizzonte
Uno studio descrive un metodo che addestra un modello draft a far passare i token di ragionamento critici attraverso posizioni di verifica meno rumorose. Gli autori riferiscono tassi di successo più elevati in due valutazioni complesse di a
AI.info Team · Scritto con l’IA · verificato ·
Uno studio presentato ad arXiv il 3 novembre 2026 descrive un metodo per migliorare il ragionamento degli agenti a lungo orizzonte, modificando il comportamento di un modello draft durante la decodifica speculativa. Secondo gli autori, l’approccio aumenta i tassi di successo in compiti complessi di coding senza modificare il modello bersaglio né la distribuzione di output che questo verifica. Il metodo addestra il modello draft a favorire il rifiuto nei punti di ragionamento critici individuati nelle tracce degli agenti, così che quei token possano essere nuovamente campionati dal modello bersaglio.
La decodifica speculativa può influire sulla precisione
Nella decodifica speculativa, un modello draft più piccolo propone un blocco di token e un modello bersaglio più grande valuta quel blocco in un’unica passata in avanti. Una regola di campionamento con rifiuto accetta un prefisso dei token proposti; se un token viene rifiutato, il modello bersaglio ricampiona quella posizione da una distribuzione residua. Lo studio descrive il metodo come privo di perdita nella distribuzione secondo la propria regola di verifica e afferma che è stato generalmente considerato un modo per accelerare la decodifica. I modelli draft sono stati quindi spesso valutati in base al numero di token che il modello bersaglio accetta a ogni passaggio di verifica.
Gli autori sostengono che questa visione trascuri un problema di precisione nei modelli ospitati. I loro modelli bersaglio usano pesi a bassa precisione, cache chiave-valore quantizzate e attenzione sparsa, e i loro output non sono riproducibili bit per bit. I ricercatori hanno ripetuto le passate in avanti su prefissi identici e confrontato i logaritmi delle probabilità top-k. Con GLM-5.3 e un blocco di verifica DFlash di otto token, hanno rilevato che il rumore aumentava di circa il 4% per ogni posizione successiva alla prima. Nell’ultima posizione, gli scostamenti superiori a due unità di logaritmo naturale erano quasi due volte più frequenti che nella prima. Riferiscono un aumento relativo simile per DeepSeek-V4.1-Flash con un blocco DSPARK di sei token, anche se il suo rumore assoluto era circa la metà di quello di GLM-5.3.
Le decisioni critiche potrebbero essere più sensibili al rumore
Lo studio si concentra su agenti di ingegneria del software che operano a lungo, potenzialmente per decine o centinaia di turni e da migliaia a milioni di token. Ogni token generato viene memorizzato nella cache chiave-valore e letto nelle fasi successive del ragionamento dell’agente. Gli autori affermano che alcuni token di ragionamento possono tollerare più rumore di altri e individuano come potenzialmente importanti le espressioni che definiscono l’impostazione delle decisioni. Nell’analisi delle tracce di coding, hanno rilevato che le decisioni impostate intorno a principi o evidenze, oppure basate su test effettivi, individuavano la risposta corretta circa due volte più spesso delle decisioni guidate dalla probabilità o dal rischio. Lo studio osserva inoltre che le decisioni possono cambiare in risposta al feedback dell’ambiente, oppure che decisioni corrette possono essere ignorate più avanti nello svolgimento di un compito.
Il metodo usa la posizione di un token in un blocco di verifica per allocare la precisione. I token draft accettati vengono fissati con la precisione associata alla loro posizione di verifica. Quando un token draft viene rifiutato, il modello bersaglio lo ricampiona e la verifica riparte dalla prima posizione, la meno rumorosa. I ricercatori individuano i punti critici del ragionamento nelle tracce degli agenti e addestrano il modello draft con coppie di preferenza che favoriscono l’impostazione che il modello bersaglio dovrebbe evitare. In quei punti, il modello draft e quello bersaglio divergono; la scelta del modello bersaglio viene quindi campionata attraverso la distribuzione residua e scritta nelle condizioni meno rumorose di un nuovo blocco. I token ordinari possono ancora essere gestiti attraverso la normale decodifica speculativa.
I miglioramenti riportati nei compiti di coding
Gli autori affermano che il modello bersaglio, la regola di verifica e la garanzia sulla distribuzione rimangono invariati; viene addestrato soltanto il modello draft. Sul benchmark DeepSWE per l’ingegneria del software, lo studio riferisce che il metodo ha aumentato il tasso di successo complessivo di GLM-5.3-nvfp4 dal 60,6% al 67,6%, con un incremento di 7,0 punti percentuali. Per DeepSeek-V4.1-Flash, il tasso riportato è passato dal 67,8% al 71,8%, con un incremento di 4,0 punti usando il sistema e gli ambienti di valutazione standard. L’abstract dello studio afferma che l’approccio prevede l’addestramento sullo 0,06%-0,28% dei parametri ospitati. I risultati presentano la decodifica speculativa non solo come una tecnica per accelerare la decodifica, ma anche come un modo per indirizzare la precisione del contesto verso passaggi selezionati del ragionamento.