Il ragionamento speculativo avversariale migliora gli agenti a lungo orizzonte

Abstract degli autori

La decodifica speculativa è stata considerata esclusivamente un’ottimizzazione a livello di sistema, che accelera la decodifica dei grandi modelli linguistici senza modificarne il comportamento. In quest’ottica, gli sforzi crescenti per addestrare modelli bozza migliori si sono concentrati soltanto sul tasso di accettazione. Sosteniamo che questa visione non sia valida per il ragionamento degli agenti con orizzonte lungo. Valutando modelli open-weight di frontiera su compiti agentici complessi con diversi approcci di decodifica speculativa, abbiamo riscontrato che il rumore numerico cresce all’interno delle finestre di verifica e che gli esiti dell’accettazione delle bozze nel processo di ragionamento possono modificare la distribuzione di output del modello dopo 30 passaggi, influenzando così in modo significativo, in direzioni casuali, l’accuratezza del ragionamento degli agenti con orizzonte lungo. In questo lavoro miglioriamo la capacità di ragionamento dei modelli bersaglio controllando tale rumore. Sebbene non possiamo modificare la distribuzione complessiva dei token verificata dal modello bersaglio, possiamo codificare il ragionamento critico con la massima precisione addestrando il modello bozza affinché venga rifiutato. Individuiamo questi punti nelle tracce degli agenti e addestriamo il modello bozza a privilegiare le preferenze avversariali. In fase di inferenza, il modello bozza addestrato e il modello bersaglio divergono proprio in corrispondenza di questi punti decisionali; la verifica riparte, così che i token del ragionamento critico vengano campionati dal modello bersaglio e codificati nelle condizioni meno rumorose. Questo approccio consente di indicizzare meglio il ragionamento critico e di renderlo più duraturo su un orizzonte lungo. Nei benchmark di coding agentico complessi, il nostro approccio aumenta il tasso di successo end-to-end senza modificare il modello bersaglio né la sua distribuzione di output. I nostri risultati reinterpretano il meccanismo di decodifica speculativa: da semplice acceleratore a allocatore attivo della precisione del contesto, che migliora l’accuratezza degli agenti con orizzonte lungo addestrando dallo 0,06% allo 0,28% dei parametri del modello ospitato.