ANTE: Anticipate, Then Execute -- apprendere modelli interni del mondo per agenti di coding a partire da credenze verificate

Abstract degli autori

I rapidi progressi dei modelli linguistici di grandi dimensioni hanno reso gli agenti di ingegneria del software capaci di affrontare compiti di programmazione complessi. In un ambiente containerizzato, un agente di coding riceve risposte dagli strumenti o risultati dell’esecuzione e decide le azioni successive in base a quei risultati precedenti. Tuttavia, la maggior parte degli agenti di coding esistenti non guarda mai avanti: le loro policy non anticipano le conseguenze delle azioni e la ricompensa finale consente a malapena di attribuire un fallimento a specifici passaggi precedenti. Così, una modifica mal ponderata può compromettere irreversibilmente lo stato del repository prima che arrivi un qualsiasi segnale. I recenti modelli del mondo per il codice mirano ad affrontare queste difficoltà, ma vengono addestrati e poi congelati prima dell’apprendimento per rinforzo (RL), oppure sono ridotti a una funzione di perdita ausiliaria di previsione del token successivo sugli output dell’ambiente. Presentiamo ANTE (Anticipate, Then Execute), un framework di RL per agenti che verifica mediante l’esecuzione reale le previsioni della policy formulate prima di ogni azione e le trasforma in un’attribuzione del merito passo per passo per le sue azioni e per le decisioni se fidarsi o astenersi. A partire da una credenza interna formulata prima di ogni azione, Belief-Anchored Policy Optimization (BAPO) trasforma le previsioni il cui esito è stato accertato in vantaggi per ogni passaggio, ancorando l’attribuzione del merito alle previsioni della policy stessa. Per trasformare le previsioni apprese in azioni migliori durante l’inferenza, favorendo così uno scaling efficace in fase di test, ANTE-TTO (ottimizzazione in fase di test) seleziona tra le azioni candidate senza un valutatore esterno. ANTE porta Qwen3-32B dal 25,0% al 57,2% di pass@1 su SWE-bench Verified, 6,2% in più rispetto a una baseline GRPO comparabile addestrata senza lo stato delle credenze; l’accuratezza del suo modello del mondo sale dal 44% al 69% durante l’RL e la capacità di anticipazione appresa si trasferisce tra diverse infrastrutture di esecuzione e a domini fuori distribuzione. In sintesi, puntiamo a costruire un modello del mondo del codice che sappia che cosa è accaduto, che cosa vale ora e che cosa otterrà la prossima azione.