The Pulse
Microsoft pubblica Agent Lightning, un framework di RL da 3.500 righe
Agent Lightning v1.0 collega l’addestramento con apprendimento per rinforzo agli harness software già in uso dagli agenti tramite un proxy per le richieste al modello. Microsoft segnala un miglioramento di 14,6 punti per Qwen3.5-9B su SWE-b
AI.info Team · Scritto con l’IA ·
Microsoft Research ha pubblicato l’annuncio di Agent Lightning v1.0 il 7 ottobre 2026. Il repository GitHub del progetto registra il rilascio open source nell’agosto 2026 e presenta un framework di circa 3.500 righe per addestrare agenti di IA con l’apprendimento per rinforzo, mantenendo in uso i loro harness software esistenti. Il rilascio affronta una difficoltà pratica: gli agenti dipendono dal codice che li circonda per gestire strumenti, contesto ed esecuzione, ma molti sistemi di addestramento richiedono agli sviluppatori di ricostruire questi meccanismi all’interno del framework di addestramento. Secondo i ricercatori di Microsoft, Agent Lightning consente a un agente di conservare il proprio harness e collegarsi all’addestramento tramite un proxy per le richieste al modello.
«Presentiamo Agent Lightning v1.0, un framework leggero per l’apprendimento per rinforzo degli agenti con harness, realizzato in circa 3.500 righe di codice».
Zhiyuan He et al., autori del rapporto tecnico
Allenare l’agente attraverso il suo harness esistente
In una configurazione convenzionale di apprendimento per rinforzo per gli agenti, il sistema di addestramento gestisce in genere il ciclo di interazione con l’ambiente. Il modello produce un’azione, riceve un’osservazione e prosegue a partire da una cronologia di token che si allunga. Questo approccio diventa poco pratico quando l’harness di un agente distribuito gestisce autonomamente prompt, strumenti, riepiloghi del contesto, sottoagenti e passaggi di consegne.
Agent Lightning colloca un proxy per modelli linguistici compatibile con OpenAI tra l’harness e il modello. L’harness continua a effettuare le richieste abituali; il proxy registra i prompt e le risposte utilizzati per l’addestramento. Secondo Microsoft, spesso gli sviluppatori possono collegare un agente esistente cambiando l’endpoint del modello, anziché riscriverne la logica di controllo.
Il paper definisce questa configurazione «apprendimento per rinforzo degli agenti con harness»: è l’harness distribuito, non il sistema di addestramento, a controllare l’interazione con l’ambiente. In questo modo la configurazione di addestramento resta più vicina all’agente che gli sviluppatori intendono utilizzare, mentre il sistema di addestramento lavora sulle sequenze di richieste al modello e relative risposte.
Tre componenti gestiscono richieste, rollout e addestramento
Microsoft descrive il framework come un piano di controllo composto da un API Gateway, un Rollout Controller e un Customized Trainer basato su verl. Il gateway fa da proxy alle chiamate al modello e archivia rollout, modelli ed eventi; il controller avvia gli agenti come processi locali o job Kubernetes; il trainer assembla i campioni ottenuti e aggiorna il modello.
Tenere separate queste funzioni è importante perché l’harness può trasformare una singola esecuzione dell’agente in un numero variabile di campioni di addestramento. Gli autori individuano quattro problemi tecnici: un testo può essere ritokenizzato in modo diverso rispetto ai token campionati, i sottoagenti e il riepilogo del contesto possono modificare il numero dei campioni, i calcoli a livello di campione possono attribuire più peso ad alcuni rollout e una configurazione GPU fissa deve pianificare carichi di lavoro la cui entità diventa chiara solo dopo l’esecuzione.
Per affrontare queste difficoltà, il team usa calcoli della ricompensa e del vantaggio a livello di rollout e normalizza la loss allo stesso livello. Il framework include anche «Collocated Async RL», che condivide le GPU tra i rollout degli agenti e gli aggiornamenti del modello. Microsoft segnala nei propri esperimenti una velocità complessiva circa doppia rispetto all’apprendimento per rinforzo sincrono; il confronto è un risultato riportato dal team, non una garanzia generale di prestazioni per altri carichi di lavoro.
Qwen3.5-9B guadagna 14,6 punti su SWE-bench Verified
Il rilascio include una pipeline di addestramento per agenti di programmazione costruita con Qwen3.5-9B, mini-SWE-agent e il dataset open source SWE-smith. I ricercatori riferiscono che, usando circa 6.000 campioni di addestramento, l’apprendimento per rinforzo ha portato il Pass@1 su SWE-bench Verified dal 41,8% al 56,4%, un aumento assoluto di 14,6 punti percentuali.
La pipeline comprende la pulizia dei dati, la configurazione dell’ambiente e misure di protezione contro il reward hacking, oltre agli script di addestramento. Microsoft definisce modesto il fabbisogno di risorse di calcolo, ma nell’annuncio non fornisce un dato unico sul costo dell’hardware o sui tempi di esecuzione. I risultati mostrano quindi ciò che il team ha ottenuto con la propria procedura, non ciò che ogni utente dovrebbe aspettarsi con un modello, un harness o una configurazione delle risorse di calcolo diversi.
L’esempio di settembre per gli agenti di programmazione usa un modello diverso
Il repository del progetto elenca un esempio distinto di agente di programmazione, risalente al settembre 2026, che usa il modello mixture-of-experts Qwen3.5-35B-A3B. Riporta un aumento su SWE-bench Verified dal 47,8% al 61,6% dopo l’addestramento su 1.800 esempi. Questi dati riguardano l’esempio successivo, non l’esperimento con Qwen3.5-9B descritto nell’annuncio del 7 ottobre.
Agent Lightning v1.0 è disponibile con licenza MIT e la sua documentazione include esempi per agenti di ricerca, matematica e programmazione. La verifica più importante per il rilascio sarà stabilire se l’approccio basato sul proxy possa rendere pratico l’addestramento senza duplicare l’harness di ciascun agente e se i ricercatori riescano a riprodurre i risultati riportati per la programmazione con la pipeline rilasciata.