BIRD-RL: rendere scalabile l’apprendimento per rinforzo agentico in ambienti incentrati sui dati con stato

Abstract degli autori

Sebbene l’apprendimento per rinforzo agentico (RL) si sia affermato come paradigma promettente per addestrare modelli linguistici di piccole dimensioni (SLM), i framework esistenti sono prevalentemente incentrati sugli strumenti e incontrano difficoltà negli ambienti incentrati sui dati. In particolare, applicare questi framework ad attività con stato, come il debugging SQL, comporta gravi inefficienze nell’uso dello spazio, poiché un adeguato isolamento dell’ambiente richiede di norma un container di database separato per ogni rollout. Riutilizzare i database senza tenere traccia dell’evoluzione del loro stato nelle interazioni su più turni provoca una contaminazione delle traiettorie e interferenze tra traiettorie, destabilizzando gravemente gli aggiornamenti della policy. Per superare questi ostacoli, presentiamo BIRD-RL, un nuovo percorso di addestramento all’RL agentico in quattro fasi che potenzia alternativamente il ragionamento di base degli agenti e l’esplorazione on-policy adattativa alla traiettoria, aggirando l’instabilità intrinseca dell’apprendimento diretto end-to-end. Un elemento cruciale a sostegno di questo percorso è un’infrastruttura di esecuzione persistente il cui ambito è limitato alla singola traiettoria: consente di riutilizzare in sicurezza le repliche dei database preservando l’isolamento delle traiettorie. Questa soluzione migliora di 12,8 volte l’efficienza dell’RL nell’uso dello spazio, rendendo possibile un RL agentico scalabile per attività complesse incentrate sui dati senza bisogno di Kubernettes. Le valutazioni empiriche sul benchmark BIRD-CRITIC-SQLite mostrano che i nostri modelli 7B e 14B raggiungono tassi di successo rispettivamente del 44,40% e del 48,00%, con prestazioni competitive rispetto ad agenti basati su modelli proprietari avanzati come Claude-Opus-4.6 Agent (48,20%). Inoltre, BIRD-RL riesce ad addestrare SLM unificati capaci sia di debugging SQL avanzato sia di generazione SQL, mettendo in evidenza il suo potenziale più ampio per l’ottimizzazione multiobiettivo di attività eterogenee incentrate sui dati nel mondo reale.