DeLoop: le azioni ripetute come forma di autosupervisione per agenti impegnati in compiti di lunga durata

Abstract degli autori

Gli agenti basati su modelli linguistici che svolgono compiti lunghi spesso ripetono operazioni già eseguite: invocano di nuovo uno strumento usato in precedenza e ottengono esattamente la stessa osservazione, senza acquisire nuove informazioni. Definiamo questo errore un loop. I loop si presentano spontaneamente negli agenti Qwen, Llama e Gemini e diventano molto più frequenti quando la cronologia dell’agente viene compressa per rientrare nella sua finestra di contesto. Per ridurli proponiamo DeLoop, un metodo di addestramento autosupervisionato. DeLoop si basa su una semplice osservazione: il rollout dell’agente stesso può fornire il segnale di supervisione necessario per imparare dai suoi loop. Usiamo un’azione che genera un loop come esempio negativo e la prima azione successiva nello stesso rollout che non genera un loop come esempio positivo. DeLoop apprende da queste coppie tramite l’ottimizzazione diretta delle preferenze e non richiede ricompense legate al compito, risposte di riferimento o LLM usati come giudici. Su CodeGym, con la cronologia compressa, DeLoop riduce dal 57,3% al 6,1% la quota di compiti svolti da Qwen3-8B che contengono loop. Impiega inoltre circa un terzo dei passaggi per compito, con un tasso di successo simile. Con Qwen3-32B, DeLoop riduce i loop e il numero di passaggi, aumentando al contempo il tasso di successo nei compiti dal 37,7% al 44,8%.