Humanize MLE Agents: alternanza delle sessioni tra più agenti oltre i limiti del singolo agente

Abstract degli autori

Gli approcci esistenti basati su agenti LLM per l’ingegneria del machine learning (MLE) su orizzonti lunghi ricorrono spesso all’ingegneria del contesto, realizzata tramite harness personalizzati che gestiscono strumenti, competenze ed esperienza accumulata. Tuttavia, osserviamo che, all’aumentare della durata dell’esecuzione in una singola sessione, l’intensità del ragionamento dell’agente diminuisce e i progressi rallentano: un fenomeno che definiamo «rallentamento su orizzonti lunghi». Inoltre, con il migliorare del modello sottostante, i vantaggi di questi harness personalizzati svaniscono: un fenomeno che definiamo «obsolescenza degli harness». Questi risultati suggeriscono che i loro vantaggi potrebbero non mantenersi da una versione all’altra e motivano un approccio a livello di flusso di lavoro, in cui gli agenti proseguono il lavoro svolto l’uno dall’altro in sessioni diverse. Modelliamo queste sessioni alternate come un processo decisionale semi-markoviano con azzeramento del contesto (CR-SMDP), stabiliamo condizioni sufficienti perché l’alternanza superi i limiti di riferimento del singolo agente, ricaviamo un limite esplicito per il budget di esperimenti e definiamo quando i limiti imposti alle singole sessioni preservano questo vantaggio. Sulla base di questa analisi, presentiamo Humanize MLE Agents (HMA), che fa alternare due agenti in uno spazio di lavoro condiviso, limita ogni sessione a un massimo di k esperimenti e azzera il contesto tra una sessione e l’altra, senza harness aggiuntivi specifici per il compito né integrazioni di conoscenze pregresse. Su 75 compiti Kaggle di MLE-bench, HMA raggiunge una percentuale del 78,2% di compiti in cui ottiene una medaglia di qualsiasi tipo: un risultato allo stato dell’arte, superiore di 8,0 punti alla migliore baseline open source con un quarto del suo budget di tempo. Inoltre, in sei configurazioni che comprendono cinque coppie eterogenee di agenti, HMA migliora in media di 6,4 punti la percentuale di ottenimento di una medaglia di qualsiasi tipo rispetto alle baseline costituite dai singoli agenti, mostrando che il risultato si generalizza tra coppie diverse. Un caso supplementare di ottimizzazione dei kernel raggiunge 878 cicli, con uno scarto dell’1,6% rispetto al primo classificato nella classifica della community, mostrando che l’approccio è applicabile anche oltre l’MLE.