MLExpert: verso un modello agentico generalista per l’ingegneria autonoma del machine learning

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) stanno passando dal supporto alla ricerca scientifica e all’ingegneria allo sviluppo e al miglioramento autonomi dei sistemi di IA, facendo progredire l’IA per l’IA (AI4AI) come percorso verso l’automiglioramento ricorsivo (RSI). I sistemi di ingegneria del machine learning (MLE) basati su flussi di lavoro offrono una via pratica per perseguire questo obiettivo, grazie a un’orchestrazione complessa che gestisce sperimentazioni di lungo periodo. I sistemi MLE più recenti, invece, adottano un’interazione guidata dal modello, che consente ai modelli di organizzare autonomamente gli esperimenti e adattare le strategie di ottimizzazione in base ai riscontri dell’esecuzione. Tuttavia, il riscontro di ciascun esperimento riflette diverse decisioni precedenti, e una lunga sessione di MLE comprende molti esperimenti di questo tipo, ciascuno costoso. L’addestramento deve quindi selezionare indicazioni utili dalle lunghe traiettorie di interazione e apprendere dai risultati intermedi. Proponiamo un metodo di post-addestramento per l’ottimizzazione autonoma dell’MLE su orizzonti lunghi e lo applichiamo per addestrare MLExpert, un modello agentico Mixture-of-Experts da 35B. Progettiamo Kaggle-MLE Factory per costruire task eseguibili e un’infrastruttura di interazione per la sperimentazione guidata dal modello. L’SFT agentico gerarchico trasferisce all’MLE le capacità generali di uso degli strumenti e di programmazione attraverso indicazioni guidate dai risultati. Windowed Interaction RL (WIRL) considera le decisioni prese in più turni tra i risultati di esperimenti successivi come una finestra di esecuzione e assegna loro una ricompensa condivisa basata sul risultato. La raccolta asincrona e la correzione della policy consentono di aggiornare la policy prima che la traiettoria si concluda. Su MLE-Bench Lite, MLExpert porta il tasso medio di medaglie del modello di base dal 37,9% al 72,7%, raggiungendo prestazioni paragonabili a quelle di modelli di frontiera più grandi, come Kimi-K3 e GLM-5.3. Ulteriori esperimenti mostrano che MLExpert migliora le prestazioni su NatureBench Lite, nell’ottimizzazione degli scaffold degli agenti e nell’ottimizzazione degli algoritmi, suggerendo che la capacità di ottimizzazione appresa si generalizzi ad altri task.