MLE-World: prevedere gli esiti degli esperimenti di machine learning con un modello del mondo addestrato

Abstract degli autori

Gli agenti di ricerca basati sull’IA possono proporre, eseguire e migliorare programmi che risolvono compiti di machine learning. Tuttavia, eseguire ogni programma candidato richiede di addestrare e valutare modelli di machine learning, limitando il numero di candidati che un agente può esplorare a ogni passo. Presentiamo MLE-World, un modello del mondo ottenuto tramite fine-tuning di Qwen3.5-4B che prevede l’output finale di un programma — tracce degli errori, log di addestramento e punteggi di validazione — a partire dal codice e dalla descrizione dei dati, senza eseguirlo. Il modello fornisce anche un punteggio di confidenza che stima la correttezza della previsione. Poiché una previsione richiede una sola chiamata di inferenza anziché un ciclo di addestramento, MLE-World rende accessibile agli agenti lo scaling in fase di test (TTS). Sviluppiamo cinque strategie di TTS guidate da MLE-World che confrontano diversi candidati a ogni passo sulla base degli output previsti: Sequential revision, Best-of-N, Pairwise judging, Fusion e una regola in stile UCB che aggiunge anche un bonus di esplorazione basato sul punteggio di confidenza. Poiché le previsioni possono essere errate, eseguiamo realmente un candidato solo quando il punteggio di confidenza è basso. Su 17 compiti di MLE-bench Lite, MLE-World prevede correttamente l’output finale reale per il 77,9% dei programmi esclusi dall’addestramento, contro il 41,1% di modelli molto più grandi guidati da prompt. Il TTS guidato da MLE-World ottiene prestazioni medie osservate fino al 22,1% superiori a quelle dell’agente privo di un modello del mondo, con meno esecuzioni reali. Pagina web del progetto: https://mle-world.github.io/.