The Pulse
Nel test GLM 5.2 MLE-bench, un singolo agente ottiene medaglie nel 62,5% delle competizioni
Nel confronto su GLM 5.2 MLE-bench presentato nello studio, l’agente di programmazione Malena ha ottenuto medaglie nel 62,5% delle competizioni, contro il 47,1% di AiScientist. Lo studio riferisce inoltre che, nei confronti condotti con mod
AI.info Team · Scritto con l’IA ·
Su MLE-bench, una singola sessione di un agente di programmazione ha ottenuto medaglie nel 62,5% delle competizioni con il modello GLM 5.2, contro il 47,1% di AiScientist, l’harness esterno con i risultati migliori in quel confronto. Lo studio, pubblicato su arXiv il 30 settembre e messo in evidenza da Apple Machine Learning Research, sostiene che modelli potenti con accesso diretto ai file e all’esecuzione del codice possono eguagliare o superare sistemi costruiti attorno ad alberi di ricerca, agenti specializzati e altri livelli di orchestrazione.
L’agente, chiamato Malena, opera in un’unica sessione di lunga durata con accesso a un filesystem e a una shell. I ricercatori lo hanno confrontato con quattro sistemi open source — MLEvolve, AiScientist, Arbor e ScienceFlow — mantenendo costanti i modelli, le risorse di calcolo e il tempo a disposizione. Il risultato mette in discussione l’idea che un’infrastruttura software più elaborata renda necessariamente più efficace un ingegnere autonomo di machine learning.
Che cosa ha fatto Malena con una shell
Lo studio distingue l’accesso a un ambiente di esecuzione dall’orchestrazione costruita attorno a esso. In un primo confronto, un modello che usava un’interfaccia di chat doveva restituire come testo uno script di soluzione completo; un agente di programmazione poteva invece esaminare i file, scrivere codice, eseguirlo e correggere gli errori. Entrambi gli approcci avevano sei ore per produrre una soluzione da presentare, e i ricercatori hanno rilevato che l’accesso diretto all’ambiente ha prodotto il miglioramento maggiore tra quelli misurati.
Hanno poi sperimentato metodi di ricerca aggiuntivi e l’autonomia dell’agente. Per tutte le strategie di ricerca testate, i confronti appaiati non hanno rilevato alcun vantaggio statisticamente significativo in termini di percentile o tasso di medaglie. Malena è andato oltre: anziché affidare a un harness la scelta e la pianificazione dei tentativi successivi, è rimasto in un’unica sessione per tutto il tempo a disposizione, decidendo che cosa testare e perfezionare.
«In questo studio rileviamo che, a parità di tempo a disposizione e con lo stesso LLM di frontiera come modello di base, gli harness open source più avanzati non offrono alcun vantaggio rispetto a una singola sessione di un agente di programmazione di riferimento con un harness minimale: ciò indica che il modello di base è il principale fattore determinante delle prestazioni.»
Kirill Brilliantov, Alejandro Hernández-Cano ed Emmanuel Abbé, gli autori dello studio
Quattro sistemi, a parità di condizioni
Per il confronto esterno, i ricercatori hanno messo Malena alla prova contro MLEvolve, AiScientist, Arbor e ScienceFlow. Su MLE-bench, il 62,5% di Malena e il 47,1% di AiScientist sono i tassi di medaglie nei risultati con GLM 5.2. Gli autori riferiscono che, con modelli di frontiera, nessuno dei sistemi testati ha superato Malena in misura statisticamente significativa; hanno inoltre testato sei combinazioni di harness e modelli su 40 attività di NatureBench, una serie distinta di problemi aperti di ricerca scientifica.
L’analisi delle tracce condotta dagli autori offre una possibile spiegazione. Malena ha esplorato diversi approcci e riutilizzato codice e altri artefatti prodotti in precedenza, per poi concentrarsi, con il procedere delle esecuzioni, su perfezionamenti mirati alle prestazioni, come l’ensembling e la selezione dei modelli. In sostanza, l’agente ha svolto alcune parti della ricerca che altri sistemi codificano nei propri harness.
Il risultato è condizionato, non dimostra che l’orchestrazione non sia mai utile. Lo studio afferma che i modelli meno potenti possono comunque trarre beneficio da indicazioni sul flusso di lavoro progettate manualmente, e il confronto non stabilisce che un harness minimale sia preferibile per ogni attività affidata a un agente o in ogni contesto di impiego.
I limiti dei risultati dei benchmark
La maggior parte degli esperimenti si basa su MLE-bench, una raccolta fondata su competizioni pubbliche di Kaggle. Gli autori individuano come possibili criticità la contaminazione dei dati di addestramento e i problemi nella preparazione delle attività; riferiscono di aver corretto le attività interessate, verificato la presenza di contaminazione e aggiunto NatureBench come seconda valutazione. Questi interventi affrontano alcune criticità, ma le conclusioni dello studio restano circoscritte alle attività e ai sistemi testati.
Gli autori avvertono inoltre che alcuni intervalli di confidenza sono troppo ampi per sostenere affermazioni precise sull’entità delle differenze nelle prestazioni. I loro test multi-agente coprono un insieme limitato di metodi di coordinamento, lasciando a indagini future modalità più sofisticate per dirigere gli agenti. E le prestazioni non sono l’unico compromesso: con GLM 5.2, lo studio stima il costo di inferenza di Malena a 12,12 dollari, contro 1,95 dollari per AiScientist, attribuendo il divario in larga misura al contesto che si allunga nella sessione di lunga durata di Malena; secondo gli autori, l’hardware costituisce la voce principale del costo totale.
Resta da verificare se un coordinamento più avanzato possa migliorare quel risultato.