The Pulse
Uno studio: gli agenti di IA più potenti hanno bisogno di meno infrastruttura di supporto
Uno studio pubblicato da Apple Machine Learning Research rileva che, nei benchmark di ingegneria del machine learning esaminati, una singola sessione di un agente di programmazione ha eguagliato o superato quattro harness specializzati. Gli
AI.info Team · Scritto con l’IA ·
In 17 confronti con quattro harness di IA consolidati, una singola sessione di un agente di programmazione ha eguagliato o superato ogni sistema nei compiti di ingegneria del machine learning esaminati. Un articolo pubblicato il 30 settembre da ricercatori il cui lavoro è stato pubblicato da Apple sostiene che, quando un modello potente può esaminare i file ed eseguire codice autonomamente, ulteriori livelli di orchestrazione degli agenti spesso apportano pochi benefici misurabili.
Il risultato mette in discussione una scelta progettuale comune nell’ingegneria autonoma del machine learning: affiancare a un modello agenti specializzati, sistemi di ricerca e strumenti di memoria per gestirne il lavoro. I ricercatori non sostengono che ogni struttura di supporto sia inutile. Le loro prove riguardano un insieme definito di benchmark, modelli e risorse di calcolo, e lasciano aperta la questione se un coordinamento più elaborato sia utile in contesti che non hanno esaminato.
Una singola sessione di programmazione ha tenuto testa agli altri sistemi
Lo studio, «How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?», confronta una configurazione minimale chiamata Malena con quattro sistemi open source: MLEvolve, AiScientist, Arbor e ScienceFlow. Malena mette a disposizione di un agente di programmazione una directory di lavoro e strumenti di base per leggere e scrivere file, eseguire comandi e correggere errori; l’agente prosegue in una singola sessione, anziché distribuire il lavoro tra una serie di agenti specializzati.
Per il confronto principale, i ricercatori hanno mantenuto costanti il modello di base, l’hardware e il tempo a disposizione. Hanno esaminato 30 compiti di MLE-bench con un limite di 24 ore, riportando i risultati di 17 combinazioni di harness e modello. Gli autori scrivono: «a parità di tempo a disposizione e di modello linguistico di grandi dimensioni all’avanguardia usato come base, gli harness open source più avanzati non offrono vantaggi rispetto a una singola sessione di un agente di programmazione con un harness minimale usato come riferimento, il che indica che il modello di base è il principale fattore determinante delle prestazioni». Kirill Brilliantov et al., «How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?»
In questi confronti, Malena ha eguagliato o superato ciascuno degli harness esaminati con i modelli di base all’avanguardia. L’articolo segnala un’eccezione per il modello di base più piccolo Gemma 4 31B: MLEvolve aveva una stima media più alta, sebbene gli intervalli di confidenza del tasso di medaglie si sovrapponessero. Gli esperimenti hanno utilizzato una Nvidia A100 con 80GB di memoria, 12 core CPU e 144GB di RAM.
L’accesso diretto contava più dell’orchestrazione
Il miglioramento più marcato non è derivato dall’aggiunta di altri agenti, ma dalla possibilità per il modello di lavorare in un ambiente di programmazione. I ricercatori hanno confrontato questa configurazione con un approccio basato su chat, in cui il modello doveva restituire uno script completo in un’unica risposta e poteva ricevere un messaggio di errore se lo script non funzionava. Dare ai modelli accesso diretto ai file e all’ambiente di esecuzione ha prodotto il miglioramento maggiore tra gli interventi esaminati.
Nelle analisi di ablazione controllate dello studio, le altre aggiunte non hanno prodotto miglioramenti statisticamente significativi rispetto alla configurazione minimale con un agente di programmazione. Le diverse strategie di ricerca non hanno mostrato vantaggi significativi l’una rispetto all’altra; nemmeno l’aggiunta di sottoagenti o di agenti paralleli ha migliorato in modo affidabile la soluzione finale scelta dal sistema stesso. Gli agenti paralleli a volte hanno trovato soluzioni candidate migliori, ma la scelta del sistema su quale presentare poteva annullare quel vantaggio.
La distinzione è importante perché il benchmark premia la soluzione selezionata da un agente, non semplicemente il miglior risultato che questo genera nel corso del lavoro. L’articolo rileva inoltre che la lunga sessione di Malena può costare di più in termini di inferenza del modello rispetto ai sistemi che ripartono con sessioni più brevi, anche se, secondo lo studio, nel complesso i costi dell’hardware restano la spesa maggiore.
I limiti dei benchmark contano
I ricercatori hanno esaminato un secondo benchmark, NatureBench, che chiede agli agenti di lavorare su compiti scientifici legati a ricerche pubblicate. In questa valutazione, Malena ha eguagliato o superato i sistemi con cui è stata confrontata per entrambi i modelli di base esaminati. Gli autori riconoscono anche un possibile vantaggio dovuto al funzionamento del benchmark per Malena e AiScientist: NatureBench assegna il punteggio in base al miglior risultato ottenuto durante un’esecuzione, e questi sistemi hanno richiamato il valutatore più spesso di MLEvolve.
La maggior parte dei risultati dell’articolo proviene da MLE-bench, una raccolta di competizioni pubbliche su Kaggle. Gli autori hanno corretto problemi nella preparazione dei compiti, verificato la somiglianza del codice generato con soluzioni note e aggiunto NatureBench come secondo test, ma affermano che i compiti dei benchmark pubblici restano un possibile bersaglio della contaminazione dei dati di addestramento. Riferiscono inoltre di aver usato soltanto tre o quattro seed per compito nelle costose esecuzioni di 24 ore, il che limita la precisione di alcuni confronti.
Le conclusioni si applicano soprattutto agli agenti che lavorano sui compiti dei benchmark con strumenti di programmazione moderni e un unico agente principale. Gli autori affermano che il loro studio non esamina a fondo il coordinamento tra agenti che lavorano contemporaneamente: un problema distinto che potrebbe favorire scelte progettuali diverse. Per ora, il risultato più chiaro dell’articolo è più circoscritto: nel confronto su 30 compiti di MLE-bench, una singola sessione di un agente di programmazione non ha avuto bisogno dell’infrastruttura aggiuntiva di quattro harness specializzati per tenere il passo.