AdaPRA: agenti di ricompensa del processo con griglie di valutazione adattive per la scienza dei dati

Abstract degli autori

Gli agenti per la scienza dei dati possono automatizzare flussi di lavoro di machine learning dall’inizio alla fine, ma sono ancora lontani dall’essere competitivi nelle classifiche dei partecipanti umani. Gli agenti commettono errori nel processo, come un’esplorazione insufficiente, una validazione inadeguata, bug nel codice e un cattivo uso di un budget fisso (ripetendo la stessa analisi esplorativa dei dati e gli stessi modelli di riferimento a ogni tentativo). Per affrontare questi problemi proponiamo AdaPRA: un’infrastruttura persistente per un agente di programmazione che accumula conoscenze tra un tentativo e l’altro sullo stesso compito, con una supervisione del processo guidata da griglie di valutazione che identifica e corregge gli errori. Il nostro agente di ricompensa del processo esamina la traiettoria e lo spazio di lavoro dell’agente eseguendo controlli e adatta le proprie griglie di valutazione a ciascun compito. Riscontriamo che le griglie di valutazione inizialmente ricavate da compiti più semplici si generalizzano a compiti più difficili e che il loro adattamento migliora ulteriormente le prestazioni. Con cinque tentativi per compito, AdaPRA migliora il posizionamento percentile in classifica di un modello Qwen da 80B di 24,5 punti su DSPredict-Easy e di 14,8 punti su DSPredict-Hard, riducendo al contempo gli errori nel processo. Mostriamo inoltre che la supervisione con griglie di valutazione ricavate dalle esecuzioni di un modello di base migliora le prestazioni di un altro modello (DeepSeek-V3.2) e che AdaPRA supera DataPRM, un PRM competitivo per la scienza dei dati. Condividiamo anche il nostro codice per consentire la riproducibilità.