AutoDataBench: gli agenti possono scrivere i dati che alimentano il ciclo di auto-miglioramento?

Abstract degli autori

I recenti progressi nelle capacità dei modelli linguistici sono dovuti più ai dati che all’architettura. I laboratori all’avanguardia e le aziende che si occupano di dati producono compiti agentici verificabili, che il fine-tuning supervisionato e l’apprendimento per rinforzo trasformano poi in capacità. Questa filiera dipende ancora dal lavoro umano e dalla collaborazione che coinvolge gli esseri umani nel processo. Automatizzare la creazione dei compiti permetterebbe alla produzione di dati di crescere in funzione della potenza di calcolo anziché del numero di esperti, di estendersi a più ambiti e di compiere un passo fondamentale verso l’auto-miglioramento ricorsivo (RSI). Le valutazioni attuali della capacità di un agente di scrivere compiti di questo tipo misurano le prestazioni di un modello dopo l’addestramento sui compiti prodotti dall’agente. Questo non rispecchia la prassi comune nel settore dei dati, dove i dati vengono consegnati un campione alla volta e ciascun campione viene accettato in base a una serie di criteri, anziché essere inserito direttamente nell’addestramento. Nessuna valutazione esistente verifica se un singolo compito soddisfi i criteri di accettazione di una pipeline di dati. Per questo presentiamo AutoDataBench. Dati un compito originale di un benchmark e una registrazione del tentativo del modello bersaglio di svolgerlo, un agente deve scrivere un nuovo compito per la stessa suite che soddisfi criteri pratici di accettazione relativi a validità, novità, difficoltà e copertura dei comportamenti. Su tre benchmark di compiti agentici eseguibili, nessuno degli agenti che valutiamo supera 20 punti su 100 con il tempo standard a disposizione di 45 minuti. Concedere all’agente più forte un tempo quattro volte maggiore migliora notevolmente il suo punteggio, mentre il costo di un compito utilizzabile resta pressoché invariato. Gli agenti attuali sono in grado di scrivere compiti di addestramento della qualità richiesta, ma non in modo efficiente. AutoDataBench offre una misura diretta della capacità di un agente di sintetizzare dati autonomamente: un artefatto alla volta, valutato secondo i criteri che applicherebbe una pipeline di produzione e senza una fase di addestramento. Il codice e i dati sono disponibili all’indirizzo https://github.com/StarDewXXX/AutoDataBench.