Data World: creare ambienti di dati su larga scala da zero

Abstract degli autori

Gli agenti per i dati usano codice per elaborare file eterogenei e ricavarne conclusioni analitiche. Addestrarli su larga scala è difficile: predisporre gli ambienti è costoso, vi sono restrizioni legate alla privacy e alla proprietà intellettuale ed è difficile verificare risultati aperti senza una verità generativa nota. La nostra intuizione centrale è definire il mondo alla base dei file prima di generare i file stessi. Presentiamo Data World, un motore multiagente che genera ambienti, compiti e criteri di valutazione a partire da meccanismi espliciti. Verifiche indipendenti controllano se gli obiettivi sono ricavabili dai file osservati; i criteri consentono la valutazione e forniscono ricompense per l’apprendimento per rinforzo. Una selezione basata sulle preferenze umane riguardo al realismo delle domande sceglie 100 compiti, distribuiti su 50 mondi tenuti da parte e 16 ambiti, per DataWorld-Bench. Il motore produce anche 2.135 compiti di addestramento da 1.037 mondi disgiunti. La valutazione di dieci modelli di punta mostra che il benchmark resta impegnativo, soprattutto nella scoperta di nuove conclusioni, e che persiste un divario tra capacità di calcolo e capacità di trarre conclusioni. L’addestramento RL-zero sui compiti generati produce DataWorld-35B-A3B a partire da Qwen3.6-35B-A3B senza distillazione delle traiettorie. A parità di condizioni di valutazione, supera il modello di partenza di 7,06 punti su DataWorld-Bench, 14,28 su DAComp, 20,90 su DABstep-Hard e 12,13 su JobBench, un benchmark occupazionale più ampio.