The Pulse
LongCat di Meituan pubblica un framework per addestrare agenti di analisi dei dati
Il LongCat Interaction Team di Meituan ha pubblicato Data World, un framework aperto per creare ambienti sintetici di analisi dei dati, compiti e griglie di valutazione per agenti di IA. Il paper presenta 2.135 compiti di addestramento e i
AI.info Team · Scritto con l’IA ·
«La nostra intuizione fondamentale è definire il mondo alla base dei file prima di generare i file stessi.»
Zhanli Li et al., Longcat Interaction Team, Meituan
Il LongCat Interaction Team di Meituan ha pubblicato Data World il 15 ottobre, presentando un framework open source insieme a un paper sulla generazione di ambienti di addestramento per agenti di analisi dei dati. Il sistema crea file interconnessi, compiti di analisi e griglie di valutazione a partire da un modello che specifica le relazioni tra i dati. L’idea centrale è che, definendo in partenza come funziona un mondo sintetico, sia più facile verificare se le conclusioni di un agente derivano dai file a cui ha accesso.
Costruire il mondo prima dei suoi file
Data World parte da un grafo delle dipendenze che descrive entità e relazioni, poi genera una rappresentazione interna e canonica di quel mondo. Da questa ricava i file che l’agente esaminerà, introducendo imperfezioni definite, come valori mancanti, registrazioni ritardate, voci duplicate, identificativi incoerenti e cambiamenti nelle unità di misura o nello schema. Un sistema di verifica separato controlla se le relazioni e gli obiettivi di analisi specificati dal sistema siano ancora ricostruibili a partire da queste osservazioni imperfette.
I compiti seguono nel grafo un percorso dalle cause alle conseguenze o viceversa: un agente può indagare quali fattori spieghino un cambiamento oppure seguirne gli effetti sugli esiti successivi. Le griglie di valutazione suddividono le risposte attese in singoli criteri, compresi controlli su calcoli errati o conclusioni contraddette dal mondo generato. L’agente che risolve il compito vede i file di dati, non lo stato canonico usato per crearli e verificarli.
1.037 mondi di addestramento e 100 compiti nel benchmark
Il team riferisce di aver creato 2.135 compiti di addestramento distribuiti su 1.037 mondi, distinti dai 50 mondi tenuti da parte per DataWorld-Bench. Il benchmark comprende 100 compiti selezionati in 16 ambiti. Secondo il paper, un gruppo di 15 annotatori ha confrontato le domande candidate per valutarne il realismo e le divergenze sono state risolte con una valutazione.
Dieci modelli hanno completato il benchmark e tutti hanno ottenuto nella scoperta di informazioni significative punteggi inferiori rispetto al calcolo sui dati, con differenze da 4,87 a 21,35 punti. GPT-6-Astra ha ottenuto il punteggio medio più alto, 74,43 su 100, mentre Qwen-3.8-Max-0902 è risultato primo nella scoperta di informazioni significative, con 67,95. Gli autori avvertono che la copertura delle griglie di valutazione e le scelte relative ai punteggi potrebbero contribuire al divario: il confronto, quindi, non dimostra che la sola capacità di elaborare i dati sia la causa dei punteggi più bassi nella scoperta di informazioni significative.
I miglioramenti dovuti all’addestramento vanno oltre il benchmark sintetico
I ricercatori hanno usato i compiti generati anche per un addestramento con apprendimento per rinforzo, partendo da Qwen3.6-35B-A3B e ottenendo DataWorld-35B-A3B. Rispetto al modello di partenza, riferiscono miglioramenti di 7,06 punti su DataWorld-Bench, 14,28 su DAComp, 20,90 su DABstep-Hard e 12,13 su JobBench. Quest’ultimo benchmark copre 35 professioni ed è quindi un test della trasferibilità a lavori professionali basati su file, al di là dell’analisi dei dati.
L’addestramento ha usato risposte campionate dal modello stesso e ricompense basate sulle griglie di valutazione, senza dimostrazioni di risoluzione dei compiti né distillazione delle traiettorie da un modello più potente. Nei controlli separati del paper sulla conservazione delle capacità, l’accuratezza su MMLU-Pro è rimasta all’84,73%; quella su LiveCodeBench-Hard è passata dal 71,14% al 70,29%, mentre il punteggio F1 su SimpleQA-Verified è salito da 22,20 a 24,00. Queste cifre provengono dalle valutazioni comparabili condotte dagli autori e non garantiscono che il metodo di addestramento produca gli stessi risultati con altri modelli o altre configurazioni di addestramento.
Le verifiche controllano la verità sintetica, non la validità nel mondo reale
Il repository GitHub aperto contiene il motore di generazione, gli strumenti per creare i compiti, esempi e documentazione. Le istruzioni per iniziare rapidamente richiedono Python 3.9 o una versione successiva, Node.js 18 o una versione successiva, un’installazione di Claude Code e un servizio per modelli compatibile; la registrazione facoltativa delle traiettorie prevede requisiti aggiuntivi. Secondo il paper, le fasi di costruzione usano GLM 5.3 tramite l’harness Claude Code.
I miglioramenti del metodo hanno un limite preciso: la verifica controlla se un agente riesce a ricostruire le relazioni specificate dal mondo sintetico, non se le sue conclusioni siano adatte a decisioni operative reali. Gli autori precisano inoltre che i loro esperimenti valutano il framework nel suo insieme e non isolano l’effetto di ciascun componente. Data World offre dunque un modo per generare materiali verificabili per l’addestramento e la valutazione; i risultati del suo benchmark e delle sue verifiche non sostituiscono una validazione condotta sui dati disordinati e sulle conseguenze di un’organizzazione reale.