Davinci-Tool: portare su larga scala la supervisione dell’uso agentico degli strumenti con ambienti eseguibili verificabili

Abstract degli autori

Per usare gli strumenti in modo agentico e affidabile servono dati di addestramento che associno flussi di lavoro diversificati e articolati in più fasi a prove eseguibili del raggiungimento dei risultati richiesti. Ampliare la sola copertura delle traiettorie o la sola verifica non basta: i nuovi ambienti introducono stati, regole e dipendenze distinti, che devono riflettersi anche nei criteri di successo. Per affrontare questa sfida, presentiamo Davinci-Tool, un modello per l’uso degli strumenti da 30B, e Davinci-ToolData, un dataset basato sull’esecuzione progettato per ampliare insieme la copertura degli ambienti e la verifica dei risultati. Davinci-ToolData conserva stati ripristinabili, tracce di esecuzione, risultati e verificatori in una base unificata per la supervisione. Due procedure complementari alimentano questa base: Execution-Grounded Task Synthesis (EGTS) ricava dimostrazioni verificate da sistemi realizzati in modo indipendente, mentre Executable Environment Synthesis (EES) sintetizza ambienti ispezionabili, compiti fondati sugli stati e verificatori eseguibili in domini singoli e coordinati. Queste procedure producono 30.395 traiettorie verificate che comprendono 2.260 nomi di strumenti invocati. Addestriamo prima il modello su queste dimostrazioni mediante fine-tuning supervisionato, poi riutilizziamo gli stati e i verificatori di EES per confrontare azioni alternative e costruire preferenze basate sui risultati per la Direct Preference Optimization. Davinci-Tool porta le prestazioni di Qwen3-Coder-30B-A3B-Instruct da 52,4 a 88,2 su $τ^2$-bench, da 30,4 a 62,8 su BFCL v4 multi-turn e da 16,9 a 56,2 su MCP-Atlas, superando Qwen3-Coder-480B-A35B-Instruct in tutti e tre i benchmark con appena 1/16 dei suoi parametri totali. Il codice è disponibile all’indirizzo https://github.com/MassLab-SII/Davinci-Tool.