The Pulse
AutoSynthData di ServiceNow trasforma i fallimenti degli agenti in compiti di addestramento
La pipeline AutoSynthData di ServiceNow usa i fallimenti degli agenti e un modello docente più potente per generare e verificare compiti di addestramento per le aziende. Nei test su EnterpriseOps Gym, il fine-tuning ha migliorato il Pass@1
AI.info Team · Scritto con l’IA ·
Il Pass@1 di ITSM sale dal 18,77% al 27,18%
ServiceNow afferma che la sua pipeline AutoSynthData ha portato il punteggio Pass@1 medio di un modello bersaglio dal 18,77% al 27,18% nei compiti ITSM di EnterpriseOps Gym. Il sistema crea esempi di addestramento a partire da ciò che un agente non riesce a fare, poi li verifica nell’ambiente prima di usarli per il fine-tuning.
L’azienda ha pubblicato il metodo il 2 ottobre 2026, descrivendo due test in EnterpriseOps Gym, un ambiente con stato per compiti aziendali. Nel dominio Hybrid, il miglior checkpoint ottenuto con il fine-tuning ha migliorato il Pass@1 medio di 7,2 punti percentuali, un aumento relativo del 35%. I risultati dimostrano un miglioramento in quei contesti di benchmark, non le prestazioni nelle implementazioni presso i clienti.
I fallimenti guidano ciò che il modello impara dopo
AutoSynthData valuta un modello bersaglio insieme a un modello docente più potente. Il sistema esamina i casi in cui il modello bersaglio fallisce e quello docente riesce, poi distilla questi schemi in schede che specificano le capacità. Le schede guidano la generazione, ma il generatore non riceve i prompt di valutazione, le entità, le traiettorie o i dettagli del verificatore originali.
Ogni compito di addestramento combina una specifica di sistema, un prompt dell’utente e un verificatore. I prompt generati devono essere realizzabili nell’ambiente, somigliare a richieste plausibili e mettere alla prova una capacità che il modello attuale non ha ancora padroneggiato. Il modello docente fornisce una traiettoria riuscita per ogni compito, che può poi essere usata come esempio per il fine-tuning supervisionato.
«In ServiceNow CoreAI, abbiamo creato AutoSynthData per trasformare queste lacune nelle capacità in dati di addestramento».
Esakkivel Esakkiraja, Shruthan Radhakrishna, Denis Akhiyarov e Sagar Davasam, ServiceNow-AI
Ogni esempio deve superare due verifiche
La pipeline di ServiceNow verifica se un compito è abbastanza difficile da essere utile all’apprendimento. Nella configurazione descritta, privilegia i compiti che il modello bersaglio risolve in non più di una prova su tre e che il modello più potente risolve in almeno due prove su tre. Gli autori affermano che questo filtro mira a selezionare compiti che siano al tempo stesso apprendibili e impegnativi.
Una verifica positiva riproduce la traiettoria di riferimento nell’ambiente bersaglio per confermare che raggiunga lo stato richiesto. Una verifica negativa controlla che gli esiti errati pertinenti non vengano accettati; in un esempio, modifica l’esito atteso e controlla che il verificatore non lo accetti più. I compiti candidati che non superano le verifiche passano a un modello critico per una diagnosi ed eventuale correzione, mentre una revisione dell’intero lotto cerca esempi ripetitivi e aree di capacità mancanti.
Due domini, costi di generazione diversi
Per Hybrid, ServiceNow ha usato Gemma-4-26B-A4B-it come modello bersaglio e Qwen3.8-27B come modello docente. AutoSynthData ha generato 2.000 esempi in circa 18 ore. Il miglior checkpoint, alla quinta epoca, ha portato il tasso di successo secondo il verificatore dal 63,01% al 68,55% e ha colmato il 59% del divario iniziale di Pass@1 tra Gemma e il modello di riferimento.
Per ITSM, il modello bersaglio è rimasto Gemma-4-26B-A4B-it, mentre DeepSeek-V4.1-Flash ha svolto il ruolo di modello docente. La pipeline ha generato 1.994 esempi in 66 ore. ServiceNow attribuisce la maggiore durata soprattutto alle dimensioni superiori del modello docente e afferma che l’esperimento ITSM ha preceduto i successivi miglioramenti della produttività della pipeline.
Il benchmark lascia aperte le questioni relative all’impiego
Il metodo considera i dati di addestramento un obiettivo che cambia nel tempo: dopo il fine-tuning, il modello viene valutato di nuovo e i fallimenti rimanenti possono guidare un altro ciclo di generazione. ServiceNow afferma che gli esperimenti si concentrano sul fine-tuning supervisionato e propone di testare lo stesso processo, che calibra la difficoltà, per l’apprendimento per rinforzo. Questa estensione non è ancora stata testata nel post.
I miglioramenti riportati provengono dai domini Hybrid e ITSM di EnterpriseOps Gym. Il post non stabilisce se si trasferiscano ad altri ambienti aziendali, né come i costi di generazione e verifica si confrontino con quelli di metodi alternativi per creare dati di addestramento degli agenti.