The Pulse

I ricercatori Apple sviluppano SCLATE per addestrare agenti che operano a lungo

I ricercatori Apple presentano SCLATE, un sistema per addestrare e valutare agenti di IA impegnati in attività lunghe, distribuite su più sessioni. Il suo orologio simulato comprime uno scenario di 40 giorni in una mediana di 5,9 ore, mentr

AI.info Team · Scritto con l’IA · 2026-09-30

«Un orologio simulato ibrido gestisce questi eventi su una linea temporale condivisa: scorre in tempo reale mentre l’agente lavora e salta gli intervalli di inattività, comprimendo così uno scenario di un mese in poche ore.»

Youngmok Jung, Sirajul Salekin, Henry Tran, Javier Movellan, Zhao Huang e Manjot Bilkhu, autori di “SCLATE: a Substrate for Continual-Learning Agent Training and Evaluation”

I ricercatori Apple propongono SCLATE, un sistema di esecuzione per addestrare e testare agenti di IA che operano nell’arco di più sessioni. Il paper, inviato ad arXiv il 26 settembre e indicato come sottoposto a ICLR 2027, affronta un problema di pianificazione: gli agenti che operano a lungo hanno eventi propri, come il riavvio delle sessioni, le attività programmate e gli aggiornamenti della memoria, che i benchmark standard non coordinano con i propri eventi.

Invece di costruire uno scheduler su misura per ogni coppia benchmark-agente, SCLATE fornisce a benchmark e agenti adattatori con cui registrare gli eventi su un’unica linea temporale condivisa. Il sistema acquisisce inoltre le chiamate al modello tramite un proxy all’interno del container, registrando token e log-probabilità affinché le esecuzioni di valutazione possano essere usate per l’addestramento. Gli autori lo descrivono come un modo per valutare gli agenti nei loro ambienti di esecuzione e sistemi di memoria esistenti, senza modificare questi componenti.

Un orologio condiviso per benchmark e agenti

L’orologio di SCLATE avanza in tempo reale mentre un agente lavora o è attiva un’attività in background. Quando non è in esecuzione nulla e sono previsti eventi futuri, salta l’intervallo di inattività fino all’evento successivo. Questo consente di mantenere la sequenza e la tempistica di uno scenario senza attendere, nel mondo reale, tra una sessione e l’altra o tra gli aggiornamenti programmati.

Nel test MetaClaw del paper, uno scenario di 30 giorni lavorativi distribuiti su 40 giorni di calendario è stato completato in una mediana di 5,9 ore su 100 esecuzioni. L’accelerazione mediana riportata è stata di 162 volte; considerando tutte le esecuzioni, è stata di 142 volte. Gli autori riferiscono inoltre che SCLATE ha attivato tutti i 13.050 eventi programmati dell’ambiente GAIA-2 e che il 98,7% degli eventi verificabili si è verificato con il ritardo specificato nello scenario.

Sette benchmark, dieci modelli

I ricercatori hanno adattato sette benchmark pubblici che riguardano l’assistenza personale, l’ingegneria del software e la memoria su più sessioni. Hanno confrontato dieci combinazioni di ambienti di esecuzione degli agenti e sistemi di memoria su dieci modelli. I risultati mostrano che la memoria non è una semplice aggiunta: sebbene ogni configurazione di memoria testata abbia superato, nel confronto su MetaClaw, la configurazione di riferimento senza memoria del rispettivo ambiente di esecuzione, nessun sistema di memoria ha ottenuto i risultati migliori per tutti i modelli.

Le prestazioni variavano anche in base all’attività. Su GAIA-2, gli scenari che richiedono agli agenti di reagire a eventi durante un’esecuzione sono rimasti difficili per tutte le combinazioni di modelli e ambienti di esecuzione testate. Il paper riporta percentuali massime di superamento del 37,5% per la categoria Adaptability e del 34,4% per Time. Secondo gli autori, lo scheduler condiviso rende più semplice eseguire questi scenari asincroni in modo coerente, ma i risultati mostrano anche quanto gli agenti continuino a faticare con gli eventi che arrivano dopo l’inizio di un’attività.

Il post-addestramento cambia il modo in cui il modello usa la memoria

Il team ha usato SCLATE per il post-addestramento di Qwen3.5-4B tramite ambienti di esecuzione degli agenti non modificati. Negli esperimenti di ingegneria del software, il Pass@1 del modello addestrato su SWE-bench Verified è salito dal 9,8% al 26,5% con Claude Code, un aumento di 16,7 punti percentuali. Con Codex è passato dal 28,8% al 33,6%. Su 42 attività corrispondenti con Claude Code, il modello addestrato ha letto 6,8 volte meno righe di file e ha raggiunto il limite di contesto nel 31,0% delle attività, contro il 97,6% precedente.

Nei giorni MetaClaw esclusi dall’addestramento, l’accuratezza è aumentata da 7,6 a 11,8 punti percentuali in cinque delle sei configurazioni; secondo il paper, tre di questi miglioramenti erano statisticamente significativi. Il modello addestrato ha inoltre scritto record di memoria contenenti più regole procedurali e più dettagli sulle proprie azioni. Questi risultati sono specifici dei modelli, delle attività e delle configurazioni testate; non dimostrano che gli stessi miglioramenti si estenderanno ad altri agenti o carichi di lavoro.

La difficoltà non sta solo nel tempo trascorso

Il contributo principale di SCLATE è un’infrastruttura sperimentale: coordina gli eventi dei benchmark con le routine interne che consentono agli agenti di proseguire il lavoro su più sessioni, quindi acquisisce le chiamate al modello per il post-addestramento. I suoi esperimenti mostrano perché questa distinzione conta. I sistemi di memoria e gli ambienti di esecuzione interagiscono in modi diversi con modelli diversi, e il miglioramento delle prestazioni in una valutazione non stabilisce quale configurazione funzionerà meglio altrove.

Per ora, il paper presenta un prototipo di ricerca e risultati su sette benchmark, non una procedura di addestramento ampiamente convalidata. La dimostrazione misurata più chiara è lo scenario MetaClaw di 40 giorni di calendario, completato in una mediana di 5,9 ore mentre lo scheduler ha preservato la sequenza temporale degli eventi programmati.