The Pulse
SEAR verifica se gli agenti robotici imparano dalla propria esperienza
SEAR misura se gli agenti robotici migliorano conservando le esperienze utili o semplicemente riprovando. Il benchmark mette alla prova sette modelli linguistici su 330 compiti simulati e cinque compiti con robot fisici, e rileva che le com
AI.info Team · Scritto con l’IA ·
Una libreria di competenze riutilizzabili ha migliorato di 46,6 punti percentuali il risultato di Gemini-3.6-flash nei compiti simulati con guasti hardware nascosti, ma lo stesso tipo di esperienza conservata ha ridotto il punteggio di GPT-5.6-sol su RoboLab dal 46,9% al 42,4%. Il contrasto riassume il risultato centrale di SEAR, un nuovo benchmark che verifica se gli agenti robotici migliorano conservando le esperienze utili o semplicemente facendo più tentativi.
Lo studio, presentato ad arXiv il 13 ottobre 2026, esamina sette modelli linguistici su 330 compiti simulati e cinque compiti fisici. Gli autori scrivono: «I compiti più difficili rendono utili le sessioni più lunghe; in quelli più facili, ripetere tentativi brevi funziona altrettanto bene». Ne emerge un quadro sfumato dell’apprendimento automatico: gli agenti possono riutilizzare competenze utili, ma il successo dipende dal modello, dal compito e da ciò che viene conservato.
«I compiti più difficili rendono utili le sessioni più lunghe; in quelli più facili, ripetere tentativi brevi funziona altrettanto bene».
Xinyi Wang, Bangzheng Li, Hanyu Wang, Lin Zhang, Andrea Yaoyun Cui, Zhenggang Tang, Shyamal Buch e Dejia Xu, «SEAR: Self-Evolving Agentic Robotics»
SEAR distingue l’apprendimento da un altro tentativo
Un tasso di successo in crescita, da solo, non dimostra che un agente abbia imparato. Un maggior numero di tentativi, una sessione di lavoro più lunga, l’accesso a informazioni sul compito o un tentativo fortunato possono tutti far apparire migliori le prestazioni. «Un tasso di successo in crescita, tuttavia, non dimostra che l’agente abbia imparato», scrivono gli autori.
SEAR confronta una lunga sessione di lavoro con tre tentativi più brevi che si dividono lo stesso tempo a disposizione. Confronta inoltre agenti che ereditano una libreria di competenze e memorie scritte con agenti che iniziano ogni compito senza una libreria. Un valutatore distinto assegna un punteggio alle politiche di controllo congelate su stati di test tenuti da parte, mentre le prove ripetute aiutano a mettere in luce il ruolo della fortuna.
Il benchmark segue gli agenti attraverso cinque livelli di distanza dalle condizioni in cui si sono esercitati: nuovi stati iniziali, condizioni modificate, nuovi compiti, un simulatore diverso e, infine, un robot fisico. Questa struttura consente ai ricercatori di chiedersi non solo se le prestazioni migliorino, ma anche in quali condizioni il miglioramento persista.
Le competenze conservate aiutano alcuni modelli e ne ostacolano altri
L’effetto della libreria varia a seconda del modello e del compito. Su RoboLab, la famiglia di compiti simulati più difficile del benchmark, Kimi-k3 è passato dal 30,1% senza libreria al 51,9% con una libreria. GPT-5.6-sol, invece, è sceso dal 46,9% al 42,4% con la propria libreria, ma ha ottenuto il 60,6% quando ne ha ricevuta una di un altro modello.
Gli autori riferiscono che l’esperienza conservata è più utile quando un modello riesce già talvolta a completare un compito, ma non in modo affidabile. Un agente meno capace può avere poco codice utile da conservare; uno più capace può avere meno margine di miglioramento. Le memorie possono anche conservare errori: lo studio descrive un agente che ha salvato come dato di fatto una misurazione errata, poi ereditata dai compiti successivi.
Conta anche come viene distribuito il tempo. Una sessione lunga può dare risultati migliori di diversi tentativi brevi ricominciati da capo quando il primo successo di un agente arriva solo dopo il momento in cui un tentativo breve si sarebbe concluso. Quando un modello trova presto una politica di controllo efficace, suddividere lo stesso tempo tra nuovi tentativi può essere altrettanto efficace o persino migliore.
Esercitarsi non garantisce il successo su un robot reale
SEAR verifica tre modi in cui gli agenti possono controllare i robot: scrivere il codice che diventa la politica di controllo, agire in tempo reale nel ciclo di controllo oppure raccogliere rollout ed eseguire il fine-tuning di un modello di visione, linguaggio e azione. Nelle simulazioni, le routine condivise di controllo e di presa si trasferiscono tra compiti e simulatori in modo più affidabile rispetto alle soluzioni specifiche per un compito, riferisce lo studio.
Sui robot fisici, la differenza tra gli scenari delle esercitazioni e quelli della valutazione è stata meno facile da superare. Gli agenti si sono esercitati in compiti su un piano di lavoro usando due bracci YAM-Ultra, poi hanno affrontato scenari predisposti da un operatore. Una serie di dieci successi nelle esercitazioni non garantiva il successo in quei nuovi scenari, hanno rilevato gli autori.
I risultati sull’hardware presentano anche limiti che gli autori esplicitano: ogni agente fisico ha svolto una sola sessione di esercitazione e le politiche di controllo congelate sono state valutate una volta in ciascuno dei dieci scenari predisposti dall’operatore. Le prove fisiche sono iniziate senza una libreria ereditata dalla simulazione: verificano quindi l’apprendimento sull’hardware, non il trasferimento dai robot simulati a quelli reali. Lo studio offre dunque un quadro di riferimento per la valutazione e prove di miglioramenti che dipendono dalle condizioni, non una dimostrazione generale che gli agenti robotici possano imparare in modo affidabile dall’esperienza.