The Pulse
Il metodo RISED, legato ad Apple, addestra agenti in tre ambienti
Uno studio propone di usare rubriche comportamentali per selezionare esempi di addestramento e guidare un agente basato su un modello linguistico in attività interattive. Nei test condotti in ambienti dedicati agli acquisti, ai database e a
AI.info Team · Scritto con l’IA ·
«Entrambe le difficoltà mettono in luce i limiti dell’affidarsi soltanto a ricompense scalari nell’apprendimento per rinforzo in più ambienti: forniscono poche informazioni sui rapporti tra ambienti e nessun contrasto tra ricompense all’interno di un gruppo quando queste sono identiche».
Jingtan Wang e coautori, autori di «RISED: RubrIcs for agentic multi-environment Selection and sElf-Distillation» (studio)
Uno studio presentato ad arXiv il 1° ottobre propone un modo per addestrare un unico agente basato su un modello linguistico a svolgere diverse attività interattive, usando rubriche comportamentali per scegliere gli esempi di addestramento e guidare gli output del modello stesso. Il metodo, RISED, è stato testato in ambienti dedicati agli acquisti, ai database e alle attività domestiche, dove gli autori riportano tassi medi di successo superiori a quelli di cinque metodi di riferimento su due modelli di base.
Tra gli autori figurano Jingtan Wang, Sirajul Salekin, Young mok Jung, Javier Movellan, Bryan Kian Hsiang Low e Manjot Bilkhu. La pagina di ricerca di Apple indica che Jingtan Wang, non Manjot Bilkhu, ha svolto il lavoro mentre era in Apple; indica inoltre affiliazioni alla National University of Singapore per Wang e Bryan Kian Hsiang Low. Lo studio descrive un metodo di ricerca, non annuncia un prodotto.
Le rubriche confrontano i comportamenti tra attività diverse
Nell’addestramento in più ambienti, i normali segnali di ricompensa potrebbero non fornire indicazioni utili. Quando tutti i tentativi relativi a un prompt falliscono, o tutti riescono, le ricompense non offrono alcun contrasto all’interno del gruppo che indichi al modello quali comportamenti ripetere. Secondo lo studio, nei suoi esperimenti i gruppi di prompt in cui tutti i tentativi fallivano o riuscivano costituivano più della metà dei gruppi candidati.
RISED assegna alle esecuzioni una descrizione comportamentale condivisa. Un modello linguistico con funzione di valutatore attribuisce etichette tratte da un vocabolario predefinito, che comprende comportamenti positivi da mostrare e comportamenti negativi da evitare. Gli autori costruiscono un vocabolario di 82 rubriche distribuite su 11 competenze a partire da esecuzioni preliminari e da quelle del modello insegnante; per gli esperimenti nei tre ambienti, usano 59 rubriche distribuite su 10 competenze.
Il metodo usa queste etichette in due modi. Innanzitutto, seleziona gruppi di prompt i cui profili comportamentali combinati rispecchiano la composizione più ampia delle esecuzioni correnti, penalizzando al tempo stesso le sovrapposizioni con gli esempi già selezionati. In secondo luogo, condiziona un modello insegnante usato per l’autodistillazione sulle rubriche positive, fornendo al modello studente indicazioni a livello di token; le rubriche negative possono orientare le successive esecuzioni di addestramento lontano dalle modalità di errore ricorrenti.
I miglioramenti di RISED hanno richiesto più tempo di addestramento
I test principali addestrano i modelli su ALFWorld, WebShop e DBBench, che comprendono attività di interazione con oggetti domestici, acquisti online e database. Lo studio valuta Qwen2.5-3B-Instruct e Qwen3-4B e confronta RISED con cinque metodi di riferimento, tra cui la standard group-relative policy optimization e metodi che selezionano gli esempi in base alla varianza delle ricompense.
Su Qwen2.5-3B, RISED raggiunge un tasso di successo complessivo di 0,542, contro 0,484 del metodo di riferimento standard con 64 prompt e 0,530 del metodo concorrente più efficace riportato per quel modello di base. Su Qwen3-4B ottiene 0,585, contro 0,516 del metodo standard e 0,579 del concorrente più efficace. Rispetto al metodo standard, i miglioramenti sono rispettivamente di 5,8 e 6,9 punti percentuali; rispetto al concorrente più efficace, di 1,2 e 0,6 punti.
Gli autori riportano inoltre che, nell’esperimento con Qwen2.5-3B, RISED raggiunge il tasso di successo complessivo finale del metodo standard in circa la metà dei passaggi dell’ottimizzatore. Il risultato non equivale a una semplice riduzione delle risorse di calcolo: nella configurazione misurata, un passaggio di addestramento richiede 252,9 secondi con RISED, contro 155,5 secondi con il metodo standard. Lo studio attribuisce il tempo aggiuntivo principalmente all’attribuzione delle etichette basate sulle rubriche e al passaggio in avanti del modello insegnante, e precisa che il confronto riguarda il tempo trascorso anziché il calcolo totale, perché RISED usa un server dedicato al modello valutatore.
Le evidenze restano legate alla configurazione testata
I risultati di RISED si limitano ai tre benchmark e ai due modelli di base testati nello studio; non dimostrano che il metodo migliori gli agenti in ogni ambiente o con ogni modello. Gli autori segnalano inoltre che l’attribuzione delle etichette e l’inferenza del modello insegnante comportano un carico aggiuntivo, e auspicano ulteriori ricerche per migliorare l’efficienza e testare modelli più grandi e un maggior numero di ambienti.
Il contributo più circoscritto dello studio è una procedura di addestramento: confrontare le esecuzioni degli agenti attraverso descrizioni condivise di ciò che fanno, non soltanto in base al fatto che ottengano la stessa ricompensa scalare. Nei test riportati, questa combinazione di selezione degli esempi e autodistillazione guidata dalle rubriche produce il tasso medio di successo più alto tra i metodi confrontati su entrambi i modelli di base.