ActionOPD: distillare le decisioni, non i token

Abstract degli autori

Distillare agenti basati su modelli linguistici avanzati in modelli più piccoli richiede di allineare il comportamento dello studente a quello dell’insegnante. Questo solleva una domanda fondamentale: in quali stati e a quale livello di granularità va effettuato l’allineamento? L’imitazione offline fornisce segnali di apprendimento dettagliati, ma specifici dei singoli token, e può risentire di una discrepanza nella distribuzione degli stati. La distillazione on-policy a livello di token (OPD) affronta questa discrepanza, ma in genere richiede le probabilità dei token dell’insegnante e una tokenizzazione compatibile. Sosteniamo che le azioni semantiche offrano un’unità naturale per guidare la distillazione degli agenti. Presentiamo ActionOPD, un metodo di distillazione on-policy a livello di azione motivato dalla massimizzazione della verosimiglianza attesa delle azioni dell’insegnante negli stati incontrati dallo studente. In ciascuno di questi stati, ActionOPD campiona azioni sia dallo studente sia da un insegnante a scatola nera, premiando le azioni dello studente in base alla loro corrispondenza semantica con le azioni campionate dall’insegnante. Attraverso l’ottimizzazione della policy, ActionOPD allinea il comportamento dello studente a livello di azione alle decisioni dell’insegnante, senza richiedere di riprodurre il ragionamento scritto dall’insegnante né di accedere alle probabilità dei suoi token. L’addestramento di Qwen3-4B e Qwen3-8B con due insegnanti su una varietà di attività curate che prevedono l’uso di strumenti produce miglioramenti medi compresi tra 3,3 e 6,9 punti percentuali su quattro benchmark fuori distribuzione. ActionOPD migliora al crescere delle dimensioni dello studente e delle capacità dell’insegnante, senza richiedere che i due appartengano alla stessa famiglia di modelli o condividano il tokenizer. Nel benchmark $τ^2$-bench, ActionOPD ottiene prestazioni competitive rispetto alla distillazione offline e all’OPD a livello di token. Esploriamo inoltre Self-ActionOPD, con un insegnante basato sullo stesso modello e un contesto privilegiato. Questi risultati indicano che ActionOPD è un approccio promettente alla distillazione degli agenti.