Prevedere l’efficacia delle informazioni privilegiate nell’autodistillazione on-policy

Abstract degli autori

L’autodistillazione on-policy (OPSD) consente ai modelli linguistici di grandi dimensioni (LLM) di apprendere da informazioni privilegiate (PI) senza un modello insegnante separato. Tuttavia, gli studi precedenti trattano perlopiù le PI come una scelta progettuale fissa, per cui gli effetti del loro contenuto e del modo in cui vengono costruite restano poco compresi. Il problema è particolarmente importante nei contesti agentici a più turni, in cui le traiettorie contengono azioni, osservazioni e ragionamenti che possono essere trasformati in PI in molti modi. Valutiamo sistematicamente 16 configurazioni di PI su tre benchmark agentici a più turni e tre modelli studente di dimensioni e modalità di ragionamento diverse. Scopriamo che l’efficacia delle PI dipende dal loro contenuto, da chi le genera e dal modello studente. Le traiettorie ricche di informazioni e le PI prodotte da generatori più capaci portano generalmente a miglioramenti maggiori, mentre i modelli thinking ne traggono beneficio in modo meno costante. Per valutare le PI prima dell’addestramento, confrontiamo la loro utilità con due metriche basate sulla divergenza KL: la KL inversa sui token campionati ($D$) e il contrasto della KL nei passaggi con errore ($Δd^{-}_{\mathrm{err}}$). Le metriche basate sulla KL rispecchiano le prestazioni dopo l’addestramento in modo più costante rispetto all’utilità delle PI, che può essere alterata dalla fuga di informazioni. Empiricamente, selezionare le PI per ciascun compito in base a $Δd^{-}_{\mathrm{err}}$ migliora le prestazioni dopo l’addestramento rispetto a una selezione casuale, soprattutto quando le PI candidate sono molto diverse tra loro. Infine, le PI efficaci restano utili anche se combinate con GRPO, consentendo alla funzione obiettivo combinata di superare una solida baseline GRPO. Nel complesso, i nostri risultati offrono indicazioni pratiche per costruire e valutare le PI nell’addestramento OPSD.