Distillazione on-policy di esperti con competenze separate per modelli unificati di visione e linguaggio

Abstract degli autori

L’apprendimento per rinforzo (RL) può far emergere capacità visive specializzate nei modelli di visione e linguaggio (VLM), ma l’ottimizzazione congiunta di obiettivi eterogenei introduce spesso conflitti tra i gradienti delle diverse capacità. Addestrare gli esperti in modo indipendente attenua questa interferenza, ma l’ottimizzazione diretta della ricompensa può intrecciare le conoscenze specializzate con distorsioni dovute alla manipolazione della ricompensa. Questo studio propone Skill-Decoupled On-Policy Expert Distillation (SCOPED), un metodo che addestra esperti specifici per ciascuna capacità ed estrae competenze esplicite attraverso una riflessione guidata dalla ricompensa. Durante la distillazione on-policy, queste competenze guidano la supervisione fornita dagli esperti, pur rimanendo inaccessibili al modello studente unificato: ciò lo incoraggia a interiorizzare conoscenze procedurali senza ricorrere a competenze esplicite al momento dell’inferenza. Su otto benchmark multimodali, SCOPED supera sistematicamente il modello di base e l’RL su capacità miste, dimostrando l’efficacia della distillazione on-policy di esperti con competenze separate nell’integrare capacità acquisite in modo indipendente. Ulteriori analisi rivelano interferenze durante l’ottimizzazione congiunta delle capacità e suggeriscono che l’arricchimento con competenze favorisca traiettorie degli esperti più coerenti, una maggiore attenzione alle evidenze visive pertinenti al compito e una migliore conservazione delle competenze specializzate nel modello studente unificato. Tutto il codice e i dati sono disponibili all’indirizzo https://github.com/NEUIR/SCOPED.