P$^2$-MOPD: accelerare la distillazione on-policy multi-insegnante tramite priori sui parametri

Abstract degli autori

La distillazione on-policy con più insegnanti consolida le capacità degli esperti supervisionando le traiettorie generate dallo studente, mentre il task arithmetic offre un’alternativa senza addestramento basata su combinazioni lineari dei parametri. Consideriamo la combinazione lineare dei parametri dello studente e degli esperti come un unico modello differenziabile e proponiamo P$^2$-MOPD, che ottimizza congiuntamente i coefficienti di fusione e i pesi dello studente usando lo stesso obiettivo di distillazione on-policy. A differenza del task arithmetic, che per qualunque scelta dei coefficienti di fusione rimane nello span dei parametri congelati dello studente e degli esperti, P$^2$-MOPD mantiene lo studente addestrabile: gli esperti fungono quindi da priori sui parametri senza confinarlo a questo span. Su quattro domini e con scale da 1,7B e 4B, P$^2$-MOPD ottiene un recupero più rapido e bilanciato rispetto a MOPD a partire dalla stessa inizializzazione, superandone il recupero medio finale con la metà dei passaggi di addestramento. Al termine dell’addestramento, il nostro modello da 1,7B raggiunge un recupero medio del 94,7%, contro l’80,9% di MOPD.