Autodistillazione con regolarizzazione verbale

Abstract degli autori

L’autodistillazione on-policy (OPSD) addestra un modello linguistico di grandi dimensioni mediante la supervisione di un docente istanziato a partire dallo stesso modello dello studente. Il docente è condizionato da informazioni privilegiate (PI), come soluzioni verificate. Lo studente, che non ha accesso alle PI, apprende dalle distribuzioni del token successivo prodotte dal docente lungo le risposte campionate dallo studente stesso. Tuttavia, le PI possono orientare la supervisione verso ragionamenti basati su scorciatoie, con verifiche o riconsiderazioni limitate, accompagnati da un brusco calo dell’entropia della distribuzione di output. Per affrontare questo problema, introduciamo l’autodistillazione con regolarizzazione verbale (VRSD), che usa prompt di sistema per regolare il modo in cui il docente utilizza le PI, incoraggiando così il ripensamento e l’esplorazione per contrastare le scelte premature. Sul piano teorico, modelliamo l’effetto dei prompt come un’attenuazione dell’influenza delle PI sulla distribuzione del docente e ricaviamo le condizioni per preservare l’entropia. Su tre modelli e quattro compiti, VRSD migliora Pass@1 rispetto a OPSD in 11 delle 12 combinazioni di modello e compito, con un aumento medio di 3,9 punti percentuali, mantenendo in generale una maggiore entropia dei token.