Autoaddestramento on-policy: automiglioramento senza dati nei modelli linguistici di grandi dimensioni

Abstract degli autori

L’autodistillazione on-policy consente il post-training dei modelli fondazionali senza ricorrere a insegnanti esterni più capaci. Gli approcci esistenti, tuttavia, si basano su coppie di domande e risposte con risposte corrette di riferimento, raccolte di problemi selezionate da esseri umani o altri segnali supervisionati. In questo lavoro riformuliamo l’autodistillazione on-policy come un metodo di autoaddestramento, basato su coppie di domande e risposte generate dal modello stesso e su dimostrazioni di ragionamento privilegiato. Spingiamo la supervisione al limite: guidato soltanto da descrizioni generali e di alto livello degli argomenti, il modello costruisce un proprio percorso di apprendimento fatto di quesiti e tracce di ragionamento privilegiate, senza accedere a prompt o risposte selezionati da esseri umani. Riscontriamo che l’autodistillazione basata su informazioni privilegiate interamente sintetiche permette al modello di migliorare in più ambiti, mantenendo al tempo stesso le proprie capacità negli ambiti in cui non si è autoaddestrato. Dimostriamo che questo metodo si applica sia al testo sia ad ambiti multimodali, ottenendo miglioramenti costanti nei benchmark linguistici standard e nel Visual Question Answering. I nostri risultati mostrano che i modelli fondazionali possiedono ampie capacità latenti, che possono essere potenziate senza supervisione esterna sui compiti né raccolte di problemi selezionate.