Sherpa: insegnare agli LLM a insegnare in modo adattivo

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) sono diventati sempre più capaci di risolvere problemi, ma saper risolvere un problema non equivale a saperlo insegnare. Gli approcci esistenti per addestrare gli LLM a insegnare si basano su dimostrazioni, dati sulle preferenze o criteri pedagogici predefiniti che stabiliscono che cosa sia un buon insegnamento. Tuttavia, questi segnali spesso non si fondano sui risultati di apprendimento dei singoli studenti, e le strategie didattiche efficaci possono variare notevolmente da uno studente all’altro. Per affrontare questo problema, presentiamo Sherpa, un framework di apprendimento per rinforzo a più turni che crea diversi archetipi di studenti usando LLM condizionati da preferenze di apprendimento distinte e addestra un modello insegnante ad adattare il proprio insegnamento massimizzando direttamente i loro risultati di apprendimento. Gli LLM insegnanti addestrati con Sherpa migliorano le prestazioni degli studenti a cui insegnano, in tutti gli archetipi, di 20,5 punti percentuali in media. Nella valutazione di MathTutorBench, Sherpa porta il punteggio pedagogico complessivo dal 52,5% al 79,2%, indicando risposte didattiche migliori. I nostri studi con partecipanti umani mostrano che il modello insegnante addestrato è preferito al modello di base nel 79,6% dei confronti a coppie. Nel complesso, Sherpa addestra gli LLM insegnanti ad adattarsi a diversi studenti simulati e a essere più in linea con gli insegnanti umani, aprendo la strada a tutor di IA capaci di insegnare a studenti reali.