Personalizzazione online dei modelli linguistici di grandi dimensioni tramite preferenze a coppie raccolte da diversi utenti

Abstract degli autori

I modelli linguistici di grandi dimensioni possono rispondere alla stessa domanda con stili diversi, ma gli stili preferiti dagli utenti non sono noti e variano da un utente all’altro e da una domanda all’altra. Studiamo la personalizzazione al momento dell’inferenza attraverso la selezione online da un insieme fisso di prompt, ciascuno dei quali rappresenta una persona. Gli utenti arrivano in sequenza e ciascuno pone una breve serie di domande. Per ogni domanda, il sistema mostra due risposte e osserva quale delle due viene scelta. Formuliamo questa interazione come una variante del problema dei *contextual dueling bandit*, in cui il sistema parte senza dati sulle preferenze, si adatta nel corso di ogni sessione e sfrutta le informazioni condivise tra gli utenti. L’obiettivo è ridurre al minimo il regret forte cumulativo, sommando, per entrambe le risposte mostrate, gli scarti di utilità rispetto alla risposta migliore per l’utente tra le opzioni disponibili. Il nostro contributo è duplice. In primo luogo, introduciamo il problema e rendiamo disponibili un benchmark riproducibile sulle preferenze e un dataset costruiti attorno a un caso di studio sul tutoraggio. Contengono domande didattiche, risposte generate da modelli linguistici di grandi dimensioni in sei stili di insegnamento e giudizi a coppie espressi da studenti simulati mediante modelli linguistici di grandi dimensioni, con profili di preferenza nascosti. Stimiamo modelli Bradley-Terry sulla base di questi giudizi per ottenere utilità di riferimento con cui valutare il regret. In secondo luogo, proponiamo un metodo di riferimento che apprende una distribuzione a priori su più componenti relativa agli utenti dalle sessioni concluse e si adatta a ogni nuovo utente nel corso della sessione. Su studenti e argomenti mai utilizzati nella fase di sviluppo, elimina il 44-48% del regret in eccesso delle coppie casuali e raggiunge oltre la metà delle prestazioni di un oracle lineare stimato a posteriori per ciascun utente. Rendiamo disponibili il codice, i prompt e il benchmark.