Rispondere nella varietà linguistica dell’utente: coppie di adattamento calibrato per il post-addestramento

Abstract degli autori

Le persone adattano il proprio modo di parlare a chi hanno davanti. I modelli conversazionali, però, tendono a rispondere in inglese standard indipendentemente dal dialetto usato dall’utente. Risposte uniformi possono nascondere se l’addestramento tratta questi utenti allo stesso modo, e neppure le analisi degli output riescono a stabilirlo. Esaminiamo come ogni fase del post-addestramento, dal fine-tuning supervisionato (SFT) all’ottimizzazione delle preferenze (DPO) e all’apprendimento per rinforzo, modifichi la tendenza di un modello ad adattarsi all’utente; per ciascun aggiornamento, analizziamo quale risposta preferisca tra due risposte di pari contenuto, una che si adatta all’utente e una che non lo fa. In 10 famiglie di modelli aperti, il post-addestramento standardizza le risposte a ogni segnale informale. Eppure, anche tenendo conto della probabilità che ciascuna risposta aveva già, l’aggiornamento DPO continua a favorire l’adattamento all’ortografia britannica e australiana rispetto all’AAE e al Singlish nelle 10 famiglie, e i modelli continuano a produrre tratti dell’AAE quando viene loro richiesto. Introduciamo poi le coppie di adattamento calibrato (CAP), dati di preferenza che premiano l’adattamento alla densità dialettale degli utenti, mantenendo l’inglese standard per chi usa l’inglese standard. Su un modello completamente aperto, le CAP aumentano la convergenza su tratti non utilizzati nell’addestramento, senza un aumento rilevabile dei tratti dialettali nelle risposte agli utenti che usano l’inglese standard né un peggioramento nel rispetto delle istruzioni. Al contrario, le coppie unilaterali ottengono un miglioramento simile solo eccedendo nell’adattamento all’utente e imponendo un dialetto. I nostri risultati mostrano che risposte uniformi possono nascondere aggiornamenti selettivi e che le analisi dovrebbero esaminare gli aggiornamenti oltre agli output. Codice: https://github.com/kouzhizhuo/cap-accommodation.