Colmare il divario tra esplorazione e persona: duelli guidati dall’informazione per la personalizzazione degli agenti in fase di test

Abstract degli autori

Per essere efficace, la personalizzazione in fase di test richiede che gli agenti basati su LLM adattino le proprie risposte alle preferenze degli utenti, che variano in base alla query, attraverso interazioni limitate. Studiamo la selezione della persona usando come segnale online confronti binari tra risposte candidate. Presentiamo ID-TAP, un framework neurale scalabile per bandit a duelli, ispirato a IDS e pensato per ampi spazi discreti di persona. ID-TAP combina un modello neurale di utilità condizionato dalla query con un componente di esplorazione leggero basato su Bradley-Terry e trasferisce le evidenze raccolte dai confronti tra query correlate mediante inizializzazioni a caldo ponderate in base alla similarità. Il modello neurale sfrutta le informazioni statistiche condivise tra le query mantenendo punteggi specifici per ciascuna, mentre aggiornamenti efficienti di BT assegnano punteggi a sfidanti ipotetici. Su sette benchmark di generazione condizionata dall’utente, con simulatori di preferenze basati su riferimenti e su modelli, ID-TAP ottiene le migliori prestazioni complessive rispetto ai metodi di riferimento valutati, entro un limite fisso di dieci turni di confronto. Questi risultati indicano che la selezione degli sfidanti guidata dall’informazione è una soluzione efficace per adattare la persona in fase di test.