CARD: adattamento a livello di cluster con decodifica guidata dalla ricompensa per la generazione di testi personalizzati

Abstract degli autori

Adattare i modelli linguistici di grandi dimensioni ai singoli utenti resta difficile, per la tensione tra una personalizzazione dettagliata e un’implementazione su larga scala. Presentiamo CARD, un framework gerarchico che ottiene una personalizzazione efficace attraverso un perfezionamento progressivo. CARD raggruppa dapprima gli utenti in cluster in base a schemi stilistici comuni e addestra adattatori LoRA specifici per ciascun gruppo, consentendo una generalizzazione robusta e buone prestazioni anche con risorse limitate. Per cogliere le differenze individuali all’interno di ogni cluster, proponiamo un meccanismo di apprendimento implicito delle preferenze che mette a confronto i testi scritti dagli utenti con quelli generati a livello di cluster, permettendo al modello di inferire le preferenze stilistiche dei singoli utenti senza annotazioni manuali. In fase di inferenza, CARD introduce la personalizzazione esclusivamente durante la decodifica, tramite vettori leggeri delle preferenze degli utenti e correzioni dei logit a basso rango, mantenendo congelato il modello di base. Gli esperimenti sui benchmark LaMP e LongLaMP mostrano che CARD offre una qualità della generazione superiore rispetto ai metodi di riferimento, migliorando significativamente al contempo l’efficienza e la scalabilità della generazione di testi personalizzati per applicazioni pratiche.