Ripensare la generazione personalizzata: allineamento in fase di test con modelli di ranking fattorizzati

Abstract degli autori

L’allineamento dei modelli linguistici di grandi dimensioni (LLM) alle diverse preferenze degli utenti è fondamentalmente ostacolato dai paradigmi di allineamento standard, che ottimizzano i modelli per utenti considerati come entità monolitiche. In questo lavoro, ricorriamo anzitutto a studi empirici per mostrare che l’allineamento in fase di test offre un enorme margine di miglioramento delle prestazioni, finora inesplorato, nella generazione personalizzata. Dimostriamo che la generazione personalizzata si presta in modo particolare a metodi che aumentano le risorse computazionali impiegate in fase di test, come Best-of-N (BoN), perché può essere vista principalmente come un problema di abbinamento tra candidati e preferenze, più che come un limite nelle capacità del generatore. In linea di principio, i modelli di ricompensa potrebbero sfruttare questo margine, ma sono poco calibrati per la personalizzazione e, avendo miliardi di parametri, rendono proibitivamente costosa l’assegnazione di punteggi a grandi insiemi di candidati. Per superare questo limite, proponiamo un approccio efficiente in termini di parametri che utilizza modelli di ranking basati su percettroni multistrato (MLP) con un numero di parametri dell’ordine del milione. Il nostro modello di ranking personalizzato riutilizza direttamente gli embedding interni del generatore di base, con un sovraccarico minimo. Aumentando la quantità di dati usati in fase di addestramento per fornire preferenze personalizzate dettagliate, questo modello di ranking dell’ordine del milione di parametri assegna punteggi accurati a grandi insiemi di candidati e può guidare la generazione senza soluzione di continuità, riducendo il costo di produrre concretamente N candidati. Ampi esperimenti su nove dataset, relativi a tre scenari di generazione personalizzata, mostrano che il nostro modello di ranking personalizzato sfrutta efficacemente il margine individuato: supera i modelli di ricompensa generalisti con miliardi di parametri in ogni dataset, pur avendo meno dello 0,4% dei loro parametri e una latenza nell’assegnazione dei punteggi inferiore di quattro ordini di grandezza.