PLC-DPO: correzione a posteriori delle etichette nell’ottimizzazione di preferenze rumorose e ambigue

Abstract degli autori

Direct Preference Optimization (DPO) semplifica l’allineamento attraverso confronti a coppie, ma presuppone che tutte le preferenze osservate siano affidabili. I dati reali spesso non rispettano questa ipotesi: le etichette possono essere invertite, deboli o ambigue e causare aggiornamenti dannosi della policy. Per affrontare il problema, proponiamo Posterior Label Correction DPO (PLC-DPO), che ottimizza le preferenze in modo robusto trattando il segnale di addestramento di ogni coppia come un caso di etichetta corretta, invertita o di parità. L’idea centrale è usare il margine calibrato tra la policy e il modello di riferimento come evidenza in tempo reale per applicare la correzione appropriata. In questo modo, l’apprendimento da preferenze rumorose diventa una correzione attiva della direzione e dell’intensità del segnale di supervisione, anziché un semplice filtraggio degli esempi sospetti. Su 57 combinazioni di dataset, modello e benchmark, PLC-DPO ottiene il miglior tasso medio di vittorie contro DPO (60,5 contro 55,5 del secondo metodo migliore). Test con rumore introdotto artificialmente e casi di parità, analisi del disaccordo tra esseri umani e verifiche dell’autoconferma mostrano inoltre che l’assegnazione dei casi rimane stabile e distingue le coppie con preferenza invertita da quelle con una direzione della preferenza poco marcata.