Prevedere le curve dei miglioramenti della qualità percepita dagli esseri umani con l’ottimizzazione locale di un proxy a partire da valutazioni ripetute

Abstract degli autori

Ottimizzare una funzione obiettivo proxy può migliorare la qualità percepita dalle persone, ma l’entità del miglioramento può variare in funzione dell’intensità dell’ottimizzazione. La sola correlazione media tra proxy e valutazioni umane non rivela come cambia la qualità percepita al crescere dell’intensità dell’ottimizzazione. Proponiamo PACE (Proxy Alignment and Curvature Expansion), un metodo diagnostico pre-ottimizzazione che usa valutazioni umane ripetute per prevedere la curva dei miglioramenti della qualità percepita indotti da un proxy fisso. Il metodo modella l’ottimizzazione del proxy come un’inclinazione esponenziale regolarizzata da KL. Per un raggio KL $d$, il miglioramento locale è approssimato da $A\sqrt{d}+Bd$, dove $A$ misura l’allineamento di primo ordine tra proxy e valutazioni umane e $B$ coglie la correzione principale di secondo ordine lungo il percorso di ottimizzazione del proxy. Stimiamo $A$ e $B$ da valutazioni umane ripetute su elementi di calibrazione e testiamo la previsione della curva dei miglioramenti risultante su elementi di valutazione esclusi dal campione. Su SummEval, cluster WMT MQM utilizzabili per l’analisi, una porzione di valutazioni ripetute ROC/WP di OpenMEVA-MAGS e un esperimento con un proxy basato sul giudizio di GPT-4o, PACE riduce costantemente l’errore di previsione dei miglioramenti sugli elementi esclusi dal campione rispetto a baseline basate solo su $A$, a miglioramento zero e basate solo sull’affidabilità. A parità di informazioni disponibili prima del pool, il metodo è competitivo con una calibrazione flessibile condizionata al proxy, e un esperimento LoRA-DPO offre un modesto collegamento con l’ottimizzazione effettiva. Gli esperimenti di trasferimento tra dataset e porzioni di valutazione mostrano che i coefficienti di origine sono prior utili, ma che la calibrazione sul target migliora ulteriormente la previsione. Il metodo diagnostico risultante è locale e unilaterale: caratterizza un’ottimizzazione lieve lungo il ramo positivo dell’inclinazione di un pool fisso di elementi.