Giudicare la giustificazione: supervisione tramite certificati decisionali per i modelli di ricompensa generativi

Abstract degli autori

I modelli di ricompensa generativi (GenRMs) producono motivazioni in linguaggio naturale per giustificare i giudizi di preferenza, ma un verdetto corretto non garantisce una giustificazione fondata. Gli approcci esistenti si affidano spesso a spiegazioni di riferimento per supervisionare le motivazioni; ottenere tali spiegazioni, però, può essere costoso e non permette necessariamente di stabilire se le motivazioni generate sostengano il verdetto risultante. Per superare questi limiti, proponiamo DeCert, un framework che valuta la validità delle motivazioni generate e la loro coerenza con il verdetto senza richiedere spiegazioni di riferimento. Soprattutto, DeCert traduce queste valutazioni in una supervisione delle preferenze che tiene conto sia della correttezza del verdetto sia della qualità della giustificazione. In particolare, quando più giudizi campionati condividono lo stesso verdetto corretto, le differenze nella qualità dei certificati consentono a DeCert di costruire coppie di preferenza tra motivazioni che distinguono le giustificazioni più solide da quelle meno solide. Ampi studi empirici su due famiglie di modelli e diversi benchmark in distribuzione e fuori distribuzione dimostrano che DeCert supera costantemente solide baseline basate su giudici generativi, migliorando al tempo stesso la qualità delle motivazioni. Inoltre, DeCert attenua efficacemente la distorsione dovuta alla posizione, migliorando fino a 14,8 punti l’accuratezza coerente rispetto alla posizione. Questi risultati sottolineano l’importanza di supervisionare non solo quale verdetto sia corretto, ma anche come venga giustificato.