SANE: test metamorfici automatizzati per giudici LLM, specifici per il sistema di valutazione

Abstract degli autori

I giudici basati su LLM svolgono un ruolo sempre più importante nella valutazione tramite benchmark, nella selezione dei modelli, nella cura dei dati e nell’addestramento. Le loro decisioni sono utili solo se ciascun giudice risponde in modo affidabile ai cambiamenti che incidono sul proprio criterio di attribuzione dei punteggi. I metodi esistenti per verificarne l’affidabilità modificano gli input con effetti attesi e noti sui punteggi dei giudici. I principali strumenti per testare i giudici basati su LLM combinano procedure di perturbazione scritte da esseri umani con la generazione di test sintetici, lasciando fuori dal processo automatizzato l’ideazione di procedure specifiche per ciascun sistema di valutazione. Questo ne limita l’uso a perturbazioni prestabilite e a tipi di sistemi di valutazione ipotizzati in anticipo. Presentiamo SANE, un framework basato su agenti che codifica i requisiti comportamentali dei valutatori stocastici in istruzioni riutilizzabili per gli agenti. Date le specifiche e l’implementazione di un sistema di valutazione, insieme a input rappresentativi, il processo individua prima le capacità specifiche di quel sistema, poi ricava automaticamente per ciascuna di esse procedure di perturbazione e relazioni attese tra i punteggi. SANE definisce inoltre un framework di convalida, indipendente dal sistema di valutazione, per i test dei giudici generati. Stabilisce se ciascuna procedura è coerente con lo scopo del sistema di valutazione e se ogni caso concreto applica la procedura e sostiene la relazione attesa. Poiché SANE genera un insieme di procedure su misura per ciascun sistema di valutazione, il numero di procedure coerenti cresce man mano che si aggiungono sistemi di valutazione. In cinque ambiti, SANE produce un numero di famiglie di test convalidate pari a 3,7 volte quello del Judge Reliability Harness (JRH), con una validità end-to-end comparabile, e rileva carenze dei sistemi di valutazione in ogni ambito, compresi professionalità e tossicità, nei quali JRH non ne rileva alcuna. Per la fedeltà, SANE raggiunge una forte concordanza con le valutazioni umane nella classifica dei giudici: i punteggi della sua suite di test classificano 11 modelli giudice in modo coerente con le prestazioni su FaithBench basate su etichette umane (rho di Spearman = 0,852), mentre JRH no (rho = 0,100).