Il giudice cambierà verdetto? Prevedere le valutazioni degli LLM sensibili alla posizione dalle attivazioni del flusso residuo

Abstract degli autori

L’ordine in cui vengono presentate le risposte candidate può cambiare il verdetto di un LLM che funge da giudice. Per rilevare un simile cambio di verdetto dovuto alla posizione, di norma occorre valutare ogni coppia in entrambi gli ordini, raddoppiando così il numero di valutazioni. Studiamo se le attivazioni del flusso residuo registrate immediatamente prima del verdetto iniziale possano prevedere questo cambiamento. Usiamo una validazione incrociata annidata per gruppi per valutare sonde lineari regolarizzate su 534 coppie di JudgeBench, con tre giudici Qwen3 e Llama-3.1-8B. Le sonde lineari raggiungono AUROC comprese tra 0,621 e 0,850 e superano di 0,062–0,113 punti di AUROC una baseline combinata che utilizza la fiducia espressa verbalmente, i logit delle etichette del verdetto, la lunghezza delle risposte e la scelta iniziale del giudice. Le sonde lineari addestrate su JudgeBench e poi mantenute invariate raggiungono AUROC comprese tra 0,685 e 0,853 su 1.802 confronti di MT-Bench, senza adattamento né ricalibrazione su MT-Bench. Questi risultati mostrano che le attivazioni precedenti al verdetto consentono di prevedere la sensibilità all’ordine delle risposte candidate e superano i predittori che non usano attivazioni valutati in questo studio.