L’aumento pairwise controfattuale migliora i giudici LLM pointwise di piccole dimensioni

Abstract degli autori

I sistemi agentici subordinano sempre più spesso i singoli passaggi a un giudice pointwise, che assegna un punteggio a una risposta in base a un criterio. I modelli linguistici di piccole dimensioni sono adatti a questo ruolo perché possono essere messi in servizio e specializzati in modo efficiente. Un giudice di questo tipo deve individuare il confine decisionale del criterio, ma durante il fine-tuning le etichette pointwise non determinano univocamente quel confine: le risposte etichettate a query diverse differiscono contemporaneamente sotto molti aspetti, perciò non rivelano quali caratteristiche determinino l’etichetta. Introduciamo CPA (Counterfactual Pairwise Augmentation), che rende esplicita in fase di addestramento la differenza decisiva. Per ogni elemento pointwise, CPA genera e verifica una risposta controfattuale alla stessa query, destinata a ricevere l’etichetta opposta. Inquadra la coppia approvata come un task pairwise, che chiede quale delle due risposte soddisfi il criterio. Il giudice viene sottoposto congiuntamente al fine-tuning su dataset pointwise e pairwise, ma viene poi utilizzato solo in modalità pointwise. Un’analisi del secondo ordine mostra in quali condizioni questo approccio dovrebbe superare la strategia prevalente, che consiste nel fondere esperti pointwise e pairwise addestrati separatamente: la fusione sposta ogni parametro verso l’esperto pairwise nella stessa misura lungo tutte le direzioni, mentre l’addestramento congiunto può mantenere l’ottimo pointwise dove la loss pairwise è piatta e incorporarne la curvatura dove è più accentuata. È proprio questo il regime che la prospettiva pairwise di CPA, basata sulla stessa fonte e su coppie controfattuali minimali, è progettata per produrre. Su adattatori LoRA separati di Qwen3-8B per sei criteri binari, CPA migliora di 2,5 punti il macro-F1 pointwise medio sui criteri rispetto all’addestramento solo pointwise e supera la fusione dei modelli su tutti e sei i criteri per ogni peso di fusione testato. Supera inoltre di 11,8 punti il giudice di frontiera zero-shot più forte tra quelli valutati, Gemini 3.6 Flash.