Divergenza semantica ricorsiva per la coerenza degli agenti LLM

Abstract degli autori

Gli agenti basati su Large Language Model (LLM) che usano strumenti mostrano comportamenti incoerenti tra esecuzioni indipendenti a partire da stati identici: chiamano strumenti diversi, producono risultati contraddittori o perseguono strategie divergenti. Questa variabilità si accumula nel tempo e compromette l’affidabilità della messa in produzione. Le metriche di valutazione esistenti misurano principalmente la correttezza del compito attraverso punteggi basati sul completamento e non rilevano la coerenza del comportamento degli agenti tra diverse esecuzioni. Separatamente, il comportamento degli agenti viene analizzato a livello di token, usando distribuzioni di probabilità, oppure a livello di singola risposta, usando il clustering semantico; nessuno dei due approcci, però, coglie come l’incoerenza si propaghi nei turni successivi di una traiettoria. Introduciamo la divergenza semantica ricorsiva (RSD), una metrica non supervisionata di coerenza a livello di traiettoria, adattata dalle metriche di bisimulazione nell’apprendimento per rinforzo. La RSD misura il disaccordo semantico cumulativo atteso tra due rollout indipendenti dello stesso agente a partire dal medesimo stato, usando l’inferenza del linguaggio naturale per rilevare le incoerenze logiche. È definita ricorsivamente sugli stati futuri e approssimata da una rete neurale addestrata su rollout indipendenti. La metrica appresa stima la divergenza futura a partire dallo stato corrente, fornendo un punteggio di coerenza a ogni turno senza richiedere che la traiettoria completa sia terminata. Usata come segnale di ricompensa per il fine-tuning, la RSD riduce la variabilità dell’avanzamento nei compiti dal 132% al 91% su tau2-bench e dal 90% al 44% su toolsandbox, migliorando al contempo le prestazioni su diversi benchmark e scale di modelli. L’addestramento con la RSD come segnale di ricompensa aggiuntivo raggiunge prestazioni pari a quelle del fine-tuning supervisionato, con una variabilità notevolmente inferiore e senza richiedere etichette di verità di riferimento.