Quando gli utenti cambiano idea: misurare e correggere la deriva dell’intento negli agenti LLM

Abstract degli autori

Gli agenti LLM operano spesso in interazioni su più turni in cui l’intento dell’utente cambia prima dell’esecuzione. Studiamo la deriva dell’intento: il caso in cui parti dell’intento dell’utente ormai sostituite continuano a influenzare la risposta finale o l’azione di uno strumento. Introduciamo IntentFlux, un benchmark eseguibile che trasforma compiti verificabili in dialoghi con cambiamenti controllati dell’intento, conservandone i valutatori originali. In una calibrazione su 627 casi, il punteggio medio nei compiti scende da 0,476 a 0,384 all’aumentare delle informazioni sostituite e ritirate contenute nei dialoghi. Su otto modelli, il tasso di soluzioni completamente corrette è significativamente più basso quando lo stesso compito finale deve essere ricostruito da un dialogo in evoluzione, anziché essere presentato direttamente in un unico turno. Introduciamo inoltre StateForge, che mantiene esplicitamente i requisiti attivi prima della generazione. Su General-Test, migliora il punteggio medio nei compiti da 0,367 a 0,467. Fornire lo stato finale corretto migliora ulteriormente le prestazioni, ma non consente comunque di raggiungere quelle ottenute in un unico turno: ciò indica che gli errori nella stima dello stato spiegano solo una parte del divario. Questi risultati mostrano che la deriva dell’intento è un tipo di errore misurabile nelle interazioni su più turni e che il mantenimento esplicito dello stato ne mitiga solo in parte gli effetti.