Chi verifica gli strumenti? Come i formattatori distorti traggono in inganno gli agenti e i loro verificatori

Abstract degli autori

Gli agenti e i verificatori si affidano spesso al testo prodotto da uno strumento. Quel testo può però rappresentare in modo errato ciò che lo strumento ha effettivamente fatto, anche quando il suo calcolo è corretto. Lo abbiamo osservato in un sistema di ricerca RAG in produzione utilizzato dal Pilsudski Institute di New York: i formattatori dell’output degli strumenti hanno indotto un agente a fornire agli utenti informazioni errate o incomplete. Ogni strumento svolgeva correttamente il proprio compito, ma il suo output ometteva i limiti della ricerca, il numero massimo di risultati o gli spazi dei nomi degli identificatori. Abbiamo inoltre ricreato il caso di una stima priva di etichetta, individuata durante la revisione del codice prima del rilascio. Abbiamo studiato se questi formattatori traessero in inganno agenti e verificatori e quanto fossero utili le formulazioni corrette. Abbiamo fornito agli agenti i risultati degli strumenti usando due versioni dei formattatori: una con le omissioni principali e una in cui tutti i dettagli mancanti erano indicati chiaramente. Questa sola differenza ha cambiato ciò che gli agenti affermavano e ciò che i verificatori accettavano. Le affermazioni degli agenti prive di riscontro sono diminuite sensibilmente per tre dei quattro tipi di errore. In un test, i verificatori sono passati dall’accettare risposte errate 90 volte su 90 al respingerle 90 volte su 90. Una prova di controllo ha mostrato che i verificatori erano in grado di individuare gli errori quando ricevevano le informazioni mancanti e veniva chiesto loro di valutare la correttezza delle risposte. Includiamo il prompt di audit che abbiamo usato con Codex e Claude Code in una dimostrazione esplorativa, formulato conoscendo già i difetti del nostro sistema. Applicato a una vecchia versione del nostro sistema, ha riscoperto i difetti ancora presenti e ne ha portati alla luce altri 12 che non avevamo catalogato. Applicato a OpenClaw e Hermes, due dei sistemi agentici open source più noti, ha individuato formattatori distorti in entrambi. Abbiamo aperto delle PR per correggerli entrambi e la correzione per OpenClaw è già stata integrata. Chi lavora nel settore può usare lo stesso prompt sui propri sistemi già oggi.