Annotrace: un ambiente di lavoro per annotare le tracce degli agenti passo per passo

Abstract degli autori

Ogni studio sulle cause dei fallimenti degli agenti basati su LLM inizia etichettando manualmente le tracce, e ciascuno sviluppa un proprio strumento usa e getta. Le piattaforme di osservabilità registrano le tracce degli agenti, ma non offrono un’etichettatura strutturata; gli strumenti di annotazione etichettano il testo, ma non distinguono tra un passo, una delega e una chiamata a uno strumento. Resta così poco chiaro quale sia la più piccola unità di esecuzione da etichettare. Annotrace legge sei formati di tracce, tra cui OpenTelemetry GenAI, LangSmith e Langfuse, e trasforma ogni esecuzione in un elenco ordinato e annidato di passi. Chi annota redige il proprio manuale di codifica per l’etichettatura; un modello di frontiera propone un insieme iniziale a partire da un campione delle sue tracce, risponde per primo e riceve esattamente le stesse domande poste alla persona, rendendo l’annotazione un processo congiunto tra esseri umani e IA. Annotrace misura il grado di accordo tra due annotatori qualsiasi, umani o IA. Su un corpus di domande e risposte multiagente riproduce esattamente le 235 unità di annotazione di un precedente lavoro manuale, e due modelli che etichettano le stesse tracce concordano nel 91% dei casi, con $κ= 0.82$.