Usare la grounded theory per analizzare su larga scala il comportamento degli agenti

Abstract degli autori

Per comprendere il comportamento degli agenti servono metodi applicabili a migliaia di traiettorie e capaci di far emergere nuovi schemi in compiti lunghi, spesso poco familiari, nei quali i classificatori predefiniti mostrano i propri limiti. Proponiamo di applicare la grounded theory all’analisi delle traiettorie degli agenti: un metodo qualitativo delle scienze sociali che esiste da sei decenni, dotato di un criterio rigoroso di saturazione e di un percorso verificabile dai dati alla teoria. Proponiamo AutoTraceGT (Automated Trace analysis through Grounded Theory), la prima pipeline multiagente che automatizza l’applicazione della grounded theory alle traiettorie degli agenti. Il sistema esegue iterativamente la codifica aperta, assiale e teorica fino a raggiungere la saturazione, producendo una tassonomia dei comportamenti specifica per ciascun compito. Su sei raccolte di traiettorie, AutoTraceGT produce repertori di codici che individuano il 73-91 per cento delle modalità di fallimento presenti nelle tassonomie annotate da esseri umani e fanno emergere ulteriori schemi che quelle tassonomie non rilevano. La narrazione teorica emersa è in linea con le precedenti analisi degli esperti. Usato come spazio di caratteristiche per un’analisi deduttiva, il repertorio di codici supera le baseline basate su LLM zero-shot e few-shot nella previsione dei fallimenti. Questi risultati suggeriscono che la grounded theory offra ai ricercatori di machine learning e agli sviluppatori di agenti uno strumento di analisi applicabile su larga scala per studiare ciò che gli agenti fanno davvero.