ABF-Bench: un benchmark verificabile per le indagini forensi agentiche sulla blockchain

Abstract degli autori

Le indagini forensi sulla blockchain sono avversariali e aperte: chi ricicla denaro divide, scambia e trasferisce fondi tramite bridge, interrompe le proprie tracce presso mixer o servizi di custodia e cambia tattica da un caso all’altro. Gli investigatori devono continuare ad adattare il tracciamento di conseguenza. Eppure, l’immutabilità dei registri pubblici mantiene visibile a tutti ogni movimento registrato, rendendo gran parte delle indagini verificabile in modo indipendente. Presentiamo ABF-Bench, un benchmark interattivo che trasforma il tracciamento dei fondi fondato su prove in un compito verificabile per agenti, nel quale ogni movimento dichiarato deve citare i record del registro recuperati dall’agente. Una pipeline che trasforma i casi in task crea task ben definiti su diversi registri: regole conservative interrompono il tracciamento ogni volta che i record non consentono di determinare una continuazione, e il grafo di riferimento di ciascun task è la risposta stabilita da quelle regole. Basati su attività di riciclaggio reali, i task combinano trasferimenti su più passaggi, scambi DeFi, andata e ritorno tra blockchain, depositi presso servizi di custodia e mixer e avvelenamento degli indirizzi. Proponiamo anche l’harness per agenti ABF, basato su una memoria di lavoro, e lo valutiamo insieme ad agenti generalisti e a tracciatori che seguono un ordine fisso. L’harness raggiunge un recall degli archi del 75%, contro il 47% di Codex con lo stesso modello e il 10% di Claude Code, che perde recall a causa dell’eccessiva sicurezza: cita record che non ha recuperato. Rispetto ai tracciatori che seguono un ordine fisso, l’harness acquisisce prove più rapidamente del migliore di essi nelle fasi iniziali del budget e riconosce servizi di custodia non dichiarati che gli altri non rilevano (89% contro 0%), con una fedeltà del 98%. Tuttavia, gli agenti tendono a fermarsi presto e a perdere recall nei task più grandi, mantenendo il loro recall finale al di sotto di quello del miglior tracciatore. Oltre a mettere in luce queste lacune, ABF-Bench apre l’analisi forense della blockchain agli agenti LLM come ambito verificabile, in cui i verdetti che valutano gli agenti possono anche offrire potenziali segnali di addestramento.