HALO: valutazione granulare degli agenti proattivi ancorata al giudizio umano

Abstract degli autori

Gli agenti proattivi devono decidere se, quando e fino a che punto prestare assistenza senza una richiesta esplicita. Le valutazioni esistenti si basano spesso su punteggi automatizzati o giudizi binari, offrendo limitate possibilità di diagnosi umana sull’uso delle prove e sulla qualità dell’intervento. Per colmare queste lacune, presentiamo HALO, Human-Grounded GrAnular EvaLuation of PrOactive Agents. HALO-Arena comprende 4 tipi di bisogno proattivo — Dipendenza, Impedimento, Rischio e Opportunità — in 10 ambiti della vita quotidiana e 50 ambienti personali. Gli scenari richiedono agli agenti di recuperare prove da database strutturati o documenti non strutturati prima di stabilire se sia opportuno prestare assistenza e sceglierne la portata. Su HALO-Arena, creiamo HALO-8K, un dataset di 8.000 risposte di 10 modelli distribuite su 400 scenari, annotate da 20 esperti per livello d’azione, giudizi di accettabilità e diagnosi umana. Per le risposte respinte, la diagnosi umana riguarda la tempistica, l’intensità e altri aspetti. I token di ragionamento registrati e i cicli di recupero misurano lo sforzo alla base di queste risposte. I migliori modelli proprietari e open source raggiungono un’accettabilità rispettivamente del 72,88% e del 56,63%. Il nostro risultato centrale è che l’eccessiva proattività è la modalità di errore osservata più comune: la tempistica prematura o l’intensità eccessiva sono all’origine del 61,20% delle risposte respinte. Ulteriori analisi offrono risultati complementari sull’equilibrio tra intervento e moderazione, sull’acquisizione delle prove e sulla calibrazione di tempistica e intensità.