RealCLI: verso una valutazione unificata della collaborazione tra esseri umani e agenti per gli agenti CLI

Abstract degli autori

Gli agenti a interfaccia a riga di comando (CLI) eseguono sempre più spesso compiti su orizzonti temporali più lunghi, ma i benchmark esistenti presuppongono che le istruzioni dell’utente rimangano fisse per tutta l’esecuzione oppure valutano i risultati dei compiti senza rilevare la qualità della collaborazione durante l’esecuzione. In questo articolo presentiamo REALCLI, un benchmark abbinato che unifica la valutazione dell’esecuzione dei compiti e della qualità della collaborazione tra esseri umani e agenti su compiti CLI realistici. Per misurare la collaborazione in modo completo, REALCLI costruisce un quadro a cinque dimensioni, articolato in 22 sottodimensioni e 51 modelli di scenari di interazione. REALCLI offre due modalità per un confronto abbinato: REALCLI-EXEC fornisce le specifiche complete fin dall’inizio, mentre REALCLI-COLLAB introduce un utente che segue uno script e fornisce informazioni progressive, correzioni, revisioni dei vincoli e decisioni di autorizzazione. Le valutazioni rivelano profonde lacune nelle capacità degli agenti di frontiera: la configurazione migliore raggiunge un punteggio medio di appena il 49,2% e, quando la valutazione si basa sul punteggio congiunto di collaborazione ($J_{\mathrm{collab}}$), la prestazione massima raggiunge soltanto il 37,6%. Questi risultati mostrano che l’efficacia nell’esecuzione dei compiti diverge nettamente dalla qualità della collaborazione: i modelli incontrano sistematicamente difficoltà nella guidabilità, nella calibrazione della fiducia e nella gestione dei limiti di sicurezza. REALCLI offre una base rigorosa e riproducibile per misurare e migliorare gli agenti CLI collaborativi.