iPrefBench: un benchmark incentrato sull’utente per agenti personalizzati che usano dispositivi mobili

Abstract degli autori

Un agente che conosca davvero il proprio utente e agisca per suo conto è da tempo una promessa degli assistenti di IA. Gli agenti che utilizzano computer avvicinano questa promessa alla realtà, eseguendo con competenza attività definite in ogni dettaglio in diverse app. Le richieste degli utenti nel mondo reale, però, spesso non specificano tutto. Per agire correttamente per un determinato utente, un agente deve ricavare alcune informazioni mancanti dalla cronologia delle sue attività e chiedergli quelle che solo lui può fornire, senza formulare ipotesi prive di fondamento né gravarlo di domande superflue. Presentiamo iPrefBench, un benchmark che valuta la capacità degli agenti personali che utilizzano dispositivi mobili di inferire informazioni e porre domande, in un ambiente iOS eseguibile con un utente simulato con cui possono interagire. Basato su un profilo coerente con 3.051 eventi di attività passata, iPrefBench comprende 130 attività richieste dall’utente ma non completamente specificate, distribuite su 26 app. Per come è costruito il benchmark, ogni requisito dipendente dall’utente lasciato implicito può essere ricavato dalla cronologia oppure ottenuto solo chiedendo all’utente. iPrefBench valuta sia se gli agenti completano correttamente le attività per l’utente, cioè il completamento personalizzato delle attività, sia se chiedono informazioni all’utente quando necessario, cioè l’interazione tra utente e agente. La valutazione di 7 agenti di frontiera rivela un divario considerevole tra esecuzione e personalizzazione. Gli agenti ottengono punteggi elevati nel completamento delle azioni, fino al 91,6%, ma risultati modesti nel completamento integrale delle attività, fino al 47,7%, perché la personalizzazione resta indietro. Hanno difficoltà soprattutto con le informazioni ottenibili solo chiedendo all’utente: non chiedono abbastanza informazioni necessarie. I nostri risultati mettono in luce una sfida per gli agenti personalizzati: sapere cosa inferire e quando chiedere. Ci auguriamo che iPrefBench possa essere un utile banco di prova per sviluppare agenti che conoscano il proprio utente e collaborino con lui.