Fondamenti degli agenti proattivi: principi, livelli tecnici e Proactivity-Gym

Abstract degli autori

Gli agenti proattivi basati su LLM possono trasformare risorse di calcolo inutilizzate in un aiuto concreto, prima ancora che gli utenti lo chiedano. Tuttavia, anche un lavoro svolto correttamente può derivare da un’interpretazione errata del contesto dell’utente, comportare un onere di verifica o minare la fiducia. Questo lavoro propone le basi per progettare, realizzare e valutare agenti proattivi basati su LLM secondo tre principi congiunti (3T): Task Capability, cioè anticipare le esigenze pertinenti e svolgere correttamente compiti utili; Temporal Allocation, cioè allocare le risorse di calcolo in base alla loro disponibilità e al momento in cui servono i risultati; e Trust, cioè mantenere la fiducia degli utenti e un grado appropriato di affidamento sull’agente. Colleghiamo questi obiettivi a uno spazio progettuale articolato in cinque dimensioni — ambito dei compiti, orizzonte di anticipazione, evento di attivazione, tempistica dell’elaborazione e profondità dell’intervento — e specifichiamo come modellare la situazione e il sistema per orientare le scelte in tale spazio, comprese le rappresentazioni dell’utente e dell’ambiente, gli LLM di base e le infrastrutture di esecuzione degli agenti. Infine, proponiamo PROACTIVITY-GYM, un ambiente di valutazione basato su simulazioni che comprende scenari distribuiti su più giorni, ambienti che mantengono lo stato e utenti simulati condizionati da profili di persona, e che consente di valutare le conseguenze dell’assistenza proattiva nel corso delle interazioni. Le valutazioni condotte su 23 configurazioni di modelli e infrastrutture di esecuzione degli agenti evidenziano notevoli divari di prestazione rispetto ai 3T e mostrano che gli LLM usati come giudici spesso confondono la capacità di svolgere i compiti con la fiducia. Uno studio su 30 partecipanti dimostra l’importanza di ottimizzare congiuntamente i 3T: la fiducia dei partecipanti cala bruscamente dopo interventi non allineati, nonostante i risultati corretti, e i partecipanti preferiscono ricevere assistenza durante il sonno, anche se imperfetta, per mantenere la concentrazione su ciò che stanno facendo. Nel loro insieme, questi risultati indicano che la progettazione e la valutazione degli agenti proattivi devono considerare congiuntamente l’utilità del lavoro svolto, l’allocazione delle risorse di calcolo e l’evoluzione della fiducia degli utenti.