Chiedere ciò che non era mai stato richiesto: proattività orizzontale e verticale negli agenti

Abstract degli autori

Un agente che usa strumenti di solito risponde a ciò che l’utente chiede esplicitamente, ma per completare il compito potrebbe aver bisogno di informazioni che l’utente non ha mai richiesto. Gli studi sugli agenti proattivi esaminano soprattutto se e quando un agente debba agire di propria iniziativa, non quali informazioni debba cercare. Noi studiamo un’altra dimensione della proattività: il suo contenuto. La proattività orizzontale cerca informazioni non esplicitate ma già individuabili nel contesto attuale; quella verticale cerca di soddisfare esigenze che emergono solo da elementi raccolti in precedenza. Un grafo delle esigenze, ricostruito a partire dalla scomposizione del benchmark stesso, registra quali esigenze dipendono da quali altre. In questo modo, entrambe le forme di proattività, e la capacità dell’agente di fermarsi al momento giusto, possono essere valutate sulla base di una trascrizione senza ricorrere a un modello valutatore. Per insegnare questo comportamento, proponiamo Q&D (formulatore di domande e redattore), che addestra un formulatore di domande a preferire la domanda il cui seguito permette di recuperare una maggiore quantità delle evidenze necessarie, senza un modello di ricompensa né un valutatore. Su suddivisioni di test di tre benchmark di domande e risposte che richiedono più passaggi logici, a parità di risorse impiegate per il recupero delle informazioni, il formulatore di domande addestrato migliora entrambe le forme di proattività rispetto allo stesso modello guidato da prompt. Inoltre, in due dei tre benchmark supera, nello stesso ruolo, un modello $15\times$ più grande guidato da prompt; il vantaggio persiste anche tenendo conto del numero e della lunghezza delle domande. Senza ulteriore addestramento, inseriamo il formulatore di domande in un agente interattivo per il servizio clienti con un cliente simulato: l’agente completa più compiti ponendo meno domande e, nel commercio al dettaglio, supera il modello $15\times$ più grande con meno turni successivi di conversazione da parte del cliente. Questi risultati mostrano che la proattività dipende non solo dal fatto che un agente agisca senza che gli venga chiesto, ma anche da ciò che sceglie di cercare e da quando si ferma.