Dalle evidenze all’azione: come falliscono gli agenti che usano strumenti

Abstract degli autori

Gli agenti che usano strumenti apportano modifiche con conseguenze significative allo stato esterno, ma un esito corretto non garantisce che le loro azioni fossero sostenute da evidenze accertate in precedenza. Studiamo dove si interrompe questa catena dalle evidenze all’azione, mentre gli agenti passano dal decidere se agire all’eseguire singole azioni e flussi di lavoro con dipendenze. In dieci configurazioni di modelli e harness, una buona capacità di valutare le azioni in modo statico può coesistere con un’esecuzione interattiva molto meno efficace. Spesso i problemi iniziano prima dell’esecuzione: gli agenti si fermano senza aver completato l’indagine oppure agiscono prima che siano state accertate le evidenze necessarie. Una volta acquisite tali evidenze, l’esecuzione di una singola azione è di solito affidabile, mentre i flussi di lavoro con più azioni mettono inoltre in luce prerequisiti non ancora soddisfatti ed esecuzioni incomplete. Per questa analisi presentiamo SafeActBench, che comprende 656 casi in sei ambiti operativi e cinque protocolli che vanno dalla valutazione statica delle azioni e dalla scelta di non agire dopo un’indagine ai flussi di lavoro con una o più azioni. Un Evidence Ledger vincolato alla provenienza delle informazioni e un valutatore deterministico delle traiettorie tengono traccia delle informazioni accertate, del momento in cui sono state compiute le azioni e del soddisfacimento delle dipendenze successive. Questi risultati mostrano che i problemi derivano non solo dalla mancanza di informazioni, ma anche dal modo in cui gli agenti usano le evidenze accertate quando decidono ed eseguono le azioni.