Kolab: un benchmark per la collaborazione tra esseri umani e agenti nei flussi di lavoro di lunga durata

Abstract degli autori

Quando gli esseri umani collaborano con agenti di IA in attività di lunga durata, che ne è dei contributi degli agenti? Per risolvere queste attività, le persone attribuiscono più importanza all’interazione continua con gli agenti di IA, per esempio per rivedere i piani, che alla capacità di un agente di portare a termine l’attività in un solo tentativo. Tuttavia, la maggior parte dei benchmark per agenti si è concentrata soprattutto sull’automazione. Ottenere buoni risultati in questi benchmark non significa saper collaborare efficacemente nel mondo reale. I flussi di lavoro professionali offrono un contesto utile per studiare la questione, perché spesso comprendono passaggi interdipendenti. Per colmare questa lacuna, presentiamo Kolab, un nuovo dataset con oltre 115 ore di registrazioni dello schermo di 50 professionisti appartenenti a 40 professioni, impegnati a collaborare con agenti su problemi realistici di lunga durata. Kolab contiene anche le valutazioni dei partecipanti sulla collaborazione e sulla qualità dei risultati. La nostra analisi rivela diverse modalità di collaborazione e mette in evidenza l’importanza del momento e del modo in cui i professionisti si coordinano con gli agenti. Un agente collaborativo deve fare due cose che i benchmark di automazione non mettono mai alla prova: prevedere, per orientare i propri passi successivi, se gli esperti adotteranno, modificheranno o rifiuteranno il suo contributo una volta che questo sarà uscito dalla finestra della chat, e valutare la qualità della collaborazione osservando lo svolgersi del flusso di lavoro, senza ricevere costantemente riscontri dagli esperti. Il nostro benchmark misura entrambe le capacità: (1) prevedere come i professionisti utilizzano i contributi degli agenti in diversi flussi di lavoro e (2) verificare le loro valutazioni della soddisfazione per la collaborazione e della qualità dei risultati. I risultati mostrano che i modelli di frontiera, sia agentici sia non agentici, sovrastimano la collaborazione con gli esperti e faticano a distinguere le collaborazioni di alta qualità da quelle di bassa qualità. Disporre di un contesto più esteso sul flusso di lavoro non migliora sistematicamente queste previsioni. Poiché gli agenti di frontiera non sono ancora in grado di comprendere la collaborazione di lunga durata con gli esperti, proponiamo Kolab come un dataset utile per studiare la collaborazione tra esseri umani e agenti sulla base di flussi di lavoro professionali reali.