OSynth: una valutazione longitudinale e sensibile al contesto della comprensione delle riunioni

Abstract degli autori

Gli strumenti che prendono appunti durante le riunioni sono sempre più utilizzati in contesti in cui sono disponibili informazioni accumulate nel tempo, tra cui metadati del calendario, riunioni precedenti, email, slide e dati di registrazione dei parlanti. I corpora di riunioni restano però limitati per dimensioni, varietà degli ambiti e contesto disponibile. Presentiamo OSynth, un dataset sintetico su larga scala di organizzazioni simulate che comprende 570 ore di audio di riunioni, insieme ai materiali associati e a uno stato di riferimento latente. In un confronto a coppie, valutatori umani distinguono le riunioni di OSynth dalle trascrizioni di riunioni reali con un’accuratezza di appena il 56%, basandosi su estratti di 150-300 parole. Tra gli LLM più avanzati, l’aggiunta di contesto produce miglioramenti significativi su diverse dimensioni sensibili alle entità, mostrando i limiti degli approcci attuali e la potenziale utilità di OSynth nello sviluppo di sistemi per la comprensione delle riunioni che tengano meglio conto del contesto.