Omni-InteractScope: un benchmark per l’interazione proattiva e agentica nei flussi omnimodali continui

Abstract degli autori

Ci si aspetta sempre più spesso che i grandi modelli linguistici omnimodali (Omni-LLMs) assistano gli utenti mentre osservano flussi audiovisivi continui. Le valutazioni esistenti, però, offrono indicazioni limitate su quanto affidabilmente questi modelli colleghino ciò che emerge dai flussi e le esigenze degli utenti a interventi tempestivi e prolungati. Presentiamo \textbf{Omni-InteractScope}, un benchmark composto da 1.479 interazioni annotate da esseri umani e sottoposte a revisione incrociata, con 1.790 target temporali distribuiti in otto gruppi di attività. Il benchmark collega modalità di input, eventi che attivano un intervento, tipi di intervento ed esigenze degli utenti, e comprende l’invocazione di strumenti al momento opportuno in relazione agli eventi e l’assistenza senza richieste esplicite, oltre a notifiche, avvisi, monitoraggio dello stato e risposte continue. I nostri risultati sperimentali sul benchmark proposto rivelano tre limiti cruciali degli attuali Omni-LLMs: (1) \textbf{L’invocazione tempestiva degli strumenti resta inaffidabile}: tutti i 12 modelli valutati producono una prima risposta tempestiva per non più del 40\% dei target di invocazione di strumenti, e l’accuratezza congiunta nella tempistica e nella scelta dello strumento raggiunge al massimo il 32,0\%. (2) \textbf{I promemoria senza richieste esplicite restano poco coperti}: tutti i modelli valutati ottengono, per i promemoria senza richieste esplicite, una recall tempestiva dei target di riferimento inferiore a quella ottenuta per le domande esplicite, misurata sui rispettivi insiemi di target. La recall dei promemoria non supera mai il 23,0\%. (3) \textbf{La copertura delle sequenze di guida dall’inizio alla fine resta limitata}: nove modelli non coprono integralmente nessuna delle 26 sequenze di guida, mentre i restanti tre ne coprono soltanto da una a tre ciascuno. Ulteriori verifiche mirate mostrano che i punteggi relativi all’invocazione degli strumenti, da soli, non dimostrano che le risposte siano ancorate agli eventi e che la copertura dei promemoria dipende dalla cronologia e dalla frequenza delle risposte. Questi risultati indicano la necessità di sviluppare e valutare assistenti che operano su flussi continui in base alla loro capacità di agire tempestivamente, prendere l’iniziativa in risposta a esigenze generali degli utenti e coprire intere sequenze di risposte.