StreamVibe: agenti video proattivi per intenti degli utenti in evoluzione

Abstract degli autori

I modelli visione-linguaggio stanno passando dalla comprensione passiva offline all’interazione proattiva online. Tuttavia, i metodi prevalenti si basano in larga misura su richieste esplicite e non colgono gli intenti impliciti degli utenti (per esempio, «Dove dovrei fare clic adesso?» mentre un utente naviga in un sito web). Inoltre, non riescono ad aggiornare lo stato mentre le richieste degli utenti cambiano continuamente. Questi limiti li rendono meno adatti, nella pratica, a interazioni che tengano conto degli intenti. Per affrontare queste sfide, presentiamo StreamVibe-Bench, un nuovo benchmark per valutare l’interazione basata sugli intenti degli utenti, con 4,1K esempi di valutazione e 85K esempi di addestramento che coprono intenti espliciti, impliciti e dinamici. A partire da questo benchmark, sviluppiamo StreamVibe-VL, un modello proattivo che elabora flussi continui, deduce gli intenti impliciti degli utenti da osservazioni continue e adatta dinamicamente le proprie interazioni al loro evolversi. Presentiamo inoltre StreamVibe-Harness, che mantiene gli intenti degli utenti come stati persistenti con cicli di vita flessibili, usando una memoria gerarchica per tenere traccia dell’intento più recente dell’utente e dello stato dell’ambiente. I nostri esperimenti evidenziano tre risultati principali: (i) StreamVibe-VL conserva una solida capacità generale di comprensione dei video e migliora del 10,7% rispetto agli altri modelli di riferimento la tempestività e la qualità delle risposte; (ii) i modelli proattivi esistenti restano limitati nella comprensione degli intenti degli utenti e nella scelta del momento in cui rispondere, soprattutto in presenza di intenti impliciti e dinamici; e (iii) StreamVibe-Harness migliora ulteriormente la coerenza delle risposte e la capacità di adattamento nel corso di interazioni prolungate, ottenendo un miglioramento del 12,3% nell’interazione proattiva.