AskStream: quando e cosa chiedere in modo proattivo nell’incertezza della comprensione dei video in streaming

Abstract degli autori

I recenti progressi nei modelli linguistici multimodali di grandi dimensioni hanno accresciuto l’interesse per i paradigmi di interazione nella comprensione dei video. L’evoluzione dall’interazione offline a quella in streaming e proattiva ha gradualmente trasformato i modelli da risponditori passivi ad agenti più proattivi, capaci di decidere quando rispondere. Tuttavia, i paradigmi proattivi esistenti presumono in genere che le informazioni necessarie per rispondere a una domanda siano complete, lasciando ai modelli solo la possibilità di attendere o rispondere. Nel mondo reale, invece, le informazioni sono spesso incomplete a causa dell’incertezza legata al video o all’utente. Nei paradigmi proattivi, tale incertezza può indurre il modello ad aspettare all’infinito o a generare risposte con molte allucinazioni. Sosteniamo quindi che l’interazione proattiva dovrebbe essere ridefinita introducendo una terza azione: chiedere, così da consentire ai modelli di domandare attivamente le informazioni mancanti. Per studiare quando e cosa dovrebbero chiedere i modelli prima di rispondere, presentiamo AskStream, il primo benchmark multi-turno per la comprensione dei video in streaming che considera l’incertezza legata sia al video sia all’utente, con quattro categorie di attività e otto sottoattività. Comprende 438 video e 2.714 finestre temporali a livello di frame annotate manualmente, suddivise in tre tipi: attendere, chiedere e rispondere. Sia nelle impostazioni a scelta multipla sia in quelle a risposta aperta, il modello più performante raggiunge appena il 52,18% secondo la metrica Ask-F1 da noi proposta, evidenziando i notevoli limiti nella ricerca proattiva di informazioni in condizioni di incertezza.