APM-Bench: un benchmark per la memoria persistente tra sessioni negli assistenti per video in streaming in prima persona

Abstract degli autori

Per fungere da assistenti personali nel mondo reale, i modelli per video in streaming hanno bisogno di una memoria persistente che conservi le esperienze passate per usarle in seguito. Eppure, i benchmark e i metodi esistenti per lo streaming si concentrano spesso su singoli video continui o brevi clip, trascurando il fatto che le interazioni nel mondo reale sono spesso intermittenti e richiedono che la memoria persista anche dopo le interruzioni. Per colmare questa lacuna, introduciamo APM-Bench, che riformula l’interazione in streaming nel mondo reale come traiettorie di vita articolate in più sessioni. Comprende 549 sessioni, 104 traiettorie e 2.719 candidati, con domande sia oggettive sia a risposta aperta. Ogni sessione è un video con annotazioni dettagliate e le sessioni di una stessa traiettoria riguardano attività correlate. I modelli usano poi la memoria persistente per rispondere a domande sulle sessioni passate e fornire risposte proattive, mantenendo l’interazione in tempo reale. Questo pone diverse sfide: la memoria persistente deve poter essere archiviata, conservare selettivamente le informazioni, essere immessa al momento giusto e rimanere efficiente. Inoltre, uno spazio di archiviazione limitato può rendere indisponibili le prove necessarie, perciò gli assistenti dovrebbero riconoscere quando mancano. Valutiamo quindi sistematicamente modelli video generali con diversi protocolli di memoria e vari sistemi specializzati di memoria per lo streaming, e verifichiamo se i modelli riconoscono quando le prove sono insufficienti. La nostra valutazione rivela un chiaro compromesso tra utilità, latenza e spazio di archiviazione: i metodi esistenti faticano ancora a garantire contemporaneamente un recupero affidabile delle informazioni a lungo termine, un basso sovraccarico e un’assistenza proattiva efficace tra le sessioni. APM-Bench offre un banco di prova completo per sviluppare e confrontare sistemi di memoria persistente in condizioni di streaming realistiche. Ci auguriamo che incoraggi lavori futuri che considerino congiuntamente utilità, latenza e spazio di archiviazione, per rendere più pratica la memoria persistente degli assistenti per lo streaming nel mondo reale.