La memoria come pesi: internalizzare la storia a lungo termine dei video in streaming

Abstract degli autori

I modelli visione-linguaggio (VLM) per lo streaming devono integrare continuamente le informazioni passate, restando al tempo stesso reattivi alle osservazioni correnti e alle richieste degli utenti. I meccanismi di memoria esistenti in genere comprimono, recuperano o conservano in cache le osservazioni passate e le reinseriscono nel contesto di input, costringendo la memoria storica e le osservazioni correnti a contendersi uno spazio di contesto limitato. Proponiamo MaLoW, un sistema di memoria per lo streaming che, invece, internalizza il contesto storico attraverso aggiornamenti leggeri dei parametri che evolvono nel tempo. MaLoW usa una HyperNetwork ricorrente per consolidare gradualmente le osservazioni video in arrivo in pesi LoRA di dimensione fissa, consentendo di conservare le informazioni storiche senza dover ripercorrere l’intero flusso video. In questo modo, MaLoW rappresenta la storia come pesi, mantenendo l’osservazione corrente come input. Per supportare l’addestramento, abbiamo inoltre creato MaLoW-Instruct, un dataset su larga scala di video in streaming contenente 381K coppie domanda-risposta relative a 56K video. Abbiamo condotto numerosi esperimenti che dimostrano le elevate prestazioni di MaLoW su OVO-Bench, StreamingBench e StreamArena. Nello split backward di OVO-Bench, MaLoW supera i precedenti approcci alla memoria dal 3,9% all’11,8% con diversi backbone video, comportando solo un modesto aumento della latenza. Oltre alla comprensione dei video in streaming, MaLoW si generalizza anche ai modelli visione-linguaggio-azione, migliorando del 9,3% il tasso di successo delle azioni su Simpler WidowX.