L’elefante nel frigorifero: impacchettamento dei fotogrammi a memoria costante per comprendere i video lunghi

Abstract degli autori

I video di un’ora, i flussi in streaming e i contenuti della durata di un film stanno spingendo i modelli visivo-linguistici (VLM) oltre i loro limiti: l’approccio standard, che codifica ogni fotogramma in token visivi, produce sequenze che crescono linearmente con la durata del video, comportando un consumo di memoria e una latenza di inferenza proibitivi. Gli approcci esistenti, come la riduzione dei token e la selezione dei fotogrammi chiave, accorciano la sequenza di token ma mantengono la crescita O(n), senza risolvere il limite fondamentale. Proponiamo FramePack-U, un framework di impacchettamento dei fotogrammi sorprendentemente semplice e senza addestramento, che comprime video di lunghezza arbitraria in una rappresentazione visiva di dimensioni fisse con un consumo di memoria costante. FramePack-U non richiede né fine-tuning né modifiche all’architettura: si integra direttamente nei VLM già disponibili durante l’inferenza. Ispirandoci a FramePack, descritto nella letteratura sulla generazione, proponiamo una strategia di compressione che tiene conto del contenuto per la comprensione visiva entro un budget fisso di token. Nello specifico, FramePack-U (1) assegna a ogni fotogramma un punteggio in base alla sua somiglianza semantica con il prompt testuale e ordina i fotogrammi secondo un criterio che privilegia la diversità; (2) impacchetta i fotogrammi selezionati a risoluzioni diverse in una finestra di contesto di lunghezza fissa. In questo modo concentra il budget di memoria sui fotogrammi che sono sia pertinenti all’istruzione sia visivamente diversi. Sebbene in teoria FramePack-U possa impacchettare un numero arbitrario di fotogrammi entro il budget fisso, individuiamo una realizzazione empirica che generalizza in modo robusto in diverse configurazioni. Esperimenti approfonditi su LongVideoBench, MLVU e Video-MME mostrano che FramePack-U supera sistematicamente le baseline a piena risoluzione e i precedenti metodi di riduzione dei token e selezione dei fotogrammi chiave, con diverse famiglie di modelli, scale di parametri e budget di fotogrammi. In particolare, su Qwen3.5-35B-A3B con un budget di 128 fotogrammi, FramePack-U ottiene miglioramenti rispettivamente di +12,9\%, +10,6\% e +9,7\% rispetto al modello ufficiale nei tre benchmark.