Memorizon: addestrare modelli del mondo oltre la loro finestra di contesto

Abstract degli autori

I modelli del mondo in streaming dovrebbero rappresentare un luogo in modo coerente anche quando vi si torna più volte. Per supervisionare direttamente queste visite ripetute servono campioni di addestramento che comprendano entrambe le visite, spesso distanti minuti. Ma l’attenzione densa sull’intero intervallo ha un costo quadratico, rendendo onerosa la supervisione su intervalli lunghi. Memorizon separa le due esigenze: per la supervisione servono intervalli lunghi, ma non per l’attenzione, perché le due visite possono condividere un passaggio in avanti senza includere ogni fotogramma intermedio. Un campione di addestramento copre un intervallo di qualsiasi durata, ma il punteggio viene calcolato solo sui suoi ultimi $k$ blocchi. Anziché convertire in token la storia che li precede, ciascun blocco valutato recupera le proprie top-$K$ rappresentazioni latenti in base alla co-visibilità della telecamera; l’unione di queste richieste forma una banca condivisa. La banca è limitata a $kK$, quindi la lunghezza della sequenza resta limitata indipendentemente dalla durata dell’intervallo; con l’intervallo più breve, la procedura coincide esattamente con l’addestramento convenzionale. L’aggiunta della banca aumenta una sola volta il costo di un passo; dopodiché, allungare l’intervallo costa poco: passare da 100 a 400 s aggiunge il 12% al tempo per passo. Rispetto a un riferimento basato su una finestra scorrevole, il recupero migliora la coerenza tra visite ripetute in ogni suddivisione, e un intervallo abbastanza lungo da raggiungere la prima visita di ogni ritorno aggiunge un ulteriore 24%-30%, a scapito, in parte, della qualità delle immagini; oltre quella durata, allungare ancora l’intervallo non porta benefici. Riempire la banca con dati di un altro episodio riduce dell’83% la correlazione tra visite ripetute: il modello usa dunque ciò che recupera. Pagina del progetto: https://tingtingliao.github.io/memorizon