Spatial Memory Intelligence: modelli del mondo dotati di una memoria a lungo termine guidata dalla comprensione

Abstract degli autori

La generazione di video lunghi e i modelli del mondo hanno mostrato un forte potenziale per l’intrattenimento interattivo e la simulazione incarnata, grazie alla capacità di prevedere osservazioni future sulla base delle azioni degli utenti e della memoria storica. Tuttavia, man mano che le sequenze di memoria si allungano e le loro strutture diventano più complesse, gestire il contesto spaziale a lungo raggio diventa sempre più difficile e richiede una strategia di gestione della memoria più intelligente e sistematica. Facendo leva sui progressi nelle capacità di ragionamento spaziale dei modelli linguistici multimodali di grandi dimensioni (MLLM) e sulla visione più ampia dei modelli unificati, proponiamo Spatial Memory Intelligence (SMI), il primo framework che impiega sistematicamente un modello di comprensione per gestire la memoria spaziale nei modelli del mondo per video lunghi. SMI introduce quattro operazioni elementari coordinate: raggruppamento spaziale, sparsificazione all’interno dei cluster, recupero che tiene conto delle azioni e filtraggio che tiene conto dell’affidabilità. Numerosi esperimenti su diverse baseline, benchmark e architetture di base dei modelli del mondo dimostrano l’efficacia e la generalizzabilità di SMI, con miglioramenti complessivi nella sparsità della memoria, nella stabilità della generazione e nella coerenza spaziale.