Addestrare la permanenza degli oggetti nei modelli del mondo

Abstract degli autori

La permanenza e la solidità degli oggetti sono tratti distintivi delle predisposizioni cognitive umane. Studi recenti mostrano che i modelli di generazione video, una classe paradigmatica degli attuali modelli del mondo, hanno iniziato a manifestare capacità di ragionamento emergenti, rendendoli candidati ideali per la creazione di un’intelligenza fisica simile a quella umana. I modelli video hanno sviluppato la permanenza degli oggetti? In caso contrario, potremmo addestrarli con un dataset ispirato alle capacità cognitive di base? Presentiamo WROP (World Reasoning with Object Permanence), un’infrastruttura di dati che comprende 150 compiti progettati a mano e ispirati alle scienze cognitive, suddivisi in sei categorie cognitive. Realizziamo generatori in Blender che variano casualmente la velocità, l’illuminazione, l’angolazione della telecamera e altri parametri di disturbo, preservando al contempo la struttura cognitiva di ciascun compito e producendo oltre 10.000 campioni per compito. Rendiamo disponibile un corpus di addestramento da 1,5 milioni di campioni e un esame con 300 domande. Sottoponiamo a questo esame 14 modelli video: 3 di generazione video da un riferimento, 7 di editing e 4 di continuazione, tra cui PWM-WROP, il nostro modello del mondo da 16B. In uno studio Elo alla cieca basato su confronti a coppie, PWM-WROP si colloca al primo posto tra i modelli di continuazione e al terzo posto complessivo, preceduto soltanto da due modelli di generazione video da un riferimento, a pari merito dal punto di vista statistico. Rendiamo disponibili i dati, l’esame, le risposte dei modelli, i punteggi, i pesi e PWM, il nostro stack di addestramento nativo in PyTorch su AWS Trainium2.