PAWBench: quanto siamo lontani da una modellazione del mondo probabilisticamente allineata?

Abstract degli autori

I recenti modelli di generazione video vengono sempre più spesso presentati come modelli del mondo. Molti processi fisici possono svolgersi in più modi validi. Un modello del mondo dovrebbe quindi riprodurre non solo una traiettoria plausibile, ma anche la distribuzione dei possibili comportamenti a parità di osservazione iniziale e di azione. Chiamiamo questo requisito, che riguarda l’intera distribuzione, «allineamento probabilistico». Le valutazioni esistenti, però, esaminano perlopiù la plausibilità dei singoli video e non verificano se generazioni ripetute riproducano la distribuzione corretta. Da qui una domanda centrale: quanto sono lontani gli attuali generatori video da una modellazione del mondo probabilisticamente allineata? Per rispondere, definiamo formalmente l’allineamento probabilistico come criterio basato sulla distribuzione per i modelli del mondo e presentiamo PAWBench, un benchmark per valutare i generatori video come campionatori stocastici delle dinamiche del mondo. Presentiamo inoltre PAWEval, un protocollo basato sugli esiti che trasforma simulazioni video ripetute in distribuzioni empiriche dei possibili comportamenti fisici. In 50 scenari e con 11 sistemi attuali, nessun modello riproduce con costanza le probabilità di riferimento e, al tempo stesso, l’intera gamma dei comportamenti validi. Dopo aver individuato questo divario, verifichiamo se i prompt testuali, il campionamento del rumore iniziale o l’addestramento del modello possano modificare la distribuzione predittiva del modello. Riteniamo che il nostro lavoro possa costituire una base per i futuri tentativi di avvicinarsi a una modellazione del mondo probabilisticamente allineata.