OmniVerifier-C1: un verificatore graduato che scompone le richieste per la modellazione generativa del mondo governata da regole

Abstract degli autori

I verificatori visivi per i modelli generativi svolgono un ruolo cruciale nel progresso dell’intelligenza multimodale. Per renderli più robusti in scenari multimodali complessi con requisiti composizionali, andiamo oltre i tradizionali verificatori binari, che producono soltanto giudizi discreti Vero/Falso, e introduciamo un verificatore che scompone automaticamente prompt complessi o regole dell’ambiente in componenti granulari e assegna a ciascuna un punteggio, fornendo una valutazione continua e più informativa. I nostri esperimenti mostrano inoltre che questi risultati strutturati e interpretabili migliorano la capacità del verificatore di generalizzare a compiti di valutazione multimodale fuori dominio. Per addestrarlo, introduciamo una strategia di addestramento Decoupled RL che ottimizza congiuntamente il giudizio binario a livello di singola sotto-domanda e il punteggio globale di allineamento, usando un feedback locale preciso per sviluppare capacità di verifica granulari che costituiscono la base di un’affidabile attribuzione di punteggi continui a livello globale. Nell’ambito di un quadro generale di apprendimento per rinforzo, dimostriamo innanzitutto empiricamente che il verificatore graduato proposto, che assegna punteggi ai singoli elementi, supera nettamente i verificatori binari nei tradizionali scenari di generazione di immagini da testo. Estendiamo poi l’indagine alla modellazione generativa del mondo governata da regole, in cui i modelli generativi vengono impiegati per simulare il mondo e ragionare su di esso secondo regole esplicite. Sul piano teorico, mostriamo inoltre che, quando sono disponibili immagini di riferimento, un paradigma di verifica a coppie produce valutazioni più accurate rispetto alla formulazione basata su punteggi assegnati ai singoli elementi. I risultati empirici ottenuti su diversi compiti strutturati di modellazione del mondo, come Maze e Sudoku, confermano ulteriormente l’efficacia del nostro approccio. Nel complesso, i nostri risultati suggeriscono un punto fondamentale: il passaggio dai modelli generativi ad agenti per la modellazione strutturata del mondo dipende in modo cruciale dalla disponibilità di verificatori visivi graduati e accurati che operino a coppie.