Nemotron-Labs-Diffusion-Uni: LLM a diffusione unificato con auto-perfezionamento elastico e distillazione on-policy tra paradigmi

Abstract degli autori

Proponiamo Nemotron-Labs-Diffusion-Uni (NLD-Uni), un modello linguistico di grandi dimensioni a diffusione discreta (DLLM) unificato per compiti di comprensione e generazione visiva. Rispetto ai precedenti modelli a diffusione unificati, NLD-Uni introduce due innovazioni principali. La prima è un framework unificato di distillazione on-policy tra paradigmi (OPD), che trasferisce con successo a un DLLM unificato la capacità di comprensione visiva dei VLM autoregressivi e quella di generazione visiva dei modelli a flusso continuo. La seconda è un nuovo processo di diffusione con auto-perfezionamento progressivo: durante l’addestramento, ogni token viene corrotto gradualmente nell’arco di più passaggi, anziché adottare la formulazione convenzionale della diffusione con mascheramento, che trasforma direttamente un token di immagine non corrotto in un token di mascheramento privo di informazioni. Durante l’inferenza, questa impostazione consente a NLD-Uni di confermare un token in una fase intermedia, rendendo possibile un auto-perfezionamento progressivo che migliora la qualità visiva. Attraverso numerosi esperimenti, mostriamo che NLD-Uni raggiunge prestazioni allo stato dell’arte tra i DLLM unificati in diversi compiti, tra cui la risposta a domande su immagini, il ragionamento multimodale, il grounding degli oggetti, la generazione di immagini da testo e la modifica delle immagini.