Garanzie end-to-end per modelli di diffusione mascherata con mixing condizionale

Abstract degli autori

I modelli di diffusione mascherata addestrano un modello di denoising sulla cross-entropia con mascheramento e generano sequenze rimuovendo il mascheramento da molte posizioni in parallelo. I limiti esistenti sul campionamento degli MDM presuppongono un modello di denoising esatto oppure non controllano il suo errore, mentre i limiti sull’addestramento riguardano solo la distribuzione di mascheramento su cui il modello è stato addestrato. Presentiamo una garanzia end-to-end per un modello di denoising appreso in condizioni di mixing condizionale (CM): fonti stazionarie (per esempio, catene di Markov di ordine $r$ con probabilità limitate inferiormente e fonti a modello di Markov nascosto con condizione di Doeblin bilaterale) in cui rivelare token visibili lontani modifica, in media, la distribuzione a posteriori di un token mascherato di una quantità esponenzialmente piccola rispetto alla distanza, con lunghezza di correlazione $τ_c$. Mostriamo che il minimizzatore del rischio empirico addestrato con una qualsiasi distribuzione di mascheramento raggiunge, rispetto a tale distribuzione, un eccesso per token pari a $\varepsilon'$ usando $\varepsilon'^{-\mathcal{O}(τ_c\log|\mathcal{V}|)}$ sequenze di addestramento, indipendentemente dalla lunghezza della sequenza $N$: un unico budget di campioni è sufficiente per ogni schema di decodifica, se il modello di denoising di ciascuno schema viene addestrato con la propria ponderazione. Mostriamo inoltre che l’ordine dell’esponente, $Θ(τ_c\log|\mathcal{V}|)$, è ottimale nel caso minimax a meno di costanti; tassi più efficienti richiedono struttura aggiuntiva. Sulla base di questo risultato, limitiamo la divergenza KL end-to-end come segue: $\mathrm{KL}(π\Vert p_{\mathrm{alg}})\leq \varepsilon+N\varepsilon'$ con uno schema dilatato di $T=\mathcal{O}(τ_c\log(N|\mathcal{V}|/\varepsilon))$ passaggi di denoising, rispetto a $Ω(N)$ passaggi per un ordine casuale fissato, su una fonte CM esplicita. Infine, mostriamo che i sampler autoregressivi a blocchi si concatenano tra i blocchi senza errori aggiuntivi e che una classe di passaggio di messaggi di ordine $r$ con $Λ$ cicli, applicata a fonti di ordine $r$, raggiunge una complessità campionaria polinomiale; l’errore di approssimazione migliora a ogni ciclo fino a saturare a $Λr\approx τ_c\log(1/\varepsilon')$. Gli esperimenti condotti su modelli rilasciati e riaddestrati supportano le previsioni qualitative dei nostri risultati.