BridgeTwist: twisting dei ponti di Schrödinger per il campionamento condizionato senza addestramento

Abstract degli autori

Ai modelli generativi viene spesso richiesto di svolgere molti compiti condizionati a valle. Nell’approccio senza addestramento, un modello non condizionato preaddestrato viene riutilizzato come distribuzione a priori e combinato con una funzione di verosimiglianza specifica per il compito, così da campionare dalla corrispondente distribuzione a posteriori. Sebbene siano stati sviluppati campionatori di questo tipo per i modelli di diffusione e di flusso, l’equivalente per i modelli basati sui ponti di Schrödinger (SB) resta inesplorato, nonostante il crescente interesse per gli SB come modelli flessibili di trasporto stocastico tra distribuzioni sorgente e di destinazione generiche. Proponiamo BridgeTwist, un campionatore condizionato senza addestramento per modelli generativi SB preaddestrati, formulato come uno schema di Monte Carlo sequenziale con twisting temperato. La sua funzione di twisting è un’approssimazione plug-in in forma chiusa, ottenuta combinando i campi di velocità e di score resi disponibili dal preaddestramento degli SB in un predittore del punto finale e valutando lì la verosimiglianza. Poiché questa approssimazione è meno affidabile vicino alla sorgente, temperiamo la funzione di twisting con un esponente variabile nel tempo, riducendone l’influenza nei primi passaggi. Introduciamo inoltre un programma di diffusione in fase di inferenza a forma di ponte, che concentra il rumore della proposta nella parte interna del percorso. I pesi di importanza telescopici annullano quindi tutti i fattori intermedi di twisting, producendo un campionatore asintoticamente esatto per la distribuzione a posteriori. Nei test empirici, BridgeTwist supera i metodi di riferimento senza addestramento nella generazione di immagini condizionata dalla classe e da prompt testuali, ed è competitivo con i risolutori specializzati di problemi inversi per il completamento delle immagini, la rimozione della sfocatura e la super-risoluzione.