Dentro la scatola nera della classifier-free guidance attraverso il collo di bottiglia informativo

Abstract degli autori

La classifier-free guidance (CFG) è una tecnica standard per migliorare la generazione condizionata nei modelli di diffusione, ma la scelta di quando attivarla è di solito euristica. In pratica, la maggior parte dei metodi esistenti basati sulla CFG segue una politica di attivazione predefinita per tutta l’inferenza, mentre le varianti dinamiche più recenti dipendono spesso da schemi progettati a mano, senza una spiegazione teorica fondata di quando l’informazione condizionante sia più utile. Per capire come evolve, nel corso della generazione, la rilevanza informativa tra gli input di condizionamento e la funzione di score, esaminiamo da una prospettiva della teoria dell’informazione quando sia opportuno attivare la guidance. In questo lavoro formuliamo la traiettoria di diffusione come un collo di bottiglia informativo dipendente dal tempo e mostriamo che l’efficacia dell’informazione condizionante non è uniforme durante il campionamento, ma aumenta significativamente dopo una fase critica caratterizzata da una condizione di equilibrio dell’informazione di Fisher. Sulla base di questa osservazione, proponiamo una strategia di CFG dinamica per l’inferenza che non richiede addestramento. Anziché stabilire in anticipo uno schema fisso, il nostro metodo costruisce un processo stocastico a partire dalle statistiche degli score condizionali e incondizionati e attiva la guidance quando il guadagno stimato della guidance oltrepassa una soglia prestabilita. Ne risulta una regola di attivazione adattiva che allinea l’inserimento delle condizioni alle dinamiche della generazione e comprende anche, come caso particolare limite, la guidance basata su intervalli. Ampi esperimenti condotti su architetture e compiti diversi dimostrano che il nostro metodo è efficace, robusto e ampiamente applicabile. Oltre ai miglioramenti empirici, il nostro quadro teorico offre un’interpretazione dei metodi di guidance dinamica e una base fondata per il controllo, in fase di inferenza, dei modelli di diffusione condizionati.