SALD: apprendimento del vantaggio autoreferenziale per i modelli di diffusione

Abstract degli autori

Studi recenti sull’adattamento dei modelli linguistici hanno mostrato che singoli modelli possono ricavare segnali di addestramento informativi valutando il proprio comportamento in contesti arricchiti da dimostrazioni o feedback, con l’aiuto di una rete insegnante guidata dai parametri appresi dal modello studente. Ispirandoci a questo principio di riferimento interno, esaminiamo come i modelli di diffusione possano individuare segnali di addestramento autoreferenziali senza dimostrazioni esterne né reti insegnanti. Presentiamo SALD, un sistema di addestramento autoreferenziale che valuta ogni coppia immagine-didascalia a due livelli di rumore usando lo stesso modello. Il percorso più facile, con meno rumore, viene valutato senza tracciare i gradienti e funge da riferimento; quello più difficile, con più rumore, fornisce il gradiente per l’addestramento. Anziché trasferire direttamente al modello la previsione del percorso più facile, SALD usa la differenza tra gli errori dei due percorsi per adattare l’obiettivo del percorso più difficile. Il metodo proposto, Advantage-Guided Diffusion (AGD), trasforma questo errore relativo in un peso differenziabile a livello di campione. Temporal Advantage Memory (TAM) accumula la difficoltà relativa nel corso dell’addestramento e adatta, per le fasi successive, lo scarto tra i due livelli di rumore. Spectral Advantage Decomposition (SAD) confronta inoltre gli spettri di potenza dei residui dei due percorsi e costruisce un peso differenziabile per ciascun elemento latente, derivato dalle frequenze. Tutti i componenti condividono un unico insieme di parametri del modello: non richiedono né una rete insegnante esterna né parametri addestrabili aggiuntivi durante l’addestramento o l’inferenza, e non comportano modifiche alla procedura di inferenza. Esperimenti condotti su più architetture e dataset mostrano miglioramenti costanti nella qualità della generazione, mentre gli studi di ablazione sui singoli componenti quantificano il contributo dei componenti proposti.