The Pulse
Diffusion Controller di Google registra una percentuale di vittorie del 90% su Stable Diffusion
Google Research ha presentato Diffusion Controller, un metodo leggero per orientare la generazione di immagini mantenendo invariati i pesi principali di un modello preaddestrato. Su Stable Diffusion 1.4, il team riferisce risultati migliori
AI.info Team · Scritto con l’IA ·
Google Research afferma che una versione del suo nuovo framework Diffusion Controller ha vinto il 90% dei confronti con un modello di generazione di immagini non modificato. Il dato riguarda la versione del team a cui si ha pieno accesso e che è stata sottoposta a fine-tuning, non il controller leggero progettato per funzionare mantenendo invariati i pesi principali del modello. La distinzione è importante: la proposta centrale del framework è consentire agli sviluppatori di orientare la generazione di immagini senza ricostruire o modificare ampiamente il modello da cui partono.
Un problema di controllo in ogni passaggio di rimozione del rumore
Google Research ha pubblicato il suo annuncio il 29 settembre, descrivendo Diffusion Controller come un modo per conciliare due obiettivi in competizione: seguire più fedelmente un prompt o un altro obiettivo, preservando al contempo la qualità delle immagini di un modello preaddestrato. Il framework considera la generazione di immagini come una sequenza di passaggi di rimozione del rumore e inquadra l’orientamento di questi passaggi come un problema di controllo. La sua base matematica è un processo decisionale di Markov generalizzato risolvibile linearmente, o LS-MDP.
Invece di considerare i metodi esistenti di guida e fine-tuning come soluzioni separate, i ricercatori formulano il controllo come una modifica delle transizioni a ritroso nel tempo del modello, penalizzando gli scostamenti dal suo comportamento preaddestrato. La penalità serve a bilanciare la ricompensa associata all’obiettivo con la necessità di restare vicini al modello originale. Il paper ricava due approcci all’addestramento basati sulla ricompensa: un metodo policy-gradient, che comprende un aggiornamento in stile PPO, e una regressione ponderata per la ricompensa.
«Presentiamo Diffusion Controller, una rete leggera che funge da ‹smorzatore di controllo› e orienta con precisione la generazione di immagini per ottenere un allineamento ai prompt significativamente migliore».
Chih-wei Hsu e Moonkyung Ryu, ingegneri software di Google Research, nell’annuncio di Google Research.
Il test con il modello di base invariato
La struttura a scatola grigia del controller aggiunge una piccola rete ausiliaria a un modello preaddestrato e usa le informazioni rese disponibili durante la rimozione del rumore per calcolare le correzioni. Il modello di base resta invariato; la rete aggiunta impara a regolare la generazione. Questa configurazione potrebbe essere adatta ai sistemi in cui gli sviluppatori non possono esaminare o modificare tutti i pesi interni di un modello, anche se richiede comunque l’accesso a risultati intermedi utili.
Il paper valuta il framework usando Stable Diffusion v1.4, sia nel fine-tuning supervisionato sia in quello basato sulla ricompensa. Google afferma che il suo controller a scatola grigia ha superato LoRA nelle percentuali di vittorie relative all’allineamento alle preferenze nei test di apprendimento supervisionato e in quelli con una funzione di perdita ponderata per la ricompensa, mentre l’abstract del paper riporta miglioramenti sia nelle configurazioni supervisionate sia in quelle basate sulla ricompensa. Il team riferisce anche un migliore compromesso tra qualità ed efficienza rispetto ai metodi di riferimento a scatola grigia e all’adattatore LoRA a scatola bianca.
Che cosa mostra, e che cosa non mostra, il dato del 90%
Il risultato del 90% riportato da Google riguarda una variante a scatola bianca, che sottopone il modello di base a fine-tuning, e non il controller che lo mantiene invariato. L’annuncio descrive anche valutazioni umane in cui Diffusion Controller ha ottenuto i migliori risultati per qualità soggettiva e corrispondenza ai prompt su prompt complessi. Separatamente, i ricercatori hanno valutato le preferenze relative alle immagini con HPS-v2, un punteggio appreso usato per confrontare immagini generate a partire dallo stesso prompt.
Gli esperimenti riportati non dimostrano che il metodo produrrà gli stessi risultati nell’insieme più ampio di modelli commerciali di generazione di immagini a codice chiuso citati nell’annuncio. La valutazione principale del paper usa Stable Diffusion v1.4; la compatibilità con modelli ad accesso limitato è la motivazione dell’approccio a scatola grigia, non una prova di risultati equivalenti su ciascuno di questi modelli. Il paper è apparso come preprint su arXiv il 7 marzo 2026 e Google lo include tra i suoi lavori per ICML 2026.
Un framework, non un prodotto rilasciato
Secondo Google, Diffusion Controller offre un’unica impostazione dell’intensità della guida in fase di inferenza, che permette di aumentare o ridurre l’intensità del controllo. Gli sviluppatori di modelli possono così regolare l’intensità con cui orientano la generazione dopo l’addestramento, mentre i metodi di addestramento consentono loro di ottimizzare il modello sulla base di immagini obiettivo abbinate o di un punteggio di ricompensa finale. Google presenta la personalizzazione, i controlli di sicurezza e la generazione di video come possibili direzioni di ricerca future, non come capacità dimostrate negli esperimenti sulle immagini riportati.
La verifica più immediata per questa proposta riguarda la capacità della sua rete ausiliaria leggera di trasferirsi oltre Stable Diffusion v1.4, soprattutto quando l’accesso a un modello è limitato ai risultati della rimozione del rumore. Il risultato del 90% evidenziato nel titolo è promettente nella configurazione con pieno accesso testata da Google; la tesi più ampia richiede valutazioni su modelli e condizioni di accesso che il paper non riporta.