S$^2$-RL: apprendimento per rinforzo duale su campioni e insiemi per la distillazione generativa di dataset per la segmentazione semantica

Abstract degli autori

Sebbene la distillazione di dataset abbia compiuto notevoli progressi nella classificazione delle immagini, la sua applicazione a compiti di predizione densa come la segmentazione semantica è ostacolata da due problemi fondamentali: gli approcci basati sull’ottimizzazione a due livelli comportano costi computazionali proibitivi dovuti allo srotolamento dei gradienti pixel per pixel, mentre i metodi generativi basati su proxy si limitano a inserire texture visive in maschere semantiche fisse ricavate da dati reali, senza riuscire a condensare una ricca conoscenza semantica in un insieme compatto di nuove scene generate e informative. Per affrontare entrambi i problemi, proponiamo S$^2$-RL, un nuovo framework di apprendimento per rinforzo su campioni e insiemi per la distillazione generativa di dataset per la segmentazione semantica (SSDD). In particolare, S$^2$-RL inquadra la SSDD come un paradigma di generazione da testo a immagine basato su un modello di diffusione, che consente di generare in modo flessibile immagini con distribuzioni semantiche nuove e informative tramite un prompt testuale conciso. Inoltre, sottoponiamo a fine-tuning una policy di diffusione mediante Group Relative Policy Optimization (GRPO), adottando un paradigma di ricompensa duale per campioni e insiemi: per i singoli campioni, impone l’allineamento semantico con i prompt testuali in ingresso e la diversità delle caratteristiche all’interno delle classi; per gli insiemi di campioni, massimizza la diversità delle distribuzioni semantiche tra campioni risolvendo un problema del bandito contestuale a più bracci. Queste scelte progettuali consentono a S$^2$-RL di distillare dataset di segmentazione semantica su larga scala in un insieme compatto di campioni generati che racchiudono conoscenze semantiche diverse e informative, senza richiedere lo srotolamento dei gradienti pixel per pixel. Ampi esperimenti sui dataset ADE20K e COCO mostrano che S$^2$-RL ottiene miglioramenti sostanziali e costanti rispetto ai metodi di riferimento allo stato dell’arte, stabilendo un nuovo benchmark per la SSDD.