Adattamento guidato dalle preferenze per la segmentazione semantica a vocabolario aperto tramite la divergenza tra prompt

Abstract degli autori

La segmentazione semantica a vocabolario aperto (OVSS) consente di effettuare previsioni a livello di pixel su vocabolari arbitrari specificati tramite testo e ha mostrato una forte capacità di generalizzazione sui benchmark più comuni. Tuttavia, le prestazioni dei modelli OVSS spesso peggiorano in ambiti specialistici come la diagnostica per immagini, il telerilevamento e l’ispezione industriale, dove ottenere maschere dettagliate a livello di pixel per l’adattamento è costoso e richiede competenze specifiche del settore. Proponiamo un metodo di adattamento guidato dalle preferenze che sostituisce la supervisione basata su maschere dettagliate con preferenze binarie. Osserviamo che template di prompt diversi producono sistematicamente segmentazioni diverse della stessa immagine: chiamiamo questo fenomeno divergenza tra prompt e lo sfruttiamo come fonte intrinseca di supervisione basata sulle preferenze. Su questa base, ricaviamo richieste di preferenza localizzate dalle regioni in cui l’incertezza tra template è elevata e adattiamo il modello OVSS con Region-Localized Preference Optimization (RLPO), insieme a una regolarizzazione della coerenza che stabilizza gli aggiornamenti al di fuori della regione oggetto della richiesta. In un’ampia serie di esperimenti sul benchmark MESS, il metodo proposto ottiene miglioramenti costanti con diverse architetture di base OVSS senza alcuna annotazione a livello di pixel e rimane efficace anche in presenza di preferenze rumorose. Il nostro codice è disponibile all’indirizzo https://github.com/blue-531/pref-ovss.