Adattamento efficiente di SAM3 alla segmentazione semantica multiclasse tramite rappresentazioni competitive dense

Abstract degli autori

Il Segment Anything Model 3 (SAM3) ha compiuto progressi significativi nella Promptable Concept Segmentation (PCS): elabora brevi sintagmi nominali per generare maschere di segmentazione con identificativi di istanza univoci. Pur eccellendo nella segmentazione di un singolo concetto, SAM3 mostra dei limiti negli ambienti complessi del mondo reale, dove occorre segmentare più concetti contemporaneamente. In particolare, SAM3 in genere non riesce a elaborare simultaneamente concetti che presentano una sovrapposizione semantica, causando errori di classificazione semantica e previsioni ridondanti delle maschere. Inoltre, all’aumentare del numero di concetti, il paradigma di inferenza indipendente comporta tempi di inferenza proibitivi. Per superare questi limiti, proponiamo il framework Dense Competitive Representations SAM (DCR-SAM). Disaccoppiando le interazioni tra modalità, il metodo proposto riduce i tempi di inferenza. Per correggere gli errori di classificazione semantica, DCR-SAM allinea dinamicamente i concetti testuali alle rappresentazioni visive e integra una testa di competizione densa che impone una competizione esplicita tra classi. Inoltre, un token di background apprendibile assorbe dinamicamente gli oggetti non bersaglio. Questi meccanismi riducono efficacemente le previsioni sovrapposte e generano maschere ad alta fedeltà. Ampie valutazioni sperimentali su diversi benchmark dimostrano che il framework proposto: (1) migliora le prestazioni del 2,3% $\sim$ 10,7% rispetto ai metodi più avanzati, (2) accelera l’inferenza di 33$\times$ rispetto a SAM3 nella sua versione nativa e (3) mostra una notevole robustezza in scenari diversi.