Sparse All-Layer Connector per la segmentazione semantica generalizzata ai domini

Abstract degli autori

La segmentazione semantica generalizzata ai domini (DGSS) ha recentemente tratto beneficio dalla combinazione di più modelli fondazionali, come i modelli visione-linguaggio e i modelli fondazionali per la visione, sfruttandone le diverse rappresentazioni per migliorare la generalizzazione. Gli approcci esistenti basati su più modelli condividono una scelta progettuale: la fusione tra modelli è limitata ai livelli allineati per profondità, presupponendo implicitamente che le informazioni utili a entrambi si trovino alla stessa profondità nei diversi modelli. Tuttavia, i modelli fondazionali preaddestrati con obiettivi diversi possono sviluppare gerarchie di rappresentazioni distinte, il che mette in dubbio che la fusione tra livelli allineati per profondità sia ottimale. Osserviamo inoltre che la sensibilità al dominio dei modelli fondazionali varia a seconda della profondità. Sulla base di queste osservazioni, proponiamo Sparse All-Layer Connector (SALC), che consente a ogni livello di accedere alle informazioni dei livelli precedenti di un altro modello. Poiché il numero di livelli accessibili cresce con la profondità, un’aggregazione densa può compromettere la generalizzazione. SALC impara quindi a selezionare in modo adattivo un sottoinsieme sparso di livelli informativi. Introduciamo inoltre una regolarizzazione tramite dropout dei candidati che rafforza la sparsità e incoraggia SALC a esplorare livelli diversi, rendendo la selezione più robusta. In quattro combinazioni di modelli fondazionali e tre configurazioni di valutazione della DGSS, il metodo proposto mostra una maggiore capacità di generalizzazione rispetto alla fusione convenzionale tra livelli allineati per profondità. Il codice è disponibile all’indirizzo https://github.com/RuoyuGuo/SALC.