Segmentazione di immagini mediche guidata dal testo tramite aggregazione residua e rappresentazioni ad allineamento denso

Abstract degli autori

Specificare i target della segmentazione in linguaggio naturale offre un condizionamento semantico flessibile per la segmentazione di immagini mediche. Tuttavia, i metodi esistenti faticano ancora a tradurre in modo affidabile semantiche testuali di alto livello in prompt spaziali accurati a livello di pixel, soprattutto in presenza di lesioni a basso contrasto, contorni ambigui e contesti anatomici visivamente simili. In questo articolo proponiamo RADAR (Residual Aggregation and Dense Alignment Representations), un framework efficiente in termini di parametri per la segmentazione di immagini mediche guidata dal testo. RADAR separa esplicitamente e mette in sinergia la capacità di BiomedCLIP di ancorare i contenuti semantici medici e quella di MedSAM2 di decodificare maschere guidate dai prompt, consentendo al contempo un adattamento a basso costo del task tramite LoRA. Nello specifico, l’aggregazione guidata dei residui in profondità combina in modo adattivo le caratteristiche dei diversi livelli sotto guida semantica, attenuando il ritardo nell’iniezione testuale e la diluizione semantica nei livelli profondi. L’allineamento strutturato delle rappresentazioni dense sfrutta BiomedCLIP congelato per costruire ancore a livello di crop per target, contorni e contesto, migliorando la capacità discriminativa locale delle caratteristiche dense e l’affidabilità dei prompt automatici. La generazione multimodale di prompt converte inoltre le risposte semantiche cross-modali in prompt compositi di testo, punti e maschere per la decodifica di MedSAM2. Gli esperimenti su tre dataset pubblici di segmentazione di immagini mediche mostrano che RADAR ottiene prestazioni competitive con soli 0,74 milioni di parametri addestrabili, dimostrando la propria efficacia nell’adattamento efficiente in termini di parametri, nell’ancoraggio semantico e nel potenziamento delle rappresentazioni dense. Il codice sorgente è disponibile all’indirizzo https://github.com/JGuiidev/RADAR.