UniH$^3$: unificare omogeneità ed eterogeneità gerarchiche per il restauro delle immagini mediche con un unico modello

Abstract degli autori

Il restauro delle immagini mediche con un unico modello (MedIR) mira ad affrontare compiti diversi, relativi a varie modalità di acquisizione e a diversi tipi di degradazione, usando un solo modello universale. I metodi esistenti danno in genere priorità alla modellazione dell’eterogeneità tra i compiti, per esempio delle diverse distribuzioni dei dati e dei diversi tipi di degradazione. Trascurano però in larga misura l’omogeneità intrinseca delle immagini mediche, come le strutture anatomiche ampiamente condivise all’interno delle singole modalità e tra modalità diverse, che può essere sfruttata per facilitare l’addestramento del modello e migliorarne la capacità di generalizzazione. A questo scopo proponiamo UniH3, un nuovo sistema che unifica omogeneità ed eterogeneità gerarchiche per il restauro delle immagini mediche con un unico modello. In particolare, per sfruttare pienamente l’omogeneità, introduciamo un modulo Hierarchical Homogeneity Memory (H2M) che, durante l’addestramento, ricava progressivamente da immagini di alta qualità conoscenze a priori sull’omogeneità all’interno dei compiti e tra compiti diversi. Il modulo recupera poi in modo adattivo le conoscenze a priori più pertinenti in base all’input, per guidare il restauro. Queste conoscenze vengono quindi integrate nel processo di restauro tramite un efficiente meccanismo Homogeneity-Guided Attention (HGA). Inoltre, per affrontare pienamente l’eterogeneità, progettiamo un Hierarchical Heterogeneity Balancer (H2B) che attenua i conflitti sia tra compiti diversi sia all’interno dei singoli compiti durante l’ottimizzazione, favorendo un apprendimento su più compiti equilibrato ed efficace. Esperimenti approfonditi su due benchmark su larga scala, MedIR-2D-500K e MedIR-3D-3K, dimostrano che UniH3 ottiene prestazioni allo stato dell’arte nel restauro delle immagini mediche sia con un unico modello per più compiti sia con modelli dedicati a un singolo compito. Ci auguriamo che questo lavoro costituisca un benchmark solido e contribuisca allo sviluppo di modelli di restauro delle immagini mediche di uso generale. Il codice è disponibile all’indirizzo https://github.com/Yaziwel/UniH3.