SAR2Net: apprendere rappresentazioni ancorate spazialmente per l’allineamento tra colorazioni guidato dal recupero

Abstract degli autori

Ottenere l’allineamento spaziale tra immagini di vetrini interi (WSIs) con colorazioni diverse è essenziale per integrare le informazioni morfologiche e molecolari, ma resta difficile a causa della risoluzione estremamente elevata, della frammentazione del tessuto e delle ampie deformazioni non lineari. I metodi convenzionali di registrazione dipendono da un preallineamento globale e dalla coerenza spaziale, ma spesso falliscono in presenza di tali distorsioni. Presentiamo SAR2Net, un sistema che apprende rappresentazioni ancorate spazialmente e riformula l’allineamento tra colorazioni come un problema di recupero di caratteristiche a livello di regione. Anziché stimare trasformazioni esplicite, SAR2Net apprende rappresentazioni per singoli punti che codificano le relazioni spaziali relative rispetto a punti di riferimento del tessuto. A partire da punti di riferimento e coordinate arbitrarie, predice caratteristiche ancorate spazialmente che fungono da descrittori della topologia del tessuto invarianti rispetto alle deformazioni. Un processo di recupero in due fasi stabilisce quindi corrispondenze tra i vetrini, anche quando l’allineamento globale è impraticabile. Esperimenti su dataset HE-IHC di biopsie mostrano che SAR2Net ottiene un allineamento robusto a livello di regione in presenza di gravi distorsioni del tessuto, superando i metodi precedenti. Il codice è disponibile all’indirizzo https://github.com/Shentl/SAR2Net.