BigCell: generazione di immagini di vetrini interi da gigapixel

Abstract degli autori

Le immagini di vetrini interi (WSI) sono scansioni digitali gigapixel di tessuti per l’istopatologia e costituiscono la base principale per la diagnosi del cancro. Gli attuali modelli generativi per l’istopatologia operano a livello di patch e producono riquadri di dimensioni fisse, al massimo di 1024$\times$1024 pixel, che coprono solo una piccola parte del vetrino intero. I referti testuali per le diagnosi cliniche e le etichette diagnostiche a livello di vetrino — i dati di supervisione disponibili su larga scala — riguardano invece l’intero vetrino. Presentiamo BigCell, il primo metodo per generare immagini istopatologiche coerenti di vetrini interi alla risoluzione gigapixel originale. BigCell addestra un transformer basato sul flow matching a 2048$\times$2048 pixel su oltre 120.000 WSI pubblicamente disponibili, relative a diversi tipi di organi. Condizionando la generazione su embedding prodotti da modelli di base per la patologia e utilizzando una pipeline a finestra scorrevole durante l’inferenza, BigCell genera immagini coerenti fino a 32.768$\times$32.768 pixel, superando i precedenti generatori di riquadri nelle metriche di fedeltà sia a livello di riquadro sia a livello di vetrino. Per rendere praticabile la sintesi di immagini gigapixel, introduciamo una strategia di pianificazione adattiva che dà priorità alle regioni importanti del vetrino, accelerando la generazione delle immagini di oltre 3\ttimes con un degrado minimo della qualità. Proponiamo inoltre la prima sintesi da testo a immagine a risoluzione 8k, addestrando un modello separato che produce griglie dense di condizionamento direttamente dai referti testuali di patologia. Dimostriamo che l’aggiunta di campioni sintetici migliora le prestazioni nella classificazione few-shot a livello di vetrino fino al $18 \%$ rispetto ai modelli di riferimento addestrati su dati reali.