HistoTx: fusione precoce di immagini H&E e trascrittomica spaziale a diverse risoluzioni della trascrittomica spaziale mediante apprendimento autosupervisionato

Abstract degli autori

La trascrittomica spaziale mappa l’espressione genica nelle sezioni di tessuto e, quando viene integrata con immagini di vetrini interi, permette di cogliere insieme l’architettura morfologica e l’attività molecolare, offrendo una visione ricca e multimodale della biologia dei tessuti. Gli approcci di apprendimento automatico che combinano trascrittomica spaziale e immagini di vetrini interi imparano in genere a mappare le caratteristiche morfologiche sui profili molecolari attraverso l’allineamento contrastivo o il fine-tuning supervisionato di modelli fondazionali per la patologia. In entrambi i casi, la trascrittomica funge da segnale di addestramento anziché da vera e propria modalità di input, per cui l’inferenza resta fondamentalmente basata sulle immagini. Proponiamo un’architettura vision transformer a fusione precoce, in cui i token dei trascritti vengono costruiti a qualsiasi risoluzione spaziale, uniti ai token delle patch delle immagini ed elaborati insieme attraverso uno stack condiviso di transformer per consentire un’interazione profonda tra le modalità. Partendo da un modello fondazionale per la patologia preaddestrato esclusivamente su immagini, addestriamo HistoTx proseguendo il preaddestramento autosupervisionato su dati appaiati di immagini e trascrittomica spaziale e mostriamo che: 1) in fase di inferenza con le sole immagini, le prestazioni restano in linea con quelle del modello di riferimento nella maggior parte dei compiti, migliorando invece nei compiti che traggono intrinsecamente vantaggio dalle conoscenze molecolari, come la predizione dell’espressione genica; 2) quando entrambe le modalità sono disponibili in fase di inferenza, fornire congiuntamente immagini e trascritti come input offre prestazioni migliori rispetto a ciascuna modalità da sola.