ChanSFormer: un vision transformer agnostico ai canali per immagini Cell Painting multicanale

Abstract degli autori

L’imaging multicanale ad alto contenuto, dai saggi Cell Painting al telerilevamento, è centrale nei moderni flussi di lavoro scientifici. Poiché questi canali sono molto eterogenei e le configurazioni sperimentali cambiano spesso, un’architettura di base per la visione artificiale deve essere fondamentalmente agnostica ai canali. Gli attuali vision transformer adattivi ai canali si basano sull’autoattenzione globale con embedding dei canali apprendibili, che possono essere calcolati solo per canali già noti. I tentativi di superare questa limitazione per i nuovi canali o scartano gli embedding, perdendo l’identità dei canali, oppure elaborano ciascun canale in modo indipendente, eliminando così interazioni cruciali tra i canali. Per affrontare questo problema, presentiamo ChanSFormer, un Vision Transformer efficiente che sostituisce gli embedding rigidi con un’attenzione spaziale e tra i canali disaccoppiata e token CLS individuali per canale. Questa architettura preserva nativamente sia le identità distintive dei canali sia il flusso di informazioni tra i canali. Inoltre, il design con token di classe individuali per canale consente rappresentazioni delle caratteristiche più informative per l’apprendimento auto-supervisionato e permette di campionare i canali sulla base delle rappresentazioni, pur restando agnostico ai canali. Valutiamo ChanSFormer su due dataset biologici multicanale, CHAMMI e JUMP-CP, e su un dataset satellitare, So2Sat. I risultati sperimentali mostrano che ChanSFormer supera i metodi allo stato dell’arte del 3,93%-4,27% in accuratezza di classificazione su JUMP-CP. Dimostra inoltre un’eccezionale trasferibilità tra dataset in un contesto auto-supervisionato, superando i metodi precedenti fino al 2,72% in accuratezza negli stessi compiti di classificazione. Inoltre, l’attenzione disaccoppiata riduce la complessità quadratica rispetto alla lunghezza della sequenza canale-spaziale del modello di riferimento basato sull’attenzione globale, migliorando così il throughput del 55%-313%. Il codice è disponibile all’indirizzo https://github.com/cvlab-stonybrook/ChanSFormer.