Oltre le didascalie sporadiche: allineare il testo a livello di vetrino e le informazioni visive a livello di patch in patologia

Abstract degli autori

Il preaddestramento contrastivo visivo-linguistico (VL) in patologia computazionale si è generalmente basato su dataset curati di immagini e didascalie provenienti da social media, video didattici e pubblicazioni scientifiche. Queste raccolte sono limitate rispetto alla varietà delle morfologie tissutali ed è difficile ampliarle ulteriormente, perché nella pratica clinica i patologi non producono abitualmente didascalie descrittive. Proponiamo invece di utilizzare i referti patologici a livello di vetrino, che possono essere generati in modo scalabile durante i normali processi diagnostici. Una difficoltà fondamentale in questo contesto di supervisione debole è che i referti patologici descrivono riscontri diagnostici macroscopici, mentre le caratteristiche visive a livello di patch descrivono riscontri microscopici. Presentiamo Locked Image Multiple Instance PreTraining (LIMIT), che affronta questa discrepanza mantenendo fisso un encoder visivo preaddestrato e sottoponendo a fine-tuning soltanto l’encoder testuale: le rappresentazioni vettoriali dei referti fungono da query di cross-attention su insiemi di caratteristiche delle patch, producendo rappresentazioni dei vetrini condizionate dai referti e ottimizzate tramite InfoNCE. Con LIMIT realizziamo CONCH-Z, che allinea l’encoder testuale di CONCH v1.5 a 335k referti clinici. Valutato su 22 compiti che comprendono la classificazione a livello di patch, il rilevamento dei tumori e la classificazione in sottotipi a livello di vetrino, CONCH-Z ottiene prestazioni zero-shot all’avanguardia rispetto agli encoder VL addestrati su dataset curati di didascalie, riducendo al tempo stesso il divario rispetto ai modelli fondazionali a livello di vetrino addestrati con un numero di parametri e risorse di calcolo nettamente superiori. Il codice e il modello sono disponibili all’indirizzo https://github.com/mahmoodlab/LIMIT.