PRISM: Pathology Reliability In Scarce-label Medicine. Un benchmark a livello di tile per i modelli fondazionali di patologia

Abstract degli autori

I modelli fondazionali di patologia vengono generalmente valutati in base alle prestazioni di classificazione quando sono disponibili tutte le etichette e su set di test in distribuzione. Raramente, invece, si valutano insieme la calibrazione, il comportamento quando le etichette sono poche e la robustezza ai cambiamenti di distribuzione tra istituzioni. Presentiamo PRISM, un benchmark a livello di tile che misura l’affidabilità dei modelli fondazionali di patologia lungo quattro assi: scelta del modello, percentuale di etichette, calibrazione e trasferimento fuori distribuzione. PRISM valuta otto modelli fondazionali (CLIP, PLIP, CONCH, UNI, Virchow2, GigaPath, H-Optimus-0, Midnight) su sei dataset a livello di tile, con sei percentuali di etichette (dall’1% al 100%) e tre seed (864 esecuzioni di probe lineari). La valutazione è estesa con uno studio su cinque ospedali di Camelyon17 che comprende 20 coppie di trasferimento direzionali. Emergono quattro fenomeni. (i) Con la supervisione completa, la posizione in classifica per AUROC predice in modo coerente, nei diversi dataset, quella per calibrazione dopo il temperature scaling (rho di Spearman = 0,52, I^2 = 0%); con l’1% delle etichette, invece, la relazione diventa specifica del dataset (rho = -0,24, I^2 = 67%). (ii) Nei dataset più difficili, al di sotto di una percentuale di etichette specifica per ciascun dataset, il probe lineare finisce per predire un’unica classe. (iii) Il fatto che ulteriori etichette del dominio di origine migliorino o peggiorino la calibrazione nel dominio di destinazione dipende da quanto bene si trasferisce il probe: sotto un’AUROC di trasferimento di circa 0,85, più etichette peggiorano l’ECE nel dominio di destinazione nell’86-88% delle combinazioni. (iv) Il temperature scaling non riduce l’ECE in 49 delle 288 celle, la calibrazione errata si manifesta prevalentemente come una fiducia troppo bassa e una temperatura adattata sul dominio di origine è dannosa quando il trasferimento fallisce. PRISM è rilasciato come pacchetto installabile con pip, con risultati di riferimento per tutte le 288 celle. Codice e dati: https://github.com/alicemkyn/prism-benchmark