Modelli diversi, fallimenti condivisi: verifica dei pool di encoder congelati per la segmentazione medica

Abstract degli autori

L’accuratezza media della segmentazione e il numero di modelli non rivelano se i modelli falliscono sugli stessi casi. Presentiamo CoFailMed, un audit dei fallimenti correlati nei pool di encoder preaddestrati per la segmentazione medica. Su cinque task 2D, valutiamo 11 encoder preaddestrati pubblici (un campione controllato, non un censimento) usando feature congelate e readout $1\times 1$ addestrati separatamente, con quattro seed per encoder. Le coppie che condividono un checkpoint presentano la correlazione media per caso più alta dei punteggi Dice. Un’analisi ampliata su 17 encoder mostra che checkpoint distinti all’interno della stessa famiglia di encoder restano più correlati delle coppie tra famiglie diverse. Alla soglia aggregata del 33º percentile del Dice, i pool di quattro membri selezionati da encoder distinti hanno dimensioni effettive medie comprese tra 1,56 e 2,92, stimate dalle correlazioni dei fallimenti nei pool in cui ogni membro ha un numero sufficiente di fallimenti e successi. Nel pool primario, readout più articolati e il fine-tuning riducono il divario nella correlazione dei punteggi Dice tra le coppie che condividono un checkpoint (o la versione DINOv2-B/S) e tutte le altre coppie. Eppure, la dipendenza tra encoder diversi può aumentare, e il fine-tuning non incrementa in modo sistematico la dimensione effettiva del pool alle soglie del 33º percentile ricalcolate per ogni ricetta di training. Un divario minore tra i gruppi può coesistere con una maggiore dipendenza. La valutazione dei pool dovrebbe quindi riportare la dipendenza assoluta e la dimensione effettiva specifica per soglia, insieme all’accuratezza e alla dimensione nominale del pool. Il rilascio di CoFailMed fornisce tracce allineate per caso, script di analisi e codice dello studio per riprodurre i risultati centrali dell’audit.