ReuScope: audit del riuso dei dati e della sensibilità della valutazione in Capsule Vision 2024

Abstract degli autori

Sviluppiamo ReuScope, un protocollo per sottoporre ad audit il riuso dei dati e la sensibilità della valutazione, usando Capsule Vision 2024 come caso di studio. Il protocollo combina misure delle relazioni tra i dati con due confronti: modificare la popolazione di valutazione mantenendo fisse le predizioni e modificare i dati di training mantenendo fissa la valutazione. File identici byte per byte si trovano sia nella partizione pubblica di training sia in quella di validazione, e tutte le 41 registrazioni di Kvasir-Capsule da cui provengono fotogrammi compaiono in entrambe le partizioni. La condivisione delle registrazioni di origine dimostra una sovrapposizione tra gli split; la mancanza di identificativi dei pazienti comuni alle diverse registrazioni impedisce di contare i pazienti unici condivisi. Su dieci seed appaiati, rimuovere tutte le righe di training attribuite a Kvasir-Capsule, insieme a cinque righe di altre fonti segnalate come corrispondenze approssimative con Kvasir-Capsule, riduce l’accuratezza bilanciata sulla validazione pubblica dall’82,5% al 61,2%. Valutando gli stessi modelli addestrati sulle righe di validazione delle altre fonti, il confronto si inverte: la rimozione migliora l’accuratezza bilanciata di 1,38 punti percentuali. Il calo sulla validazione pubblica misura la sensibilità alla rimozione della fonte, non l’entità dell’inflazione causata dal leakage. I controlli appaiati mostrano che la dimensione del campione e il numero di esempi per classe, da soli, non spiegano le differenze di punteggio osservate. Un esperimento esplorativo rimuove i campioni di training vicini ai fotogrammi di validazione che hanno corrispondenze ravvicinate nel training, oppure altrettante righe di training distanti, e produce, rispetto a fotogrammi non segnalati appaiati, una stima della differenza delle differenze pari a -0,355 punti percentuali nella probabilità della classe vera; l’intervallo t per dati appaiati relativo all’accuratezza comprende lo zero. La procedura risultante distingue il riuso osservato dalla sensibilità condizionale delle prestazioni e specifica, per ciascuna conclusione, la popolazione, il supporto delle classi e l’unità di incertezza.