Oltre il confine delle evidenze: miraggio comportamentale durante la degradazione progressiva nei VLM medici

Abstract degli autori

I VLM per l’interpretazione delle immagini mediche vengono in genere valutati su input non degradati, nonostante la progressiva perdita di evidenze che può verificarsi in contesti clinici ad alto rischio. Gli studi esistenti sulla robustezza mostrano che le prestazioni possono peggiorare mentre il livello di confidenza resta alto, ma non stabiliscono quando una coppia modello-caso fino a quel momento affidabile smetta di comportarsi in modo affidabile. Introduciamo un metodo ancorato a una valutazione di riferimento che segue i casi inizialmente corretti attraverso la progressiva degradazione delle immagini per individuare un confine empirico delle evidenze. Definiamo «miraggio» la persistenza nel fornire una risposta a tale confine, indipendentemente dalla sua correttezza. Tra tre VLM valutati su tre dataset medici, solo MedGemma offre un insieme di casi inizialmente corretti sufficientemente ampio per l’analisi delle traiettorie. Su VQA-RAD, l’unico dataset in cui varia il testo della domanda, la possibilità di rispondere sulla sola base del linguaggio è associata sia alla correttezza iniziale (AUROC 0,677) sia alla scelta di fornire una risposta al confine (AUROC da 0,653 a 0,670). Il comportamento di MedGemma oltre il confine è eterogeneo e comprende miraggio diretto, recupero della risposta corretta, dissoluzione del miraggio, astensione costante e oscillazione, con tassi di miraggio dal 16,0 al 100,0% nelle diverse coppie dataset-modalità. Nonostante questa eterogeneità comportamentale, le sonde del flusso residuo decodificano al confine la scelta tra rispondere e astenersi con AUROC da 0,895 a 0,994 mediante validazione incrociata annidata. Questi risultati mostrano che la progressiva perdita di evidenze può produrre una persistente scelta di rispondere che l’entropia dell’output e il comportamento di astensione non rispecchiano in modo coerente. Ciò motiva valutazioni attente al confine delle evidenze, controlli sull’ordine delle opzioni e meccanismi di astensione migliori per modelli fondazionali medici affidabili che operano in condizioni di osservazione parziale.