Convinzione senza prove: la stabilità del verdetto non dipende dall’ancoraggio visivo nei modelli visione-linguaggio per la medicina

Abstract degli autori

I modelli visione-linguaggio impiegati per rispondere a quesiti medici possono formulare diagnosi corrette senza usare l’immagine diagnostica, basandosi invece sul caso clinico descritto. Ci chiediamo se questo emerga dalla \emph{fermezza} con cui un modello sostiene la propria risposta: difende una diagnosi ricavata da un segnaposto vuoto con la stessa tenacia di una ricavata da una vera immagine medica? Combinando un protocollo di sostituzione delle immagini con due livelli di pressione avversariale su 60 quesiti dell’Esame di Stato italiano, non troviamo prove che i verdetti non fondati sull’immagine siano più fragili. In un’analisi per quesiti appaiati, un consenso inventato (L4) fa cambiare il 94,4\% dei verdetti formulati con l’immagine reale e il 98,1\% di quelli formulati senza ($Δ= +0.037$; limite superiore unilaterale al 95\% $+0.105$); un dubbio privo di contenuto (L1) fa cambiare il 62,5\% e il 51,8\% dei verdetti ($Δ= -0.107$, IC al 95\% $[-0.209, -0.001]$), con una stima puntuale che va nella direzione opposta a quella necessaria per rilevare l’ancoraggio all’immagine. I due livelli producono tuttavia \emph{dinamiche} opposte: con L4 il modello cambia risposta una volta, sempre scegliendo esattamente l’opzione a favore della quale viene argomentato (110/110 cambiamenti al primo turno), e poi non la modifica più, con una media di 1,9 cambiamenti di verdetto in dieci turni; con L1 non si stabilizza mai, con una media di 7,4 cambiamenti. L’instabilità provocata da un dubbio privo di contenuto riflette l’ambiguità intrinseca dei quesiti, non la disponibilità delle prove, e quindi non è un segnale di ancoraggio all’immagine. I cambiamenti di risposta sono quasi tutti peggiorativi (99/100 considerando entrambi i livelli). Il modello non è ignaro della mancanza di prove: nella condizione iniziale segnala l’immagine vuota in 35 quesiti su 60 e si astiene dal rispondere in 4–6 casi. Ma queste astensioni vengono meno di fronte alla pressione. Nessuno dei segnali epistemici che un utente potrebbe ragionevolmente consultare permette di distinguere una diagnosi fondata sull’immagine da una confabulata.