The Pulse
Un nuovo articolo mette in dubbio che i punteggi di fedeltà della XAI misurino la fiducia
Un articolo di posizione pubblicato su arXiv sostiene che le metriche comunemente usate per le spiegazioni basate sull’importanza delle caratteristiche possono misurare in modo errato quanto fedelmente una spiegazione rispecchi un modello.
AI.info Team · Scritto con l’IA ·
Una spiegazione basata sull’importanza delle caratteristiche può ottenere un punteggio di fedeltà elevato anche quando non rispecchia il modo in cui un modello di IA utilizza i dati in ingresso. Un articolo di posizione presentato su arXiv il 24 settembre sostiene che questa discrepanza priva i ricercatori di un modo affidabile per giudicare se le spiegazioni corrispondano ai modelli che descrivono e, di conseguenza, se favoriscano la fiducia.
L’articolo, «Faithfulness Without Anchors», si concentra sulle metriche per l’importanza delle caratteristiche: metodi che assegnano punteggi alle parti di un dato in ingresso per indicare quanto ciascuna contribuisca alla previsione di un modello. I suoi sette autori sostengono che il problema non è soltanto che le spiegazioni possono essere infedeli. Anche i test usati per valutarne la fedeltà possono essere inaffidabili o misurare qualcosa di diverso dal rapporto tra una spiegazione e il modello.
Quando la rimozione delle caratteristiche altera il test
Molti test di fedeltà rimuovono o modificano alcune caratteristiche, poi osservano come cambia il risultato del modello. Il presupposto è che rimuovere una caratteristica indicata come importante debba incidere sulla previsione più che rimuoverne una indicata come meno importante. Spesso i ricercatori riassumono questi cambiamenti in un unico punteggio basato sull’area sottesa a una curva o sulla correlazione della curva con la graduatoria delle caratteristiche.
Gli autori individuano cinque punti deboli in questo approccio: la ricerca si concentra in misura sproporzionata sulla classificazione anziché sulla regressione; alcune misure confondono la fedeltà con altre qualità delle spiegazioni; la rimozione delle caratteristiche dipende da valori di riferimento arbitrari; le perturbazioni possono produrre dati in ingresso estranei a quelli per cui il modello è stato addestrato; e i comuni punteggi basati sulla correlazione e sull’area possono premiare andamenti che non corrispondono al significato di fedeltà che si intende misurare.
Quest’ultimo problema può produrre punteggi ingannevolmente elevati. Negli esempi riportati nell’articolo, una misura di correlazione può assegnare lo stesso punteggio perfetto a curve di perturbazione diverse, anche quando una riflette una spiegazione valida e un’altra no. Una misura basata sull’area può inoltre premiare un caso in cui soltanto la caratteristica al primo posto nella graduatoria incide sulla previsione, benché, secondo gli autori, una graduatoria fedele dovrebbe rispecchiare il contributo proporzionale delle diverse caratteristiche.
I dati fuori distribuzione complicano la valutazione
La rimozione delle caratteristiche può creare dati in ingresso diversi da tutti quelli incontrati dal modello durante l’addestramento. Un classificatore può rispondere a questi dati sconosciuti con previsioni imprevedibili o eccessivamente sicure, facendo venir meno il presupposto che la sua sicurezza debba diminuire costantemente man mano che scompaiono informazioni importanti. L’articolo sostiene che una metrica fondata su questo presupposto non può valutare in modo affidabile la spiegazione quando il modello stesso si comporta in modo imprevedibile sotto perturbazione.
Per illustrare il problema, gli autori descrivono un classificatore di immagini ResNet-18 addestrato su HAM10000, un dataset di sette classi di lesioni cutanee. Nel loro esempio, il modello tratta una classe come categoria predefinita e continua a classificare con elevata sicurezza un’immagine in quella classe anche quando l’immagine è ridotta a chiazze nere. L’esempio mostra un limite della configurazione del test, non una valutazione clinica del classificatore né una prova relativa alle decisioni mediche.
Quattro direzioni proposte per i test della XAI
«In questo articolo di posizione delineiamo cinque principali carenze delle attuali metriche di fedeltà e proponiamo quattro possibili direzioni di ricerca per rafforzarne l’affidabilità», scrivono Marco Zullich e sei coautori. Le loro proposte comprendono la verifica delle spiegazioni su modelli con un’incertezza meglio calibrata e un comportamento più affidabile sui dati fuori distribuzione; la valutazione delle spiegazioni per classi diverse da quella scelta dal modello come previsione; lo sviluppo di metriche adatte alla regressione; e l’allineamento di ciascuna metrica con ciò che la fedeltà dovrebbe misurare.
La distinzione tra classificazione e regressione è importante perché il test abituale non si trasferisce dall’una all’altra in modo ovvio. Nella classificazione, i ricercatori possono osservare le variazioni della sicurezza con cui il modello assegna una classe. Nella regressione, devono decidere se misurare le variazioni del valore previsto o quelle dell’errore di previsione: due questioni diverse, sostengono gli autori, che possono produrre punteggi difficili da confrontare tra dataset o esempi.
Una tesi più circoscritta di un verdetto sulla spiegabilità
Si tratta di un articolo di posizione sulla misurazione delle spiegazioni basate sull’importanza delle caratteristiche, non di un nuovo studio sugli utenti che dimostri che le spiegazioni non riescono mai a generare fiducia. L’apertura riassume lavori precedenti secondo cui le spiegazioni possono incoraggiare un affidamento eccessivo su previsioni errate, ma l’argomentazione tecnica si concentra sulla capacità delle metriche di fedeltà esistenti di suffragare affermazioni sulla corrispondenza tra una spiegazione e un modello.
Gli autori delimitano anche l’ambito della loro analisi: non esaminano altri compiti della XAI, tra cui le spiegazioni controfattuali e i metodi basati sui concetti. La distinzione con cui concludono è netta: a loro avviso, il settore non dispone di un metodo fondato su principi per valutare la fedeltà. Finché questa valutazione non migliorerà, un punteggio associato a una spiegazione potrebbe dire meno sulla sua affidabilità di quanto la precisione del punteggio lasci intendere.