Vai al contenuto
AI.info

The Pulse

Uno studio rileva che i sistemi di sicurezza dell’IA possono fornire spiegazioni non supportate

I ricercatori hanno rilevato che le spiegazioni associate alle decisioni di sicurezza multimodali contenevano spesso dettagli visivi non supportati o interpretazioni di sicurezza errate. Propongono un metodo di addestramento che premia l’uso di strumenti visivi quando migliora il grounding.

Uno studio rileva che i sistemi di sicurezza dell’IA possono fornire spiegazioni non supportate

I sistemi di IA che valutano la sicurezza di contenuti composti da immagini e testo possono produrre spiegazioni con dettagli visivi non supportati o interpretazioni errate, anche quando la classificazione finale è corretta, secondo quanto rilevato da un preprint.

Fonte arxiv.org

Lo studio ha esaminato otto metodi di generazione di motivazioni per sistemi di sicurezza, su cinque modelli di base vision-language e quattro dataset di sicurezza. Gli autori, affiliati all’Harbin Institute of Technology, hanno inviato il preprint ad arXiv il 19 novembre.

Due tipi di errore

I sistemi di sicurezza multimodali classificano gli input composti da immagini e testo come dannosi o innocui. Alcuni producono anche una motivazione che spiega le basi della decisione, indicando, per esempio, da dove può derivare un rischio: da un’immagine, dal testo o dalla loro relazione.

I ricercatori descrivono due tipi di allucinazione in queste spiegazioni. Un’allucinazione visiva introduce fatti che l’immagine non supporta; un’allucinazione nell’attribuzione di sicurezza assegna ai contenuti osservati un’interpretazione di sicurezza errata rispetto alle annotazioni del dataset.

Il preprint individua l’eccesso di segnalazioni, in cui una motivazione attribuisce senza fondamento una natura dannosa a contenuti innocui, e la carenza di segnalazioni, in cui omette l’attribuzione di dannosità a contenuti dannosi. Individua anche l’attribuzione errata, in cui una spiegazione assegna la dannosità al bersaglio sbagliato pur identificando correttamente il contenuto come dannoso.

Come sono state verificate le spiegazioni

Per valutare il grounding visivo, i ricercatori hanno usato un modello linguistico per estrarre da ogni motivazione proposizioni descrittive, escludendo giudizi soggettivi e affermazioni ipotetiche. Hanno poi scomposto le proposizioni in singoli fatti visivi, attributi e relazioni. Un verificatore ha stabilito se ciascun fatto fosse supportato dall’immagine corrispondente, producendo un punteggio di evidenza visiva.

Per l’attribuzione di sicurezza, un sistema di valutazione ha estratto dalla motivazione l’attribuzione nello spazio delle annotazioni del dataset pertinente. I ricercatori l’hanno confrontata con l’attribuzione di riferimento. Questa valutazione affronta un problema diverso dal grounding visivo: una spiegazione può descrivere accuratamente un’immagine e tuttavia darne un resoconto errato quanto alle implicazioni per la sicurezza.

I ricercatori hanno rilevato che né i metodi basati su flussi di lavoro linguistici né quelli che impiegano strumenti di ispezione visiva eliminavano le allucinazioni in modo costante. Hanno inoltre constatato che una maggiore accuratezza di classificazione non significava necessariamente che le spiegazioni a supporto fossero meglio ancorate alle evidenze.

Strumenti visivi e addestramento

Il preprint esamina un metodo noto come Think-with-Image, in cui i modelli possono ispezionare le informazioni visive mediante operazioni come ritaglio, rotazione e riconoscimento ottico dei caratteri prima di generare una motivazione. Nell’analisi dei ricercatori, gli attributi e le relazioni fondamentali per la sicurezza erano più soggetti a errori dei fatti visivi di base, mentre i metodi usavano raramente gli strumenti e spesso ricorrevano a ritagli grossolani.

Gli autori propongono un approccio di addestramento chiamato Tool-Contrastive Grounding Reinforcement Learning, o TCG-RL. Il metodo confronta le motivazioni generate con e senza strumenti visivi e premia l’uso degli strumenti quando produce una spiegazione meglio ancorata alle evidenze.

Gli autori riferiscono che l’approccio ha migliorato di circa il 20% il grounding visivo delle motivazioni rispetto a solide baseline, mantenendo un’accuratezza comparabile nelle previsioni di sicurezza. Riferiscono inoltre che ha prodotto motivazioni più concise e pertinenti alla sicurezza.

Fonti

  1. Fonte originale · Preprint When Safety Rationales Hallucinate: Diagnosing and Grounding Multimodal Safety Guards arXiv:2611.25793

Notizie correlate

Esplora

Altri articoli