The Pulse
Estudo constata que filtros de segurança de IA podem dar explicações sem respaldo
Pesquisadores descobriram que as explicações que acompanham decisões multimodais de segurança muitas vezes continham informações visuais sem respaldo ou interpretações incorretas de segurança. Eles propõem um método de treinamento que recompensa o uso de ferramentas visuais quando isso melhora a fundamentação.

Sistemas de IA que avaliam a segurança de conteúdo composto por imagem e texto podem produzir explicações com detalhes visuais sem respaldo ou interpretações incorretas, mesmo quando a classificação final está correta, segundo um preprint.
Fonte arxiv.org
O estudo examinou oito métodos de filtros de segurança que geram justificativas, com cinco backbones de visão e linguagem e quatro conjuntos de dados de segurança. Os autores, afiliados ao Harbin Institute of Technology, enviaram o preprint ao arXiv em 19 de novembro.
Dois tipos de erro
Filtros multimodais de segurança classificam entradas de imagem e texto como nocivas ou inofensivas. Alguns também produzem uma justificativa para explicar a base da decisão, inclusive de onde pode vir um risco: da imagem, do texto ou da relação entre eles.
Os pesquisadores descrevem dois tipos de alucinação nessas explicações. Uma alucinação visual introduz informações que não têm respaldo na imagem; uma alucinação de atribuição de segurança dá ao conteúdo observado uma interpretação de segurança incorreta em relação às anotações do conjunto de dados.
O preprint identifica o excesso de sinalizações, em que uma justificativa atribui sem respaldo um caráter nocivo a conteúdo inofensivo, e a falta de sinalizações, em que omite a atribuição de caráter nocivo a conteúdo nocivo. Também identifica a atribuição equivocada, quando uma explicação atribui o caráter nocivo ao alvo errado, apesar de identificar corretamente o conteúdo como nocivo.
Como as explicações foram verificadas
Para avaliar a fundamentação visual, os pesquisadores usaram um modelo de linguagem para extrair orações descritivas de cada justificativa, excluindo avaliações subjetivas e afirmações hipotéticas. Em seguida, dividiram as orações em fatos visuais, atributos e relações individuais. Um verificador determinou se cada fato tinha respaldo na imagem correspondente, gerando uma pontuação de evidência visual.
Para avaliar a atribuição de segurança, um avaliador extraiu a atribuição da justificativa dentro do espaço de anotações do conjunto de dados pertinente. Os pesquisadores a compararam com a atribuição de referência. Essa avaliação aborda um problema diferente da fundamentação visual: uma explicação pode descrever uma imagem com precisão e, ainda assim, apresentar incorretamente suas implicações de segurança.
Os pesquisadores descobriram que nem os métodos baseados em fluxos de trabalho de linguagem nem os métodos que usam ferramentas de inspeção visual eliminaram as alucinações de forma consistente. Também descobriram que uma maior precisão de classificação não significava necessariamente que as explicações correspondentes tivessem melhor fundamentação.
Ferramentas visuais e treinamento
O preprint examina um método conhecido como Think-with-Image, no qual os modelos podem inspecionar informações visuais usando operações como recorte, rotação e reconhecimento óptico de caracteres antes de gerar uma justificativa. Na análise dos pesquisadores, atributos e relações críticos para a segurança eram mais propensos a erros do que fatos visuais básicos, enquanto os métodos usavam ferramentas com pouca frequência e muitas vezes faziam recortes grosseiros.
Os autores propõem uma abordagem de treinamento chamada Tool-Contrastive Grounding Reinforcement Learning, ou TCG-RL. Ela compara justificativas geradas com e sem ferramentas visuais e recompensa o uso dessas ferramentas quando ele resulta em uma explicação com melhor fundamentação.
Os autores afirmam que a abordagem melhorou em aproximadamente 20% a fundamentação visual das justificativas em relação a baselines fortes, mantendo uma precisão comparável nas previsões de segurança. Também afirmam que ela produziu justificativas mais concisas e relevantes para a segurança.
Fontes
- Fonte original · Preprint When Safety Rationales Hallucinate: Diagnosing and Grounding Multimodal Safety Guards arXiv:2611.25793
Notícias relacionadas
- Teste do TuringSpace identifica lacunas de ação espacial nos principais modelos de IA
- Pesquisadores do ToolPulse reconstroem fluxos de trabalho de agentes de IA por meio de rastros de cache
- OpenAI afirma que agentes concluíram 46% das tarefas delegadas que exigiam de duas a quatro horas
- OpenAI diz que revisões de segurança estão atrasando lançamentos de modelos de fronteira
- Vals AI lança rastreador público de comportamentos desalinhados de modelos