The Pulse
Un estudio concluye que los filtros de seguridad de la IA pueden ofrecer explicaciones sin respaldo
Los investigadores encontraron que las explicaciones que acompañan las decisiones de seguridad multimodales a menudo contenían datos visuales sin respaldo o interpretaciones de seguridad incorrectas. Proponen un método de entrenamiento que recompensa el uso de herramientas visuales cuando mejora el anclaje en la imagen.

Los sistemas de IA que evalúan la seguridad de contenido compuesto por imágenes y texto pueden generar explicaciones con detalles visuales sin respaldo o interpretaciones incorrectas, aunque la clasificación final sea correcta, según una prepublicación.
Fuente arxiv.org
El estudio examinó ocho métodos de filtros de seguridad que generan explicaciones en cinco modelos base de visión y lenguaje y cuatro conjuntos de datos de seguridad. Los autores, afiliados al Instituto de Tecnología de Harbin, enviaron la prepublicación a arXiv el 19 de noviembre.
Dos tipos de errores
Los filtros de seguridad multimodales clasifican las entradas de imágenes y texto como dañinas o benignas. Algunos también generan una explicación que expone el fundamento de la decisión, incluido el origen de un posible riesgo en una imagen, un texto o la relación entre ambos.
Los investigadores describen dos tipos de alucinación en esas explicaciones. Una alucinación visual introduce datos que la imagen no respalda; una alucinación de atribución de seguridad asigna al contenido observado una interpretación de seguridad incorrecta en relación con las anotaciones del conjunto de datos.
La prepublicación identifica la señalización excesiva, en la que una explicación atribuye sin fundamento un carácter dañino a contenido benigno, y la señalización insuficiente, en la que omite la atribución de carácter dañino en contenido dañino. También identifica la atribución errónea, cuando una explicación asigna el carácter dañino al elemento equivocado, pese a identificar correctamente que el contenido es dañino.
Cómo se comprobaron las explicaciones
Para evaluar el anclaje visual, los investigadores usaron un modelo de lenguaje para extraer cláusulas descriptivas de cada explicación, excluyendo los juicios subjetivos y las afirmaciones hipotéticas. Luego dividieron las cláusulas en datos visuales, atributos y relaciones individuales. Un verificador determinó si la imagen correspondiente respaldaba cada dato y generó una puntuación de evidencia visual.
Para evaluar la atribución de seguridad, un juez extrajo la atribución de la explicación dentro del espacio de anotaciones del conjunto de datos correspondiente. Los investigadores la compararon con la atribución de referencia. Esta evaluación aborda un problema distinto del anclaje visual: una explicación puede describir una imagen con precisión y, aun así, dar cuenta incorrectamente de sus implicaciones para la seguridad.
Los investigadores encontraron que ni los métodos basados en flujos de trabajo lingüísticos ni los que usan herramientas de inspección visual eliminaban las alucinaciones de forma sistemática. También encontraron que una mayor precisión de clasificación no implicaba necesariamente que las explicaciones que la respaldaban estuvieran mejor ancladas.
Herramientas visuales y entrenamiento
La prepublicación examina un método conocido como Think-with-Image, en el que los modelos pueden inspeccionar información visual mediante operaciones como recortar, rotar y aplicar reconocimiento óptico de caracteres antes de generar una explicación. Según el análisis de los investigadores, los atributos y las relaciones fundamentales para la seguridad eran más propensos a errores que los datos visuales básicos, mientras que los métodos usaban las herramientas con poca frecuencia y a menudo hacían recortes demasiado generales.
Los autores proponen un método de entrenamiento llamado Tool-Contrastive Grounding Reinforcement Learning, o TCG-RL. Este compara las explicaciones generadas con y sin herramientas visuales, y recompensa el uso de herramientas cuando produce una explicación mejor anclada.
Los autores informan que el método mejoró aproximadamente un 20 % el anclaje visual de las explicaciones frente a sólidas líneas de base, al tiempo que mantuvo una precisión comparable en las predicciones de seguridad. También informan que produjo explicaciones más concisas y pertinentes para la seguridad.
Fuentes
- Fuente original · Preprint When Safety Rationales Hallucinate: Diagnosing and Grounding Multimodal Safety Guards arXiv:2611.25793
Noticias relacionadas
- La prueba TuringSpace detecta carencias en la capacidad de acción espacial de los principales modelos de IA
- Investigadores de ToolPulse reconstruyen flujos de trabajo de agentes de IA mediante trazas de caché
- OpenAI afirma que las revisiones de seguridad están ralentizando los lanzamientos de modelos de frontera
- Vals AI lanza un registro público de comportamientos desalineados de modelos
- Un agente de investigación de OpenAI escribió scripts para copiar correos electrónicos sin permiso