The Pulse
Une étude révèle que les garde-fous de sécurité de l’IA peuvent produire des explications non étayées
Les chercheurs ont constaté que les explications accompagnant les décisions de sécurité multimodales contenaient souvent des faits visuels non étayés ou des interprétations erronées du caractère dangereux du contenu. Ils proposent une méthode d’entraînement qui récompense le recours à des outils visuels lorsqu’il améliore l’ancrage.

Les systèmes d’IA qui évaluent le caractère dangereux de contenus associant images et texte peuvent produire des explications contenant des détails visuels non étayés ou des interprétations erronées, même lorsque leur classification finale est juste, selon une prépublication.
Source arxiv.org
L’étude a examiné huit méthodes de garde-fou de sécurité générant des justifications, sur cinq modèles de base vision-langage et quatre jeux de données de sécurité. Les auteurs, affiliés à l’Institut de technologie de Harbin, ont soumis la prépublication à arXiv le 19 novembre.
Deux types d’erreurs
Les garde-fous de sécurité multimodaux classent les entrées associant images et texte comme nuisibles ou bénignes. Certains produisent aussi une justification expliquant le fondement de la décision, notamment si un risque peut provenir d’une image, du texte ou de leur relation.
Les chercheurs décrivent deux types d’hallucinations dans ces explications. Une hallucination visuelle introduit des faits que l’image ne permet pas d’étayer ; une hallucination d’attribution de sécurité donne au contenu observé une interprétation erronée quant à son caractère dangereux, au regard des annotations du jeu de données.
La prépublication relève le sur-signalement, dans lequel une justification attribue sans fondement un caractère nuisible à un contenu bénin, et le sous-signalement, dans lequel elle omet cette attribution pour un contenu nuisible. Elle relève également la mauvaise attribution, lorsqu’une explication attribue le caractère nuisible à la mauvaise cible, tout en identifiant correctement le contenu comme nuisible.
Comment les explications ont été vérifiées
Pour évaluer l’ancrage visuel, les chercheurs ont utilisé un modèle de langage afin d’extraire de chaque justification des propositions descriptives, en excluant les jugements subjectifs et les énoncés hypothétiques. Ils ont ensuite décomposé ces propositions en faits individuels portant sur des éléments visuels, des attributs et des relations. Un vérificateur a déterminé si chaque fait était étayé par l’image correspondante, produisant ainsi un score d’étayage visuel.
Pour l’attribution de sécurité, un évaluateur a extrait de la justification l’attribution correspondant à l’espace d’annotation du jeu de données concerné. Les chercheurs l’ont comparée à l’attribution de référence. Cette évaluation porte sur un problème différent de celui de l’ancrage visuel : une explication peut décrire fidèlement une image tout en présentant de façon erronée ses implications en matière de sécurité.
Les chercheurs ont constaté que ni les méthodes fondées sur des chaînes de traitement linguistiques ni celles utilisant des outils d’inspection visuelle n’éliminaient systématiquement les hallucinations. Ils ont également constaté qu’une meilleure précision de classification ne signifiait pas nécessairement que les explications correspondantes étaient mieux ancrées.
Outils visuels et entraînement
La prépublication examine une méthode appelée Think-with-Image, qui permet aux modèles d’inspecter des informations visuelles à l’aide d’opérations telles que le recadrage, la rotation et la reconnaissance optique de caractères avant de générer une justification. Dans leur analyse, les chercheurs ont constaté que les attributs et les relations essentiels à la sécurité étaient plus sujets aux erreurs que les faits visuels élémentaires, tandis que les méthodes recouraient rarement aux outils et effectuaient souvent des recadrages grossiers.
Les auteurs proposent une approche d’entraînement appelée Tool-Contrastive Grounding Reinforcement Learning, ou TCG-RL. Elle compare les justifications générées avec et sans outils visuels et récompense le recours aux outils lorsqu’il produit une explication mieux ancrée.
Les auteurs indiquent que cette approche a amélioré d’environ 20 % l’ancrage visuel des justifications par rapport à de solides méthodes de référence, tout en maintenant une précision comparable pour les prédictions de sécurité. Ils indiquent également qu’elle a produit des justifications plus concises et plus pertinentes pour la sécurité.
Sources
- Source originale · Prépublication When Safety Rationales Hallucinate: Diagnosing and Grounding Multimodal Safety Guards arXiv:2611.25793
Articles liés
- Les chercheurs de ToolPulse reconstituent les flux de travail d’agents d’IA à partir de traces de cache
- OpenAI affirme que les examens de sécurité ralentissent la sortie des modèles de pointe
- Un agent de recherche d’OpenAI a écrit des scripts pour ajouter un destinataire en copie d’un courriel sans autorisation
- Un rapport californien propose des contrôles indépendants obligatoires pour l’IA de pointe
- Le GAO affirme que quatre plateformes d’IA ont produit des plans d’attaque viables lors de tests