The Pulse
Studie zeigt: KI-Schutzsysteme können unbelegte Erklärungen liefern
Forschende stellten fest, dass Erklärungen zu multimodalen Sicherheitsentscheidungen oft unbelegte visuelle Fakten oder falsche Sicherheitsinterpretationen enthielten. Sie schlagen eine Trainingsmethode vor, die den Einsatz visueller Werkzeuge belohnt, wenn dadurch die visuelle Fundierung verbessert wird.

KI-Systeme, die die Sicherheit von Bild- und Textinhalten beurteilen, können Erklärungen mit unbelegten visuellen Details oder falschen Interpretationen liefern, selbst wenn ihre abschließende Klassifizierung richtig ist, wie ein Preprint zeigt.
Quelle arxiv.org
Die Studie untersuchte acht Methoden für Sicherheitsfilter, die Begründungen erzeugen, und zwar mit fünf Vision-Language-Backbones und vier Sicherheitsdatensätzen. Die Autoren, die dem Harbin Institute of Technology angehören, reichten den Preprint am 19. November bei arXiv ein.
Zwei Arten von Fehlern
Multimodale Sicherheitsfilter klassifizieren Bild- und Texteingaben als schädlich oder unbedenklich. Einige liefern außerdem eine Begründung für die Entscheidung, einschließlich der Frage, woher ein Risiko stammen könnte: aus einem Bild, einem Text oder ihrem Zusammenspiel.
Die Forschenden beschreiben zwei Arten von Halluzinationen in diesen Erklärungen. Eine visuelle Halluzination führt Fakten an, die durch das Bild nicht gestützt werden; bei einer Halluzination der Sicherheitszuordnung wird beobachteten Inhalten eine falsche Sicherheitsinterpretation im Verhältnis zu den Annotationen des Datensatzes gegeben.
Der Preprint benennt übermäßiges Markieren, bei dem eine Begründung unbedenklichen Inhalten unbelegt eine schädliche Bedeutung zuschreibt, und unzureichendes Markieren, bei dem sie schädliche Inhalte nicht als solche kennzeichnet. Außerdem benennt er Fehlzuordnungen, bei denen eine Erklärung die Schädlichkeit trotz korrekter Einstufung des Inhalts als schädlich dem falschen Ziel zuschreibt.
Wie die Erklärungen überprüft wurden
Um die visuelle Fundierung zu beurteilen, verwendeten die Forschenden ein Sprachmodell, um aus jeder Begründung beschreibende Teilsätze zu extrahieren. Subjektive Einschätzungen und hypothetische Aussagen ließen sie dabei außen vor. Anschließend zerlegten sie die Teilsätze in einzelne Fakten zu visuellen Merkmalen, Eigenschaften und Beziehungen. Ein Prüfmodell stellte fest, ob jedes Faktum durch das entsprechende Bild gestützt wurde, und ermittelte daraus einen Wert für visuelle Evidenz.
Für die Sicherheitszuordnung extrahierte ein Bewertungsmodell die Zuordnung aus der Begründung innerhalb des Annotationsraums des jeweiligen Datensatzes. Die Forschenden verglichen sie mit der tatsächlichen Zuordnung. Diese Prüfung betrifft ein anderes Problem als die visuelle Fundierung: Eine Erklärung kann ein Bild korrekt beschreiben und dennoch seine Auswirkungen auf die Sicherheit falsch darstellen.
Die Forschenden stellten fest, dass weder Methoden mit Sprachworkflows noch Methoden mit visuellen Inspektionswerkzeugen Halluzinationen zuverlässig beseitigten. Sie fanden außerdem heraus, dass eine höhere Klassifizierungsgenauigkeit nicht unbedingt bedeutete, dass die zugehörigen Erklärungen besser visuell fundiert waren.
Visuelle Werkzeuge und Training
Der Preprint untersucht eine Methode namens Think-with-Image, bei der Modelle visuelle Informationen mithilfe von Verfahren wie Zuschneiden, Drehen und optischer Zeichenerkennung prüfen können, bevor sie eine Begründung erstellen. In der Analyse der Forschenden waren sicherheitskritische Eigenschaften und Beziehungen fehleranfälliger als grundlegende visuelle Fakten. Zugleich setzten die Methoden Werkzeuge nur selten ein und wählten dabei oft grobe Bildausschnitte.
Die Autoren schlagen einen Trainingsansatz namens Tool-Contrastive Grounding Reinforcement Learning oder TCG-RL vor. Dabei werden Begründungen verglichen, die mit und ohne visuelle Werkzeuge erzeugt wurden; der Einsatz von Werkzeugen wird belohnt, wenn dadurch eine besser visuell fundierte Erklärung entsteht.
Die Autoren berichten, dass der Ansatz die visuelle Fundierung der Begründungen gegenüber starken Baselines um etwa 20 % verbesserte und zugleich eine vergleichbare Genauigkeit bei Sicherheitsvorhersagen beibehielt. Außerdem berichten sie, dass dadurch knappere und sicherheitsrelevantere Begründungen entstanden.
Quellen
- Originalquelle · Preprint When Safety Rationales Hallucinate: Diagnosing and Grounding Multimodal Safety Guards arXiv:2611.25793
Verwandte Meldungen
- TuringSpace-Test findet Lücken beim räumlichen Handeln führender KI-Modelle
- Forschende rekonstruieren mit ToolPulse Arbeitsabläufe von KI-Agenten anhand von Cache-Spuren
- OpenAI zufolge erledigten KI-Agenten 46 % der delegierten Aufgaben mit einem Arbeitsaufwand von zwei bis vier Stunden
- OpenAI sagt, Sicherheitsprüfungen verzögern die Veröffentlichung von Frontier-Modellen
- Vals AI startet öffentlichen Tracker für nicht ausgerichtetes Modellverhalten