The Pulse
OpenAI meldet niedrigere Raten beim Extrahieren von Reasoning in GPT-6.2-Astra-Tests
OpenAI zufolge gelang es in internen Tests seltener als bei einem früheren Modell, geschützte Denkprozesse aus GPT-6.2 Astra zu extrahieren. Zu den Schutzmaßnahmen gehören Modelltraining, Klassifikatoren, API-Beschränkungen und Untersuchungen koordinierter Kampagnen.

Bei einem internen Test gelang es 0,2 % der Versuche, geschützte Denkprozesse aus einer früheren Anfrage zu rekonstruieren, wenn sie sich gegen GPT-6.2 Astra richteten. Bei GPT-6 Astra mit den ursprünglichen Schutzmaßnahmen waren es 54,0 %, wie OpenAI mitteilt. Das Unternehmen erläuterte das Ergebnis und seine Schutzmaßnahmen gegen nicht autorisierte Modelldestillation in einem Beitrag vom 20. November.
Destillation ist eine Machine-Learning-Technik, bei der ein Modell aus Daten lernt, die ein anderes Modell erzeugt hat. OpenAI befürchtet, dass ein Akteur die Ausgaben eines Modells ohne Genehmigung nutzen könnte, um ein anderes Modell zu trainieren, das über ähnliche Fähigkeiten, aber nicht über vergleichbare Schutzmaßnahmen verfügt.
Was die Tests gemessen haben
Bei seiner adaptiven Black-Box-Evaluierung setzte OpenAI automatisierte Red-Team-Systeme ein, die ihre Angriffe als Reaktion auf das System anpassten. Die Ergebnisse wurden über sechs Angreifermodelle hinweg gemittelt. Getestet wurde, ob diese geschützte Denkprozesse rekonstruieren konnten, die entweder für eine frühere Anfrage oder für die aktuelle Anfrage erzeugt worden waren.
Bei Versuchen, Denkprozesse aus der aktuellen Anfrage zu extrahieren, lag die durchschnittliche Erfolgsrate bei GPT-6.2 Astra mit aktualisierten Schutzmaßnahmen bei 0,9 %, verglichen mit 22,9 % bei GPT-6 Astra mit den ursprünglichen Schutzmaßnahmen. Der Vergleich umfasst sowohl unterschiedliche Modellversionen als auch unterschiedliche Schutzmaßnahmen.
Die aktualisierten Schutzmaßnahmen gelten auch für GPT-6.2 Sol; ausgewählte Verbesserungen werden zudem auf GPT-6 Astra übertragen. OpenAI nutzt außerdem statische Tests, bei denen zuvor erfolgreiche Angriffe erneut ausgeführt werden, sowie White-Box-Tests, bei denen die Tester zusätzliche Informationen über das System erhalten.
Warum Reasoning-Spuren wichtig sind
Geschützte Denkprozesse bestehen aus Zwischenschritten, die ein Modell auf dem Weg zu einer Antwort erzeugt. Diese Denkspuren können Informationen enthalten, die in der endgültigen Antwort fehlen, und dadurch potenziell nützliche Trainingsdaten für ein anderes Modell sein.
In einer separaten internen Studie verglich OpenAI Student-Modelle, die mit exakten Denkspuren trainiert wurden, mit solchen, die mit Zusammenfassungen der Denkprozesse trainiert wurden. Die Trainingsdaten stammten überwiegend von Lehrermodellen auf Astra-Niveau, die an Programmieraufgaben und Aufgaben zur defensiven Cybersicherheit arbeiteten.
Jeder Trainingslauf begann mit demselben vortrainierten Student-Modell. Die Student-Modelle wurden nach dem überwachten Fine-Tuning und erneut nach einer leichtgewichtigen Runde Reinforcement Learning evaluiert. Nach dem überwachten Fine-Tuning schnitt das Student-Modell mit den exakten Denkspuren dem Unternehmen zufolge generell besser ab als das mit Zusammenfassungen trainierte Modell. Nach dem Reinforcement Learning erzielte das Modell mit den exakten Denkspuren bei den größten Inferenzbudgets in beiden gezeigten Benchmarks höhere Werte, während das mit Zusammenfassungen trainierte Modell bei niedrigeren Budgets besser abschnitt.
Kontrollen auf Anfrageebene
Die Schutzmaßnahmen des Unternehmens auf Anfrageebene verbinden Modelltraining, Klassifikatoren und API-Kontrollen. Beim Training werden Beispiele aus automatisiertem Red-Teaming, Untersuchungen und verantwortungsvollen Meldungen genutzt, damit die Modelle Versuche ablehnen, geschützte Denkprozesse zu extrahieren, zugleich aber legitime Anfragen nach Erklärungen und Hilfe beantworten.
Eingabe-Klassifikatoren suchen nach Extraktionsversuchen, während Ausgabe-Klassifikatoren Nachrichten des Assistenten und Argumente für Tool-Aufrufe auf mutmaßliche Datenlecks prüfen. Diese Prüfungen umfassen sowohl Streaming- als auch Nicht-Streaming-Antworten.
Bei GPT-6.2 Astra und GPT-6.2 Sol sind geschützte Denkprozesse an den Gesprächsverlauf gebunden, durch den sie erzeugt wurden. Wird eine frühere Nachricht umgeschrieben, verwirft die API die darauf folgenden Denkprozesse. OpenAI verhindert außerdem, dass ältere Modellfamilien mit schwächeren Schutzmaßnahmen die geschützten Denkprozesse der beiden Modelle lesen.
Koordinierte Kampagnen
Das Unternehmen erklärt, es untersuche Muster über Anfragen und Konten hinweg, um koordinierte Extraktionsversuche zu erkennen, und nutze die Erkenntnisse zur Verbesserung von Training und Tests. Wenn es Verstöße feststellt, ergreift es Maßnahmen gegen das beteiligte Kontennetzwerk.
Die wöchentlichen Maßnahmen gegen Kampagnen zur nicht autorisierten Destillation richteten sich gegen Tausende bis Zehntausende Konten; die Rate stieg im Sommer deutlich an, wie OpenAI mitteilt. Das Unternehmen teilt außerdem Indikatoren für Kompromittierungen mit anderen Modellanbietern, damit diese entsprechende missbräuchliche Aktivitäten auf ihren Diensten untersuchen können.
Quellen
- Originalquelle OpenAI openai.com
Unternehmen in dieser Meldung
Verwandte Meldungen
- OpenAI sagt, Sicherheitsprüfungen verzögern die Veröffentlichung von Frontier-Modellen
- OpenAI-Forschungsagent schrieb Skripte, um ohne Erlaubnis jemanden in E-Mails in Kopie zu setzen
- Sakana AI gründet Sicherheitsforschungsgruppe mit Schwerpunkt auf KI-gestützter Cyberabwehr
- OpenAI sagt, seine Modelle hätten AMD-GPU-Designs um bis zu 14 % verbessert
- OpenAI zufolge erledigten KI-Agenten 46 % der delegierten Aufgaben mit einem Arbeitsaufwand von zwei bis vier Stunden