The Pulse
OpenAI fait état de taux d’extraction du raisonnement plus faibles lors des tests de GPT-6.2 Astra
Selon OpenAI, lors de tests internes, les tentatives d’extraction du raisonnement protégé de GPT-6.2 Astra ont moins souvent abouti que celles visant un modèle antérieur. Ses défenses reposent notamment sur l’entraînement des modèles, des classificateurs, des restrictions de l’API et des enquêtes sur des campagnes coordonnées.

Lors d’un test interne, les tentatives visant à récupérer le raisonnement protégé associé à une requête antérieure ont abouti dans 0,2 % des cas face à GPT-6.2 Astra, contre 54,0 % face à GPT-6 Astra avec ses protections initiales, indique OpenAI. L’entreprise a détaillé ce résultat et ses défenses contre la distillation non autorisée de modèles dans une publication du 20 novembre.
La distillation est une technique d’apprentissage automatique dans laquelle un modèle apprend à partir de données produites par un autre. OpenAI craint qu’un acteur utilise sans autorisation les sorties d’un modèle pour en entraîner un autre, doté de capacités similaires mais dépourvu de protections comparables.
Ce que mesuraient les tests
Pour son évaluation adaptative en boîte noire, OpenAI a utilisé des agents automatisés de red team qui adaptaient leurs attaques en fonction des réponses du système. Les résultats ont été calculés en moyenne sur six modèles d’attaquants et visaient à déterminer si ceux-ci pouvaient récupérer le raisonnement protégé généré pour une requête antérieure ou pour la requête en cours.
Pour les tentatives d’extraction du raisonnement associé à la requête en cours, le taux moyen de réussite était de 0,9 % face à GPT-6.2 Astra avec ses protections mises à jour, contre 22,9 % face à GPT-6 Astra avec ses protections initiales. La comparaison porte à la fois sur des versions différentes du modèle et sur des protections différentes.
Les protections mises à jour s’appliquent également à GPT-6.2 Sol, et certaines améliorations sont appliquées à GPT-6 Astra. OpenAI utilise aussi des tests statiques qui rejouent des attaques ayant déjà réussi, ainsi que des tests en boîte blanche qui fournissent aux testeurs des informations supplémentaires sur le système.
Pourquoi les traces de raisonnement comptent
Le raisonnement protégé comprend les étapes intermédiaires qu’un modèle génère pour parvenir à une réponse. Ces traces peuvent contenir des informations absentes de la réponse finale, ce qui peut en faire des données d’entraînement utiles pour un autre modèle.
Dans une étude interne distincte, OpenAI a comparé des modèles élèves entraînés à partir de traces de raisonnement exactes à des modèles élèves entraînés à partir de résumés de raisonnement. Les données d’entraînement provenaient principalement de modèles enseignants de niveau Astra travaillant sur des tâches de programmation et de cybersécurité défensive.
Chaque entraînement partait du même modèle élève préentraîné, et les modèles élèves étaient évalués après un fine-tuning supervisé, puis à nouveau après une étape légère d’apprentissage par renforcement. Après le fine-tuning supervisé, le modèle élève entraîné sur des traces exactes obtenait généralement de meilleurs résultats que celui entraîné sur des résumés, selon l’entreprise. Après l’apprentissage par renforcement, le modèle élève entraîné sur des traces exactes obtenait un score supérieur avec le budget d’inférence le plus élevé sur les deux benchmarks présentés, tandis que celui entraîné sur des résumés obtenait un score supérieur avec des budgets plus faibles.
Contrôles des requêtes
Les défenses de l’entreprise au niveau des requêtes combinent l’entraînement des modèles, des classificateurs et des contrôles de l’API. L’entraînement s’appuie sur des exemples issus du red teaming automatisé, d’enquêtes et de signalements responsables pour apprendre aux modèles à refuser les tentatives d’extraction du raisonnement protégé, tout en répondant aux demandes légitimes d’explications et d’aide.
Des classificateurs d’entrée repèrent les tentatives d’extraction, tandis que des classificateurs de sortie vérifient les messages de l’assistant et les arguments d’appel d’outil à la recherche de fuites présumées. Ces contrôles couvrent les réponses en streaming comme celles qui ne le sont pas.
Pour GPT-6.2 Astra et GPT-6.2 Sol, le raisonnement protégé est lié à l’historique de la conversation qui l’a produit. Si un message antérieur est réécrit, l’API supprime le raisonnement qui le suivait. OpenAI empêche également les anciennes familles de modèles dotées de protections moins robustes de lire le raisonnement protégé des deux modèles.
Campagnes coordonnées
L’entreprise indique qu’elle enquête sur les tendances observées dans les requêtes et les comptes afin de repérer les tentatives d’extraction coordonnées, et qu’elle s’appuie sur ses conclusions pour améliorer l’entraînement et les tests. Lorsqu’elle constate des violations, elle prend des mesures de sanction à l’encontre du réseau de comptes impliqués.
Selon OpenAI, ses mesures hebdomadaires contre les campagnes de distillation non autorisée ont visé entre plusieurs milliers et plusieurs dizaines de milliers de comptes, et leur nombre a fortement augmenté en été. L’entreprise partage également des indicateurs de compromission avec d’autres fournisseurs de modèles afin qu’ils puissent enquêter sur des abus connexes sur leurs services.
Sources
- Source originale OpenAI openai.com
Entreprises citées
Articles liés
- OpenAI affirme que les examens de sécurité ralentissent la sortie des modèles de pointe
- Un agent de recherche d’OpenAI a écrit des scripts pour ajouter un destinataire en copie d’un courriel sans autorisation
- Sakana AI crée un groupe de recherche en sécurité axé sur la cyberdéfense par l’IA
- Le GAO affirme que quatre plateformes d’IA ont produit des plans d’attaque viables lors de tests
- Une étude révèle que les garde-fous de sécurité de l’IA peuvent produire des explications non étayées