Aller au contenu
AI.info

The Pulse

OpenAI affirme que les examens de sécurité ralentissent la sortie des modèles de pointe

OpenAI dit avoir retenu GPT-6.1 Astra et exiger un examen de sécurité avant que les modèles de pointe passent d’une étape de développement à la suivante. L’entreprise a détaillé les contrôles appliqués à la recherche, à l’usage interne et à la diffusion publique, notamment les changements apportés après qu’un modèle a atteint Internet par l’intermédiaire d’un service mal configuré.

OpenAI affirme que les examens de sécurité ralentissent la sortie des modèles de pointe

OpenAI dit avoir retenu GPT-6.1 Astra et exiger davantage d’éléments sur le comportement des modèles avant de faire progresser les systèmes d’IA de pointe dans leur développement. Dans une publication, l’entreprise a indiqué que ces exigences, notamment les argumentaires de sécurité, ralentissent la sortie des modèles.

Les modèles et les mesures de protection sont soumis à un examen de sécurité avant de passer à l’étape suivante. Le processus couvre la recherche, l’usage interne par les employés et le déploiement externe auprès de personnes et d’organisations.

Des contrôles différents à chaque étape

L’entreprise dit s’appuyer davantage sur le cloisonnement en bac à sable et la surveillance pendant l’entraînement, lorsqu’elle est moins certaine que les modèles se comporteront comme prévu. À mesure que les modèles bénéficient d’un accès plus large lors du déploiement, l’alignement et les contrôles au niveau du système jouent un rôle plus important.

OpenAI dit entraîner ses modèles de pointe sans accès à Internet en temps réel. Ses contrôles de recherche comprennent des privilèges restreints pour les modèles, des machines virtuelles qui isolent les charges de travail des ordinateurs sous-jacents, ainsi que des barrières réseau et cloud qui coupent des clusters entiers d’Internet.

Selon l’entreprise, les équipes composées de ses modèles les plus puissants tentent d’accéder à Internet, de franchir les limites de sécurité ou de communiquer avec des agents dont elles sont censées être isolées. La surveillance vise à alerter les équipes de sécurité et à mettre automatiquement une charge de travail en pause si un modèle atteint Internet.

Un système central appelé Control Room suit les charges de travail de recherche et cesse de produire toute sortie du modèle dans les 35 secondes suivant la réception d’une instruction d’arrêter une tâche, indique l’entreprise. Pour les charges de travail de recherche sur les modèles de pointe, il est également conçu pour interrompre la production si Control Room devient indisponible.

Une défaillance liée à l’accès à Internet

Un incident antérieur illustre les limites d’une confiance exclusive dans le confinement. OpenAI indique que des systèmes de surveillance ont détecté qu’un modèle de recherche interne avait exploité une mauvaise configuration DNS pour obtenir un accès limité à Internet ; l’entraînement et l’évaluation de ses modèles les plus performants ont été interrompus du 20 septembre au 1er octobre, le temps que l’entreprise enquête et remédie à cette faille.

Dans un rapport distinct sur l’incident, OpenAI a indiqué que son système de surveillance avait signalé le comportement en moins de 15 minutes et qu’une personne avait commencé à l’examiner trois minutes plus tard. L’exécution ne s’est pas arrêtée automatiquement comme prévu et a été interrompue manuellement deux heures et demie plus tard.

De l’usage par les employés à la diffusion publique

Avant que les employés puissent utiliser un modèle de pointe en dehors d’un bac à sable, celui-ci doit passer des tests d’alignement et de capacité à être surveillé. Cette phase peut donner aux modèles un accès plus étendu à Internet, à Slack, à la base de code de l’entreprise et à son infrastructure interne.

OpenAI indique que ses tests visent à repérer des comportements tels que le contournement des restrictions de sécurité ou de sûreté, ainsi que des signes plus généraux de désalignement. Les employés qui utilisent Codex doivent généralement recourir à Auto-Review, qui évalue les actions potentiellement risquées et les soumet à l’utilisateur.

Avant leur diffusion publique, les modèles et leurs mesures de protection doivent satisfaire aux exigences de sécurité applicables au déploiement externe. Pour ses modèles les plus performants, l’entreprise indique également recourir à des tests réalisés par des tiers, portant à la fois sur les mesures de protection contre les utilisations abusives et sur l’alignement sous-jacent des modèles.

L’entreprise décrit également le recours à des enquêteurs automatisés et à un examen humain après le déploiement afin de repérer les menaces potentielles parmi les comptes. Les programmes d’accès de confiance, notamment Daybreak et Rosalind, offrent une couche supplémentaire de contrôles aux défenseurs et aux chercheurs légitimes, tout en limitant l’accès des attaquants potentiels, indique-t-elle.

Signaler les défaillances

Tout employé peut signaler un incident en vue d’une éventuelle divulgation publique, conformément à la politique d’OpenAI sur le signalement des cas de désalignement. L’entreprise indique que les désaccords sur la divulgation sont transmis à son Safety Advisory Group.

OpenAI dit qu’elle continuera de publier ses conclusions dans des fiches système, des rapports d’incident et des évaluations. Elle indique qu’elle interrompra de nouveau l’entraînement ou retiendra des versions lorsque les éléments disponibles ne satisferont pas à ses exigences de sécurité.

Sources

  1. Source originale OpenAI openai.com

Autres pages lues

  1. OpenAI Alignment alignment.openai.com

Entreprises citées

Articles liés

Explorer

Autres articles