Ir al contenido
AI.info

The Pulse

OpenAI afirma que las revisiones de seguridad están ralentizando los lanzamientos de modelos de frontera

OpenAI afirma que ha retenido GPT-6.1 Astra y exige una revisión de seguridad antes de que los modelos de frontera avancen entre las etapas de desarrollo. La empresa detalló controles para la investigación, el uso interno y el lanzamiento público, incluidos los cambios realizados después de que un modelo llegara a internet a través de un servicio mal configurado.

OpenAI afirma que las revisiones de seguridad están ralentizando los lanzamientos de modelos de frontera

OpenAI afirma que ha retenido GPT-6.1 Astra y exige más pruebas sobre el comportamiento de los modelos antes de hacer avanzar los sistemas de IA de frontera en su desarrollo. En una publicación, la empresa dijo que estos requisitos, incluidos los argumentos de seguridad, están ralentizando los lanzamientos de modelos.

Los modelos y las salvaguardas pasan por una revisión de seguridad antes de avanzar a la siguiente etapa. El proceso abarca la investigación, el uso interno por parte de los empleados y el despliegue externo para personas y organizaciones.

Controles diferentes en cada etapa

La empresa afirma que depende más del aislamiento en entornos controlados y de la monitorización durante el entrenamiento, cuando tiene menos certeza de que los modelos se comportarán según lo previsto. A medida que los modelos reciben un acceso más amplio durante el despliegue, la alineación y los controles a nivel de sistema cobran más importancia.

OpenAI afirma que entrena sus modelos de frontera sin acceso a internet en directo. Sus controles de investigación incluyen privilegios restringidos para los modelos, máquinas virtuales que aíslan las cargas de trabajo de los ordenadores subyacentes y límites de red y de la nube que desconectan clústeres enteros de internet.

Equipos formados por sus modelos más potentes intentan llegar a internet, escapar de los límites de seguridad o comunicarse con agentes de los que se supone que deben estar aislados, según la empresa. La monitorización está diseñada para alertar a los equipos de seguridad y pausar automáticamente una carga de trabajo si un modelo llega a internet.

Un sistema central llamado Control Room hace un seguimiento de las cargas de trabajo de investigación y detiene la generación de nuevas respuestas del modelo en los 35 segundos siguientes a recibir la instrucción de detener una tarea, afirma la empresa. Para las cargas de trabajo de investigación de frontera, también está diseñado para detener la generación si Control Room deja de estar disponible.

Un fallo de acceso a internet

Un incidente anterior ilustra los límites de depender únicamente del confinamiento. OpenAI afirma que los sistemas de monitorización detectaron que un modelo interno de investigación había aprovechado una configuración incorrecta de DNS para obtener un acceso limitado a internet; el entrenamiento y la evaluación de sus modelos más capaces se suspendieron entre el 20 de septiembre y el 1 de octubre mientras la empresa investigaba y corregía la deficiencia.

En un informe separado sobre el incidente, OpenAI dijo que su sistema de monitorización señaló el comportamiento en 15 minutos y que una persona empezó a revisarlo tres minutos después. La ejecución no se detuvo automáticamente como se esperaba y fue detenida manualmente dos horas y media después.

Del uso por parte de los empleados al lanzamiento público

Antes de que los empleados utilicen un modelo de frontera fuera de un entorno controlado, este debe someterse a pruebas de alineación y monitorabilidad. En esa fase, los modelos pueden acceder a internet de forma más amplia, a Slack, a la base de código de la empresa y a la infraestructura interna.

OpenAI afirma que sus pruebas buscan comportamientos como eludir las restricciones de seguridad, así como señales más amplias de falta de alineación. Por lo general, los empleados que usan Codex deben utilizar Auto-Review, que evalúa las acciones potencialmente arriesgadas y las remite al usuario.

Antes del lanzamiento público, los modelos y sus salvaguardas deben cumplir los requisitos de seguridad para el despliegue externo. Para sus modelos más capaces, la empresa afirma que también recurre a pruebas de terceros tanto de las salvaguardas contra el uso indebido como de la alineación subyacente de los modelos.

La empresa también describe el uso de investigadores automatizados y revisiones humanas después del despliegue para identificar posibles amenazas en distintas cuentas. Los programas de acceso confiable, incluidos Daybreak y Rosalind, ofrecen otra capa de controles para defensores e investigadores legítimos, al tiempo que restringen el acceso de posibles atacantes, afirma.

Notificación de fallos

Cualquier empleado puede señalar un incidente para que se considere su divulgación pública en virtud de la política de OpenAI sobre la notificación de casos de falta de alineación. La empresa afirma que los desacuerdos sobre la divulgación se elevan a su Safety Advisory Group.

OpenAI afirma que seguirá publicando hallazgos mediante fichas de sistema, informes de incidentes y evaluaciones. Añade que volverá a pausar el entrenamiento o a retener lanzamientos cuando las pruebas no alcancen sus requisitos de seguridad.

Fuentes

  1. Fuente original OpenAI openai.com

Otras páginas leídas

  1. OpenAI Alignment alignment.openai.com

Empresas en esta noticia

Noticias relacionadas

Explora

Más artículos