Ir al contenido
AI.info

The Pulse

OpenAI informa de tasas más bajas de extracción del razonamiento en pruebas de GPT-6.2 Astra

OpenAI afirma que, en pruebas internas, los intentos de extraer razonamiento protegido de GPT-6.2 Astra tuvieron éxito con menor frecuencia que contra un modelo anterior. Sus defensas incluyen el entrenamiento de modelos, clasificadores, restricciones de API e investigaciones sobre campañas coordinadas.

OpenAI informa de tasas más bajas de extracción del razonamiento en pruebas de GPT-6.2 Astra

Los intentos de recuperar razonamiento protegido de una solicitud anterior tuvieron éxito el 0,2 % de las veces contra GPT-6.2 Astra en una prueba interna, frente al 54,0 % contra GPT-6 Astra con sus salvaguardas originales, afirma OpenAI. La empresa detalló el resultado y sus defensas contra la destilación no autorizada de modelos en una publicación del 20 de noviembre.

La destilación es una técnica de aprendizaje automático en la que un modelo aprende a partir de datos generados por otro. A OpenAI le preocupa que un actor pueda utilizar sin autorización las salidas de un modelo para entrenar otro con capacidades similares, pero sin salvaguardas comparables.

Qué midieron las pruebas

En su evaluación adaptativa de caja negra, OpenAI utilizó equipos automatizados de red team que ajustaban sus ataques en respuesta al sistema. Los resultados se promediaron entre seis modelos atacantes y se evaluó si podían recuperar el razonamiento protegido generado para una solicitud anterior o para la actual.

En los intentos de extraer razonamiento de la solicitud actual, la tasa media de éxito fue del 0,9 % contra GPT-6.2 Astra con las salvaguardas actualizadas, frente al 22,9 % contra GPT-6 Astra con sus salvaguardas originales. La comparación incluye tanto versiones distintas del modelo como salvaguardas distintas.

Las protecciones actualizadas también se aplican a GPT-6.2 Sol, y algunas mejoras seleccionadas se están aplicando a GPT-6 Astra. OpenAI también utiliza pruebas estáticas que repiten ataques que ya tuvieron éxito y pruebas de caja blanca que proporcionan a los evaluadores información adicional sobre el sistema.

Por qué importan los rastros de razonamiento

El razonamiento protegido consiste en los pasos intermedios que genera un modelo mientras trabaja para llegar a una respuesta. Esos rastros pueden contener información omitida en la respuesta final, lo que los convierte en datos de entrenamiento potencialmente útiles para otro modelo.

En un estudio interno aparte, OpenAI comparó estudiantes entrenados con rastros de razonamiento exactos y estudiantes entrenados con resúmenes del razonamiento. Los datos de entrenamiento procedían principalmente de modelos docentes de nivel Astra que trabajaban en tareas de programación y ciberseguridad defensiva.

Cada ejecución de entrenamiento partió del mismo modelo de estudiante preentrenado, y los estudiantes fueron evaluados después del fine-tuning supervisado y de nuevo tras una ronda ligera de aprendizaje por refuerzo. Después del fine-tuning supervisado, el estudiante entrenado con rastros exactos generalmente superó al entrenado con resúmenes, según la empresa. Después del aprendizaje por refuerzo, el estudiante entrenado con rastros exactos obtuvo una puntuación más alta con el mayor presupuesto de inferencia en ambos benchmarks mostrados, mientras que el estudiante entrenado con resúmenes obtuvo una puntuación más alta con presupuestos menores.

Controles de las solicitudes

Las defensas de la empresa a nivel de solicitud combinan entrenamiento de modelos, clasificadores y controles de API. El entrenamiento utiliza ejemplos de red teaming automatizado, investigaciones y divulgaciones responsables para enseñar a los modelos a rechazar los intentos de extraer razonamiento protegido, a la vez que responden a solicitudes legítimas de explicaciones y ayuda.

Los clasificadores de entrada buscan intentos de extracción, mientras que los clasificadores de salida revisan los mensajes del asistente y los argumentos de las llamadas a herramientas para detectar posibles filtraciones. Esas comprobaciones abarcan tanto las respuestas en streaming como las que no son en streaming.

En GPT-6.2 Astra y GPT-6.2 Sol, el razonamiento protegido está vinculado al historial de conversación que lo generó. Si se reescribe un mensaje anterior, la API descarta el razonamiento que le seguía. OpenAI también impide que familias de modelos anteriores con salvaguardas más débiles lean el razonamiento protegido de los dos modelos.

Campañas coordinadas

La empresa afirma que investiga patrones entre solicitudes y cuentas para identificar intentos coordinados de extracción, y que utiliza sus hallazgos para mejorar el entrenamiento y las pruebas. Cuando identifica infracciones, toma medidas de cumplimiento contra la red de cuentas implicada.

Las medidas de cumplimiento semanales de la empresa contra campañas de destilación no autorizada han abarcado desde miles hasta decenas de miles de cuentas, y la tasa aumentó significativamente en verano, afirma OpenAI. También comparte indicadores de compromiso con otros proveedores de modelos para que puedan investigar abusos relacionados en sus servicios.

Fuentes

  1. Fuente original OpenAI openai.com

Empresas en esta noticia

Noticias relacionadas

Explora

Más artículos