The Pulse
OpenAI relata taxas menores de extração de raciocínio em testes do GPT-6.2 Astra
A OpenAI afirma que, em testes internos, tentativas de extrair raciocínio protegido do GPT-6.2 Astra tiveram menos sucesso do que contra um modelo anterior. Suas defesas incluem treinamento de modelos, classificadores, restrições de API e investigações de campanhas coordenadas.

Em um teste interno, tentativas de recuperar o raciocínio protegido de um pedido anterior tiveram sucesso em 0,2% dos casos contra o GPT-6.2 Astra, em comparação com 54,0% contra o GPT-6 Astra com suas salvaguardas originais, afirma a OpenAI. A empresa detalhou o resultado e suas defesas contra a destilação não autorizada de modelos em uma publicação em 20 de novembro.
A destilação é uma técnica de machine learning em que um modelo aprende com dados produzidos por outro. A preocupação da OpenAI é que um agente possa usar, sem autorização, as saídas de um modelo para treinar outro modelo com capacidades semelhantes, mas sem salvaguardas comparáveis.
O que os testes avaliaram
Em sua avaliação adaptativa de caixa-preta, a OpenAI usou agentes automatizados de red team que ajustavam seus ataques em resposta ao sistema. Os resultados foram calculados pela média de seis modelos atacantes e avaliaram se eles conseguiam recuperar o raciocínio protegido gerado para um pedido anterior ou para o pedido atual.
Nas tentativas de extrair o raciocínio do pedido atual, a taxa média de sucesso foi de 0,9% contra o GPT-6.2 Astra com salvaguardas atualizadas, em comparação com 22,9% contra o GPT-6 Astra com suas salvaguardas originais. A comparação envolve tanto versões diferentes do modelo quanto salvaguardas diferentes.
As proteções atualizadas também se aplicam ao GPT-6.2 Sol, e melhorias selecionadas estão sendo aplicadas ao GPT-6 Astra. A OpenAI também usa testes estáticos que repetem ataques bem-sucedidos anteriormente e testes de caixa-branca que fornecem aos avaliadores informações adicionais sobre o sistema.
Por que os rastros de raciocínio importam
O raciocínio protegido consiste em etapas intermediárias que um modelo gera enquanto trabalha para chegar a uma resposta. Esses rastros podem conter informações omitidas da resposta final, o que pode torná-los dados de treinamento úteis para outro modelo.
Em um estudo interno separado, a OpenAI comparou modelos-aluno treinados com rastros de raciocínio exatos e modelos-aluno treinados com resumos de raciocínio. Os dados de treinamento vieram principalmente de modelos professores de nível Astra que trabalhavam em tarefas de programação e cibersegurança defensiva.
cada rodada de treinamento começou com o mesmo modelo-aluno pré-treinado, e os modelos foram avaliados após o fine-tuning supervisionado e novamente depois de uma rodada leve de aprendizado por reforço. Após o fine-tuning supervisionado, o modelo-aluno treinado com rastros exatos geralmente superou o modelo-aluno treinado com resumos, segundo a empresa. Após o aprendizado por reforço, o modelo-aluno treinado com rastros exatos obteve pontuação mais alta no maior orçamento de inferência nos dois benchmarks apresentados, enquanto o modelo-aluno treinado com resumos teve pontuação mais alta nos orçamentos menores.
Controles sobre os pedidos
As defesas da empresa no nível dos pedidos combinam treinamento de modelos, classificadores e controles de API. O treinamento usa exemplos de red teaming automatizado, investigações e divulgações responsáveis para ensinar os modelos a recusar tentativas de extrair raciocínio protegido, respondendo a pedidos legítimos de explicações e ajuda.
Classificadores de entrada procuram tentativas de extração, enquanto classificadores de saída verificam mensagens do assistente e argumentos de chamadas de ferramentas em busca de possíveis vazamentos. Essas verificações abrangem respostas em streaming e sem streaming.
No GPT-6.2 Astra e no GPT-6.2 Sol, o raciocínio protegido está vinculado ao histórico da conversa que o produziu. Se uma mensagem anterior for reescrita, a API descarta o raciocínio que veio depois dela. A OpenAI também impede que famílias de modelos mais antigas, com salvaguardas mais fracas, leiam o raciocínio protegido dos dois modelos.
Campanhas coordenadas
A empresa afirma que investiga padrões entre pedidos e contas para identificar tentativas coordenadas de extração e usa as descobertas para aprimorar o treinamento e os testes. Quando identifica violações, toma medidas contra a rede de contas envolvida.
As medidas semanais da empresa contra campanhas de destilação não autorizada envolveram de milhares a dezenas de milhares de contas, e o ritmo aumentou significativamente no verão, afirma a OpenAI. A empresa também compartilha indicadores de comprometimento com outros provedores de modelos para que possam investigar abusos relacionados em seus serviços.
Fontes
- Fonte original OpenAI openai.com
Empresas nesta notícia
Notícias relacionadas
- OpenAI diz que revisões de segurança estão atrasando lançamentos de modelos de fronteira
- Agente de pesquisa da OpenAI escreveu scripts para incluir um destinatário em cópia sem permissão
- Sakana AI forma grupo de pesquisa em segurança com foco na defesa cibernética com IA
- OpenAI diz que seus modelos melhoraram em até 14% os projetos de GPUs da AMD
- OpenAI afirma que agentes concluíram 46% das tarefas delegadas que exigiam de duas a quatro horas