Ir para o conteúdo
AI.info

The Pulse

OpenAI relata taxas menores de extração de raciocínio em testes do GPT-6.2 Astra

A OpenAI afirma que, em testes internos, tentativas de extrair raciocínio protegido do GPT-6.2 Astra tiveram menos sucesso do que contra um modelo anterior. Suas defesas incluem treinamento de modelos, classificadores, restrições de API e investigações de campanhas coordenadas.

OpenAI relata taxas menores de extração de raciocínio em testes do GPT-6.2 Astra

Em um teste interno, tentativas de recuperar o raciocínio protegido de um pedido anterior tiveram sucesso em 0,2% dos casos contra o GPT-6.2 Astra, em comparação com 54,0% contra o GPT-6 Astra com suas salvaguardas originais, afirma a OpenAI. A empresa detalhou o resultado e suas defesas contra a destilação não autorizada de modelos em uma publicação em 20 de novembro.

A destilação é uma técnica de machine learning em que um modelo aprende com dados produzidos por outro. A preocupação da OpenAI é que um agente possa usar, sem autorização, as saídas de um modelo para treinar outro modelo com capacidades semelhantes, mas sem salvaguardas comparáveis.

O que os testes avaliaram

Em sua avaliação adaptativa de caixa-preta, a OpenAI usou agentes automatizados de red team que ajustavam seus ataques em resposta ao sistema. Os resultados foram calculados pela média de seis modelos atacantes e avaliaram se eles conseguiam recuperar o raciocínio protegido gerado para um pedido anterior ou para o pedido atual.

Nas tentativas de extrair o raciocínio do pedido atual, a taxa média de sucesso foi de 0,9% contra o GPT-6.2 Astra com salvaguardas atualizadas, em comparação com 22,9% contra o GPT-6 Astra com suas salvaguardas originais. A comparação envolve tanto versões diferentes do modelo quanto salvaguardas diferentes.

As proteções atualizadas também se aplicam ao GPT-6.2 Sol, e melhorias selecionadas estão sendo aplicadas ao GPT-6 Astra. A OpenAI também usa testes estáticos que repetem ataques bem-sucedidos anteriormente e testes de caixa-branca que fornecem aos avaliadores informações adicionais sobre o sistema.

Por que os rastros de raciocínio importam

O raciocínio protegido consiste em etapas intermediárias que um modelo gera enquanto trabalha para chegar a uma resposta. Esses rastros podem conter informações omitidas da resposta final, o que pode torná-los dados de treinamento úteis para outro modelo.

Em um estudo interno separado, a OpenAI comparou modelos-aluno treinados com rastros de raciocínio exatos e modelos-aluno treinados com resumos de raciocínio. Os dados de treinamento vieram principalmente de modelos professores de nível Astra que trabalhavam em tarefas de programação e cibersegurança defensiva.

cada rodada de treinamento começou com o mesmo modelo-aluno pré-treinado, e os modelos foram avaliados após o fine-tuning supervisionado e novamente depois de uma rodada leve de aprendizado por reforço. Após o fine-tuning supervisionado, o modelo-aluno treinado com rastros exatos geralmente superou o modelo-aluno treinado com resumos, segundo a empresa. Após o aprendizado por reforço, o modelo-aluno treinado com rastros exatos obteve pontuação mais alta no maior orçamento de inferência nos dois benchmarks apresentados, enquanto o modelo-aluno treinado com resumos teve pontuação mais alta nos orçamentos menores.

Controles sobre os pedidos

As defesas da empresa no nível dos pedidos combinam treinamento de modelos, classificadores e controles de API. O treinamento usa exemplos de red teaming automatizado, investigações e divulgações responsáveis para ensinar os modelos a recusar tentativas de extrair raciocínio protegido, respondendo a pedidos legítimos de explicações e ajuda.

Classificadores de entrada procuram tentativas de extração, enquanto classificadores de saída verificam mensagens do assistente e argumentos de chamadas de ferramentas em busca de possíveis vazamentos. Essas verificações abrangem respostas em streaming e sem streaming.

No GPT-6.2 Astra e no GPT-6.2 Sol, o raciocínio protegido está vinculado ao histórico da conversa que o produziu. Se uma mensagem anterior for reescrita, a API descarta o raciocínio que veio depois dela. A OpenAI também impede que famílias de modelos mais antigas, com salvaguardas mais fracas, leiam o raciocínio protegido dos dois modelos.

Campanhas coordenadas

A empresa afirma que investiga padrões entre pedidos e contas para identificar tentativas coordenadas de extração e usa as descobertas para aprimorar o treinamento e os testes. Quando identifica violações, toma medidas contra a rede de contas envolvida.

As medidas semanais da empresa contra campanhas de destilação não autorizada envolveram de milhares a dezenas de milhares de contas, e o ritmo aumentou significativamente no verão, afirma a OpenAI. A empresa também compartilha indicadores de comprometimento com outros provedores de modelos para que possam investigar abusos relacionados em seus serviços.

Fontes

  1. Fonte original OpenAI openai.com

Empresas nesta notícia

Notícias relacionadas

Explore

Mais artigos