Ir para o conteúdo
AI.info

The Pulse

Relatório da Califórnia propõe verificações independentes obrigatórias para IA de fronteira

Um relatório da Califórnia recomenda exigir avaliações independentes dos riscos catastróficos de modelos de IA de fronteira. As propostas refletem várias recomendações da organização sem fins lucrativos Fathom e dependeriam de medidas legislativas e da elaboração de regras.

Relatório da Califórnia propõe verificações independentes obrigatórias para IA de fronteira

A Califórnia propõe avaliações independentes obrigatórias dos riscos catastróficos de modelos de IA de fronteira, substituindo uma abordagem voluntária pela supervisão de avaliadores licenciados pelo estado. O governador Gavin Newsom divulgou o roteiro de implementação em 18 de novembro, segundo um comunicado da Fathom, organização sem fins lucrativos que recomendou várias das medidas.

As recomendações não são, por si só, novas exigências para os desenvolvedores. Elas apresentam uma abordagem proposta para implementar as leis de IA aprovadas recentemente pela Califórnia e pedem novas medidas legislativas e regulamentação.

Verificações independentes

Segundo a proposta, grandes desenvolvedores de IA de fronteira teriam de permitir que organizações independentes de verificação, ou IVOs, avaliassem os riscos criados por seus modelos. A Agência de Operações Governamentais do estado licenciaria e supervisionaria continuamente os avaliadores, com poder para revogar as licenças daqueles que não cumprissem os requisitos.

Os avaliadores informariam suas conclusões ao estado, que decidiria quais medidas tomar. A Califórnia definiria por lei o risco aceitável, enquanto os avaliadores desenvolveriam e atualizariam os testes usados para medi-lo.

A Fathom afirmou que o relatório reflete o teste jurídico que propôs: deveria ser improvável que um modelo de IA de fronteira aumentasse o risco de danos catastróficos acima do nível que existiria sem ele, e seus benefícios deveriam superar o risco residual. A organização sem fins lucrativos havia recomendado que o estado definisse os resultados de segurança e deixasse as avaliações técnicas a cargo dos avaliadores.

Acompanhamento da pesquisa em IA

O relatório também recomenda que a avaliação da pesquisa e do desenvolvimento automatizados de IA seja a primeira tarefa dos avaliadores. A Fathom havia instado o estado a priorizar o autoaperfeiçoamento recursivo, no qual sistemas de IA podem aprimorar as próprias capacidades.

Em sua manifestação anterior às autoridades da Califórnia, a organização sem fins lucrativos propôs que os avaliadores tivessem acesso contínuo aos sistemas de IA durante o desenvolvimento e o uso interno. Também recomendou que o trabalho deles abrangesse a governança do uso interno, limites de capacidade pré-registrados e a verificação de medidas de controle.

A Fathom sugeriu que o estado designasse inicialmente avaliadores de um grupo previamente selecionado, com pagamento baseado em tempo e materiais. Segundo essa proposta, os desenvolvedores poderiam escolher avaliadores à medida que o grupo crescesse, enquanto o estado manteria poderes que incluem vetar uma escolha, exigir rodízio e cancelar a certificação de um avaliador.

Da lei à implementação

A Califórnia aprovou o SB 813 e o AB 1405 neste verão, estabelecendo uma estrutura para organizações independentes de verificação. Uma ordem executiva posterior antecipou o prazo para finalizar os critérios de designação de janeiro de 2028 para maio de 2027 e convocou especialistas para avaliar onde a verificação independente poderia desempenhar um papel mais amplo.

A Fathom afirmou que o relatório reflete sua recomendação de introduzir gradualmente os requisitos de licenciamento à medida que o mercado de avaliadores cresce, em vez de esperar que ele amadureça antes de impor exigências aos desenvolvedores. A organização argumentou que uma exigência ajudaria a atrair capital e talentos para o setor.

Andrew Freedman, CEO e cofundador da Fathom, saudou o relatório, mas reconheceu que sua implementação levantaria questões sobre legislação, regulamentação, prazos e custos. Ele pediu que os governos estadual e federal exigissem transparência e avaliações independentes de riscos.

Fontes

  1. Fonte original · Comunicado de imprensa Fathom AI Inc. via PR Newswire prnewswire.com

Outras páginas lidas

  1. Fathom · Recommendations for implementing ivos pursuant to eo n fathom.org
  2. Fathom · Fathom statement on governor newsom s executive order to ac… fathom.org
  3. California Government Operations Agency govops.ca.gov

Notícias relacionadas

Explore

Mais artigos