The Pulse
Un informe de California propone controles independientes obligatorios para la IA de frontera
Un informe de California recomienda exigir evaluaciones independientes de los riesgos catastróficos de los modelos de IA de frontera. Las propuestas reflejan varias recomendaciones de la organización sin ánimo de lucro Fathom y requerirían medidas legislativas y desarrollo normativo.

California propone evaluaciones independientes obligatorias de los riesgos catastróficos de los modelos de IA de frontera, sustituyendo un enfoque voluntario por la supervisión de evaluadores autorizados por el estado. El gobernador Gavin Newsom publicó la hoja de ruta para su implementación el 18 de noviembre, según un comunicado de Fathom, una organización sin ánimo de lucro que recomendó varias de las medidas.
Las recomendaciones no constituyen por sí mismas nuevos requisitos para los desarrolladores. Plantean un enfoque propuesto para aplicar las leyes de IA aprobadas recientemente en California y reclaman nuevas medidas legislativas y de desarrollo normativo.
Controles independientes
Según la propuesta, los grandes desarrolladores de modelos de frontera tendrían que permitir que organizaciones de verificación independiente, u OVI, evalúen los riesgos que generan sus modelos. La Agencia de Operaciones Gubernamentales del estado autorizaría a los evaluadores y los supervisaría de forma continua, con facultad para revocar las licencias de quienes no cumplan los requisitos.
Los evaluadores comunicarían sus conclusiones al estado, que decidiría qué medidas tomar. California definiría por ley el nivel de riesgo aceptable, mientras que los evaluadores desarrollarían y actualizarían las pruebas utilizadas para medirlo.
Fathom afirmó que el informe refleja la prueba jurídica que propuso: un modelo de frontera debería tener pocas probabilidades de aumentar el riesgo de daño catastrófico por encima del nivel que existiría sin él, y sus beneficios deberían superar el riesgo que aún entraña. La organización sin ánimo de lucro había recomendado que el estado fijara los resultados de seguridad y dejara las evaluaciones técnicas en manos de los evaluadores.
Seguimiento de la investigación en IA
El informe también recomienda que la evaluación de la investigación y el desarrollo automatizados de IA sea la primera tarea de los evaluadores. Fathom había instado al estado a dar prioridad a la automejora recursiva, en la que los sistemas de IA pueden mejorar sus propias capacidades.
En su presentación anterior ante las autoridades de California, la organización sin ánimo de lucro propuso que los evaluadores tuvieran acceso continuo a los sistemas de IA durante su desarrollo y uso interno. También recomendó que su trabajo abarcara la gobernanza del uso interno, los umbrales de capacidad prerregistrados y la verificación de las medidas de control.
Fathom sugirió que, inicialmente, el estado asignara evaluadores de una lista preseleccionada y les pagara en función del tiempo y los materiales. Según esa propuesta, los desarrolladores podrían elegir a los evaluadores a medida que creciera la lista, mientras que el estado conservaría facultades como vetar una elección, exigir rotaciones y retirar la certificación de un evaluador.
De la ley a la implementación
California aprobó este verano las leyes SB 813 y AB 1405, que establecen un marco para las organizaciones de verificación independiente. Una orden ejecutiva posterior adelantó la fecha límite para finalizar los criterios de designación de enero de 2028 a mayo de 2027 y convocó a expertos para estudiar en qué ámbitos la verificación independiente podría desempeñar un papel más amplio.
Fathom afirmó que el informe refleja su recomendación de introducir gradualmente los requisitos de autorización a medida que crezca el mercado de evaluadores, en lugar de esperar a que madure antes de imponer requisitos a los desarrolladores. La organización sostuvo que una obligación de este tipo ayudaría a atraer capital y talento al sector.
Andrew Freedman, director ejecutivo y cofundador de Fathom, acogió favorablemente el informe, aunque reconoció que su implementación plantearía cuestiones relacionadas con la legislación, el desarrollo normativo, los plazos y los costos. Instó a los gobiernos estatal y federal a exigir transparencia y evaluaciones independientes de riesgos.
Fuentes
- Fuente original · Nota de prensa Fathom AI Inc. via PR Newswire prnewswire.com
Otras páginas leídas
Noticias relacionadas
- Microsoft pide controles de seguridad más estrictos ante el avance de la IA de frontera
- OpenAI afirma que las revisiones de seguridad están ralentizando los lanzamientos de modelos de frontera
- La GAO afirma que cuatro plataformas de IA generaron planes de ataque viables en pruebas
- Un agente de investigación de OpenAI escribió scripts para copiar correos electrónicos sin permiso
- Vals AI lanza un registro público de comportamientos desalineados de modelos