Aller au contenu
AI.info

The Pulse

Un rapport californien propose des contrôles indépendants obligatoires pour l’IA de pointe

Un rapport californien recommande d’imposer des évaluations indépendantes des risques catastrophiques liés aux modèles d’IA de pointe. Les propositions reprennent plusieurs recommandations de l’organisation à but non lucratif Fathom et nécessiteraient une intervention législative ainsi que l’élaboration de règles.

Un rapport californien propose des contrôles indépendants obligatoires pour l’IA de pointe

La Californie propose de rendre obligatoires les évaluations indépendantes des risques catastrophiques liés aux modèles d’IA de pointe, en remplaçant une approche volontaire par une supervision assurée par des évaluateurs agréés par l’État. Le gouverneur Gavin Newsom a publié la feuille de route pour la mise en œuvre le 18 novembre, selon un communiqué de Fathom, une organisation à but non lucratif qui a recommandé plusieurs de ces mesures.

Ces recommandations ne constituent pas en elles-mêmes de nouvelles exigences pour les développeurs. Elles présentent une approche proposée pour appliquer les lois californiennes sur l’IA récemment adoptées et appellent à de nouvelles mesures législatives et réglementaires.

Des contrôles indépendants

Selon la proposition, les grands développeurs de modèles d’IA de pointe devraient permettre à des organisations indépendantes de vérification, ou OIV, d’évaluer les risques créés par leurs modèles. L’Agence des opérations gouvernementales de l’État agréerait les évaluateurs et assurerait leur supervision continue, avec le pouvoir de retirer l’agrément de ceux qui ne répondent pas aux exigences.

Les évaluateurs transmettraient leurs conclusions à l’État, qui déciderait des mesures à prendre. La Californie définirait dans la loi le niveau de risque acceptable, tandis que les évaluateurs élaboreraient et mettraient à jour les tests servant à le mesurer.

Fathom a indiqué que le rapport reprend le critère juridique qu’elle propose : il devrait être peu probable qu’un modèle de pointe accroisse le risque de préjudice catastrophique au-delà du niveau qui existerait sans lui, et ses bénéfices devraient l’emporter sur le risque résiduel qu’il présente. L’organisation à but non lucratif avait recommandé que l’État fixe les résultats en matière de sécurité et confie les évaluations techniques aux évaluateurs.

Suivre la recherche en IA

Le rapport recommande également de faire de l’évaluation de la recherche et du développement automatisés en IA la première tâche des évaluateurs. Fathom avait appelé l’État à donner la priorité à l’auto-amélioration récursive, dans laquelle les systèmes d’IA peuvent améliorer leurs propres capacités.

Dans sa précédente contribution aux autorités californiennes, l’organisation à but non lucratif avait proposé que les évaluateurs aient un accès continu aux systèmes d’IA pendant leur développement et leur utilisation en interne. Elle avait également recommandé que leurs travaux portent sur la gouvernance de l’utilisation interne, les seuils de capacités préenregistrés et la vérification des mesures de contrôle.

Fathom a suggéré que l’État désigne dans un premier temps des évaluateurs issus d’un groupe prédéfini, rémunérés en fonction du temps passé et des ressources utilisées. Selon cette proposition, les développeurs pourraient choisir leurs évaluateurs à mesure que le groupe s’étoffe, tandis que l’État conserverait notamment le pouvoir de rejeter un choix, d’imposer une rotation et de retirer l’agrément d’un évaluateur.

De la loi à sa mise en œuvre

La Californie a adopté cet été les textes SB 813 et AB 1405, qui établissent un cadre pour les organisations indépendantes de vérification. Un décret ultérieur a avancé l’échéance de finalisation des critères de désignation de janvier 2028 à mai 2027 et réuni des experts pour examiner dans quels domaines la vérification indépendante pourrait jouer un rôle plus large.

Fathom a indiqué que le rapport reprend sa recommandation de mettre progressivement en place les exigences d’agrément à mesure que le marché des évaluateurs se développe, plutôt que d’attendre qu’il arrive à maturité avant d’imposer des exigences aux développeurs. L’organisation a fait valoir qu’une obligation contribuerait à attirer des capitaux et des talents dans le secteur.

Andrew Freedman, directeur général et cofondateur de Fathom, a salué le rapport tout en reconnaissant que sa mise en œuvre soulèverait des questions concernant la législation, l’élaboration de règles, le calendrier et les coûts. Il a appelé les gouvernements des États et le gouvernement fédéral à imposer la transparence et des évaluations indépendantes des risques.

Sources

  1. Source originale · Communiqué de presse Fathom AI Inc. via PR Newswire prnewswire.com

Autres pages lues

  1. Fathom · Recommendations for implementing ivos pursuant to eo n fathom.org
  2. Fathom · Fathom statement on governor newsom s executive order to ac… fathom.org
  3. California Government Operations Agency govops.ca.gov

Articles liés

Explorer

Autres articles