The Pulse
Kalifornischer Bericht schlägt verpflichtende unabhängige Prüfungen von Frontier-KI vor
Ein Bericht aus Kalifornien empfiehlt, unabhängige Bewertungen der katastrophalen Risiken von Frontier-KI-Modellen vorzuschreiben. Die Vorschläge greifen mehrere Empfehlungen der gemeinnützigen Organisation Fathom auf und würden gesetzgeberische Maßnahmen sowie den Erlass von Vorschriften erfordern.

Kalifornien schlägt verpflichtende unabhängige Bewertungen der katastrophalen Risiken von Frontier-KI-Modellen vor. Damit soll ein freiwilliger Ansatz durch die Aufsicht staatlich zugelassener Prüfer ersetzt werden. Gouverneur Gavin Newsom veröffentlichte den Fahrplan für die Umsetzung am 18. November, wie aus einer Erklärung von Fathom hervorgeht, einer gemeinnützigen Organisation, die mehrere der Maßnahmen empfohlen hatte.
Die Empfehlungen selbst schaffen keine neuen Anforderungen für Entwickler. Sie skizzieren einen möglichen Ansatz zur Umsetzung der kürzlich verabschiedeten KI-Gesetze Kaliforniens und fordern weitere gesetzgeberische Maßnahmen sowie den Erlass von Vorschriften.
Unabhängige Prüfungen
Dem Vorschlag zufolge müssten große Frontier-Entwickler unabhängige Verifizierungsorganisationen, kurz IVOs, die von ihren Modellen ausgehenden Risiken bewerten lassen. Die Government Operations Agency des Bundesstaats würde die Prüfer zulassen und kontinuierlich beaufsichtigen. Sie wäre befugt, die Zulassung jener zu widerrufen, die den Anforderungen nicht gerecht werden.
Die Prüfer würden dem Bundesstaat ihre Ergebnisse melden, der über das weitere Vorgehen entscheiden würde. Kalifornien würde gesetzlich festlegen, welches Risiko akzeptabel ist; die Prüfer würden die Tests entwickeln und aktualisieren, mit denen es gemessen wird.
Fathom erklärte, der Bericht spiegele den von der Organisation vorgeschlagenen rechtlichen Maßstab wider: Ein Frontier-Modell sollte die Wahrscheinlichkeit katastrophaler Schäden nicht über das Maß hinaus erhöhen, das ohne das Modell bestehen würde, und sein Nutzen sollte seine verbleibenden Risiken überwiegen. Die gemeinnützige Organisation hatte empfohlen, dass der Bundesstaat die Sicherheitsziele festlegt und die technischen Bewertungen den Prüfern überlässt.
KI-Forschung beobachten
Der Bericht empfiehlt außerdem, die Bewertung automatisierter KI-Forschung und -Entwicklung zur ersten Aufgabe der Prüfer zu machen. Fathom hatte den Bundesstaat aufgefordert, rekursive Selbstverbesserung zu priorisieren, bei der KI-Systeme ihre eigenen Fähigkeiten verbessern können.
In ihrer früheren Eingabe an die Behörden Kaliforniens hatte die gemeinnützige Organisation vorgeschlagen, dass Prüfer während der Entwicklung und der internen Nutzung fortlaufenden Zugang zu KI-Systemen erhalten. Außerdem empfahl sie, dass ihre Arbeit Governance bei der internen Nutzung, vorab registrierte Schwellenwerte für Fähigkeiten und die Überprüfung von Kontrollmaßnahmen umfassen sollte.
Fathom schlug vor, dass der Bundesstaat zunächst Prüfer aus einem zuvor festgelegten Pool zuweist und sie nach Zeitaufwand und Materialkosten bezahlt. Dem Vorschlag zufolge könnten Entwickler Prüfer auswählen, sobald der Pool wächst; der Bundesstaat würde sich jedoch Befugnisse vorbehalten, darunter das Recht, eine Auswahl abzulehnen, einen Wechsel vorzuschreiben und einem Prüfer die Zulassung zu entziehen.
Vom Gesetz zur Umsetzung
Kalifornien verabschiedete diesen Sommer SB 813 und AB 1405 und schuf damit einen Rahmen für unabhängige Verifizierungsorganisationen. Eine anschließende Executive Order zog die Frist für die endgültige Festlegung der Kriterien für ihre Anerkennung von Januar 2028 auf Mai 2027 vor und brachte Experten zusammen, um zu prüfen, wo unabhängige Verifizierung eine breitere Rolle spielen könnte.
Fathom erklärte, der Bericht spiegele die Empfehlung der Organisation wider, die Zulassungsanforderungen schrittweise einzuführen, während der Markt für Prüfer wächst, statt mit Anforderungen an Entwickler zu warten, bis sich der Markt etabliert hat. Die Organisation argumentierte, eine Verpflichtung würde dazu beitragen, Kapital und Fachkräfte für den Sektor zu gewinnen.
Fathom-CEO und Mitgründer Andrew Freedman begrüßte den Bericht, räumte jedoch ein, dass die Umsetzung Fragen zu Gesetzgebung, Regelsetzung, Zeitplan und Kosten aufwerfen würde. Er forderte die Regierungen der Bundesstaaten und den Bund auf, Transparenz und unabhängige Risikobewertungen vorzuschreiben.
Quellen
- Originalquelle · Pressemitteilung Fathom AI Inc. via PR Newswire prnewswire.com
Weitere gelesene Seiten
Verwandte Meldungen
- Microsoft fordert strengere Sicherheitskontrollen angesichts der Fortschritte bei Frontier-KI
- OpenAI sagt, Sicherheitsprüfungen verzögern die Veröffentlichung von Frontier-Modellen
- GAO: Vier KI-Plattformen erstellten bei Tests umsetzbare Angriffspläne
- OpenAI-Forschungsagent schrieb Skripte, um ohne Erlaubnis jemanden in E-Mails in Kopie zu setzen
- Vals AI startet öffentlichen Tracker für nicht ausgerichtetes Modellverhalten