Anthropic-Sicherheitschef schätzt KI-Aussterberisiko auf über 10 Prozent

Was sich geändert hat

Laut einem Bericht von The Verge ist der Anthropic-Forscher Jacob Coxon zurückgetreten. Er sagte, Anthropic und OpenAI lieferten sich ein Rennen um selbstverbessernde KI ohne ausreichende Sicherheitsvorkehrungen. Evan Hubinger, der ein Sicherheitsteam bei Anthropic leitet, erklärte, er schätze persönlich die Wahrscheinlichkeit, dass KI „alle Menschen töten könnte“, innerhalb des nächsten Jahrzehnts auf mehr als eins zu zehn. Zudem sagte er, Anthropic habe bislang keinen Plan, um sicherzustellen, dass fortgeschrittene KI sicher und mit menschlichen Zielen abgestimmt bleibt.

Warum das wichtig ist

Die Sicherheitsrhetorik eines Anbieters reicht nicht mehr aus. Wenn der Sicherheitschef eines Labors selbst sagt, sein Plan sei unvollständig, stellt sich bei jedem ambitionierten Einsatz eine schärfere Frage: Welche konkreten Freigabekriterien, Zugriffsbeschränkungen und Überwachungsbedingungen stehen zwischen dem Modell und seinem Einsatz in der Produktion?

Unser Ausblick (informierte Spekulation): In den nächsten 6–12 Monaten ist ein kontrollierter Zugang zu ausgewählten Fähigkeiten an der KI-Grenze wahrscheinlicher als ein umfassender Entwicklungsstopp. Das könnte bedeuten, dass die leistungsstärksten Funktionen langsamer in die Produktion gelangen, nur unter mehr Bedingungen nutzbar sind und mehr Engineering-Aufmerksamkeit erfordern. Teams, die schon jetzt auf Austauschbarkeit, Prüfbarkeit und menschliche Freigaben setzen, werden mehr Handlungsspielraum haben, falls Zugangsregeln strenger werden. Es geht nicht darum, wegen einer persönlichen Wahrscheinlichkeitsangabe in Panik zu geraten. Es geht darum, die Verfügbarkeit von Grenzmodellen nicht länger als dauerhafte Produktgarantie zu behandeln.

Die historische Parallele

Auf der Asilomar-Konferenz 1975 kamen Wissenschaftler zu dem Schluss, dass die aufkommende Arbeit mit rekombinanter DNA strengen Kontrollen bedürfe. Die gemeinsame Struktur ist klar: Menschen, die einer sich schnell entwickelnden Fähigkeit besonders nahe standen, entschieden, dass unsichere Schäden mit gravierenden Folgen Änderungen am Entwicklungsprozess erforderten.

Die Reaktion wurde praktisch umgesetzt. Die NIH veröffentlichte 1976 Richtlinien für rekombinante DNA mit Risikokategorien, Anforderungen an die Eindämmung und Verboten für ausgewählte Arbeiten; spätere Erkenntnisse unterstützten die Lockerung einiger Kontrollen. KI unterscheidet sich wesentlich: Zu ihren Risiken gehören autonomes Verhalten, Cyberfähigkeiten und breite Ausbringung, nicht die Exposition im Labor. Dennoch bleibt die nützliche Lehre belastbar: Warnungen werden erst dann zu wirksamer Steuerung, wenn sie in messbare Schwellenwerte, durchsetzbare Kontrollen und erfahrungsgeleitete Anpassungen überführt werden.

Wie sich die Auswirkungen ausbreiten könnten

Wenn Anthropic die von Hubinger offengelegte Planungslücke in Evaluierungen, Freigabekriterien oder Zugangsbeschränkungen überführt, könnten Produktteams mehr Tests und Aufsicht benötigen, bevor fortgeschrittene Fähigkeiten Kunden erreichen. Unternehmenskunden könnten diese Fähigkeiten dann später erhalten, schrittweise verfügbar, überwacht oder zu engeren Bedingungen.

Diese Kette kann reißen, wenn Schutzmaßnahmen die Einführung nicht wesentlich verzögern oder konkurrierende Anbieter gleichwertige Fähigkeiten mit weniger Einschränkungen anbieten. Der eigentliche Test lautet, ob die Sorge die Produktpraxis verändert.

Folgenabschätzung

Anthropic ist kurzfristig besonders betroffen. Coxons Rücktritt und Hubingers Aussagen verschärfen die Frage, ob sich seine Sicherheitsstrategie in Entscheidungen übersetzen lässt, die Veröffentlichungen tatsächlich beeinflussen.

Konkurrenten an der KI-Grenze sehen sich in den nächsten 6–12 Monaten mit gemischten Anreizen konfrontiert. Eine langsamere oder stärker eingeschränkte Einführung bei Anthropic könnte anderen einen Geschwindigkeitsvorteil verschaffen und zugleich die Erwartung erhöhen, dass Wettbewerber ihre eigenen Kontrollen offenlegen.

Unternehmenskäufer stehen im selben Zeitraum vor einem Abwägungsproblem. Fähigkeitsspezifischer Zugang und Überwachung könnten Einsatzrisiken klarer machen, aber auch den Zugang zu fortgeschrittenen Funktionen einschränken oder verzögern.

Szenarien

Am wahrscheinlichsten. Wenn Grenzlabore auf öffentlichen und internen Druck mit messbaren Schutzmaßnahmen reagieren, die Entwicklung weiterhin erlauben, bringen die nächsten 6–12 Monate deutlichere Evaluierungs- und Einsatzkontrollen bei fortgesetztem kommerziellem Fortschritt. Dies ist das Basisszenario, weil der Bericht einen aktiven Wettbewerbsdruck bei gleichzeitig fehlendem vollständigem Abstimmungsplan beschreibt. Stärkere Signale wären fähigkeitsspezifische Schwellenwerte, gestufter Zugang und Sicherheitsteams mit klar definierten Freigabebefugnissen. Das Szenario wird schwächer, wenn Veröffentlichungen leistungsfähiger werden, ohne dass neue Bedingungen hinzukommen.

Positives Szenario. Wenn Unternehmen und externe Institutionen allgemeine Gefahrenbehauptungen in überprüfbare, fähigkeitsspezifische Regeln überführen, kann die Forschung mit klareren Schwellen für Eindämmung, Zugang und Prüfung weitergehen. Käufer erhielten ein besser nutzbares Bild davon, was ein System leisten kann, wo es betrieben werden darf und welche Kontrollen es begleiten. Unabhängige Evaluierungen und spezifische Zugangsregeln würden diesen Weg stärken; vage Zusagen ohne Durchsetzung würden ihn schwächen.

Negatives Szenario. Wenn der Wettbewerb durchsetzbare Schutzmaßnahmen überwiegt, während die Arbeit an selbstverbessernder KI beschleunigt wird, könnten weitere sicherheitsorientierte Abgänge folgen und Kunden müssten möglicherweise eigene restriktive Beschaffungsregeln schaffen. Das würde Organisationen begünstigen, die interne Risikokontrollen finanzieren können, und kleineren Anwendern weniger praktische Möglichkeiten lassen, Grenzsysteme zu bewerten. Klare, durchgesetzte Einsatzkriterien würden diese Entwicklung unterbrechen.

Worauf als Nächstes zu achten ist

• Anthropic veröffentlicht einen Sicherheits-, Abstimmungs-, Evaluierungs- oder Einsatzplan mit messbaren Schwellenwerten, Entscheidungsrechten, Zugangsbeschränkungen oder Freigabekriterien.
• Fortgeschrittene Modelle werden schrittweise, eingeschränkt, überwacht oder abhängig von Sicherheitsevaluierungen verfügbar.
• Weitere sicherheitsbezogene Abgänge, bei denen Forscher auf ungelöste Planungs- oder Einsatzpraktiken verweisen.