KI außer Kontrolle? Forscher und Tech-Chefs warnen vor existenziellen Risiken

Was 1984 in „Terminator“ noch nach düsterer Science-Fiction klang, beschäftigt heute einige der Menschen, die selbst an besonders leistungsfähiger künstlicher Intelligenz arbeiten. Forscher aus der KI-Branche warnen vor einem möglichen Kontrollverlust, während führende Unternehmen erstmals offen darüber diskutieren, die Entwicklung besonders leistungsfähiger KI-Systeme bewusst zu verlangsamen. Doch wie realistisch ist die Gefahr tatsächlich?

„Terminator“ machte das Szenario schon 1984 zum Thema

Als James Cameron 1984 den ersten „Terminator“-Film veröffentlichte, erzählte er von einer künstlichen Intelligenz namens Skynet, die ein eigenes Bewusstsein entwickelt, die Kontrolle über militärische Systeme übernimmt und sich schließlich gegen die Menschheit richtet.
Natürlich war und ist „Terminator“ Science-Fiction. Cameron selbst sieht inzwischen allerdings durchaus Parallelen zu aktuellen Entwicklungen.

2025 warnte der Regisseur insbesondere davor, künstliche Intelligenz mit Waffensystemen und möglicherweise sogar nuklearen Verteidigungssystemen zu verbinden. Seine Sorge: Militärische Entscheidungen könnten irgendwann innerhalb so kurzer Zeitfenster getroffen werden, dass Menschen kaum noch sinnvoll eingreifen können.
Dabei geht es weniger um einen plötzlich erwachenden Computer wie Skynet, sondern um hochautomatisierte Systeme, deren Entscheidungen schneller erfolgen könnten, als Menschen sie überprüfen können.

Anthropic-Forscher Jacob Coxon kündigt und warnt vor KI-Risiken

Besonders viel Aufmerksamkeit löste im September 2026 der Rücktritt des KI-Forschers Jacob Coxon aus. Coxon arbeitete nach eigenen Angaben insgesamt rund drei Jahre an Pretraining-Forschung bei OpenAI und Anthropic. Am 8. September 2026 erklärte er öffentlich seinen Rücktritt von Anthropic und kritisierte dabei beide Unternehmen scharf.
Seiner Einschätzung nach liefern sich führende KI-Labore ein Rennen um selbstverbessernde Superintelligenz, obwohl viele beteiligte Forscher gleichzeitig erhebliche Risiken sehen.

Coxon behauptete sogar, Menschen innerhalb führender KI-Unternehmen würden ernsthaft die Möglichkeit in Betracht ziehen, dass hochentwickelte KI noch vor Ende dieses Jahrzehnts eine existenzielle Gefahr für die Menschheit darstellen könnte.
Wichtig ist allerdings die Einordnung: Dabei handelt es sich um Coxons Einschätzung seiner Gespräche und Erfahrungen innerhalb der Branche – nicht um eine wissenschaftlich bewiesene Vorhersage.

Anthropic-Forscher sieht mehr als zehn Prozent Risiko

Bemerkenswert wurde die Diskussion vor allem deshalb, weil Coxons Aussagen nicht nur von ehemaligen Mitarbeitern unterstützt wurden. Evan Hubinger, der weiterhin als Alignment-Forscher bei Anthropic arbeitet, erklärte öffentlich, Coxon habe mit seiner Einschätzung grundsätzlich recht.
Hubinger bezifferte seine persönliche Wahrscheinlichkeit dafür, dass künstliche Intelligenz innerhalb der kommenden zehn Jahre zum Aussterben der Menschheit führen könnte, auf mehr als zehn Prozent.
Das bedeutet allerdings ebenfalls nicht, dass ein solches Ereignis mit dieser Wahrscheinlichkeit tatsächlich eintreten wird. Hubingers Aussage ist eine persönliche Risikoeinschätzung eines Forschers, der sich beruflich mit der sicheren Ausrichtung leistungsfähiger KI-Systeme beschäftigt.
Für derartige langfristige Szenarien existieren weder ausreichend historische Daten noch wissenschaftliche Modelle, mit denen sich eine verlässliche Wahrscheinlichkeit berechnen ließe.

Anthropic-Chef Dario Amodei will die KI-Entwicklung verlangsamen

Nur wenige Tage später meldete sich Anthropic-Chef Dario Amodei selbst zu Wort. In seinem Beitrag „We Must Pace the Frontier“ fordert Amodei, die Entwicklung immer leistungsfähigerer KI-Modelle bewusst langsamer voranzutreiben. Sein Ziel ist dabei kein vollständiger Entwicklungsstopp.
Stattdessen soll mehr Zeit entstehen, um Sicherheitsmechanismen, Kontrollmöglichkeiten und unabhängige Überprüfungen parallel zu den Fähigkeiten der Modelle weiterzuentwickeln.

Amodei schlägt unter anderem vor, externen Sicherheitsexperten dauerhaft Zugang zu besonders leistungsfähigen Systemen zu ermöglichen. Sie sollen überprüfen können, ob Sicherheitsregeln eingehalten werden und wie sich Modelle während ihrer Entwicklung verhalten. Hinzu kommen gemeinsame Sicherheitsstandards zwischen Unternehmen und langfristig internationale Vereinbarungen. Der Anthropic-Chef warnt dabei nicht ausschließlich vor einem hypothetischen Aussterben der Menschheit. Zu den möglichen Gefahren zählt er auch Cyberangriffe, den Missbrauch von KI für biologische Waffen, wirtschaftliche Verwerfungen und den Verlust der Kontrolle über autonome KI-Systeme.

Sam Altman und Elon Musk unterstützen die Forderung

Ungewöhnlich ist, dass Amodei mit seiner Forderung nicht allein geblieben ist. OpenAI-Chef Sam Altman unterstützte den Ansatz öffentlich und erklärte, dass auch er die Entwicklung an der technologischen Spitze kontrollierter vorantreiben wolle. OpenAI kündigte ebenfalls an, unabhängigen Prüfern mehr Zugang zu seinen Systemen ermöglichen zu wollen. Auch Elon Musk, der mit xAI selbst leistungsfähige KI-Modelle entwickelt, unterstützte Amodeis Forderung.

Damit vertreten ausgerechnet einige der größten Konkurrenten der KI-Branche zumindest bei diesem Punkt eine ähnliche Position: Die Fähigkeiten der Modelle sollten nicht schneller wachsen als die Möglichkeiten, sie zu verstehen und abzusichern.
Von einem vollständigen Konsens kann allerdings keine Rede sein. Andere Vertreter der Technologiebranche, darunter Meta-Chef Mark Zuckerberg und Nvidia-Chef Jensen Huang, sehen einen koordinierten Entwicklungsstopp beziehungsweise eine breite Verlangsamung kritischer. Sie setzen stärker auf Sicherheitsmaßnahmen innerhalb der einzelnen Unternehmen.

Bedeutet das wirklich, dass KI kurz vor dem Kontrollverlust steht?

Nein – zumindest lässt sich das aus den aktuellen Warnungen nicht ableiten.

Es gibt derzeit keinen wissenschaftlichen Konsens darüber, dass künstliche Intelligenz in den kommenden Jahren zwangsläufig eine Superintelligenz entwickelt oder die Kontrolle über kritische Infrastruktur übernehmen wird. Auch Wahrscheinlichkeiten wie Hubingers „mehr als zehn Prozent“ sind keine statistisch berechneten Prognosen, sondern individuelle Einschätzungen.
Dennoch sollte die Diskussion nicht einfach als Science-Fiction abgetan werden. Moderne KI-Systeme erhalten zunehmend Zugriff auf Computer, Softwareentwicklung, Netzwerke und andere digitale Werkzeuge. Gleichzeitig werden sogenannte KI-Agenten entwickelt, die komplexe Aufgaben weitgehend selbstständig planen und ausführen können.
Die entscheidende Frage lautet deshalb nicht nur, wie intelligent KI werden kann, sondern auch, welche Befugnisse Menschen diesen Systemen geben.
Genau darin unterscheidet sich die heutige Diskussion auch deutlich von „Terminator“: Eine KI muss kein Bewusstsein entwickeln und keinen eigenen Hass auf Menschen besitzen, um Schaden anzurichten. Fehlerhafte Ziele, unzureichende Sicherheitsmechanismen oder der gezielte Missbrauch durch Menschen könnten bereits ausreichen.

Die eigentliche Herausforderung beginnt schon vor einer Superintelligenz

Die spektakuläre Vorstellung einer außer Kontrolle geratenen Superintelligenz zieht verständlicherweise die meiste Aufmerksamkeit auf sich. Viele Probleme künstlicher Intelligenz existieren jedoch bereits heute. Dazu gehören automatisierte Cyberangriffe, Desinformation, Betrug, Überwachung, manipulierte Bilder und Videos sowie die zunehmende Abhängigkeit von KI-Systemen in Unternehmen und Behörden.
Die aktuelle Debatte zeigt deshalb vor allem eines: Selbst innerhalb der KI-Branche wächst die Diskussion darüber, wie schnell immer leistungsfähigere Systeme entwickelt werden sollten und welche Sicherheitsmaßnahmen notwendig sind. Ob daraus irgendwann tatsächlich ein Szenario entsteht, das an „Terminator“ erinnert, kann heute niemand seriös vorhersagen.
Dass Forscher und Führungskräfte der Unternehmen, die solche Systeme selbst entwickeln, inzwischen öffentlich über Kontrollverlust, unabhängige Überwachung und eine Verlangsamung der Entwicklung sprechen, macht das Thema jedoch längst zu mehr als reiner Science-Fiction.

Wer tiefer in die grundlegende Frage einsteigen möchte, findet bei uns bereits unseren Beitrag „Kann KI wirklich die Weltherrschaft übernehmen? Warum Experten vor Kontrollverlust warnen“

*Dieser Beitrag wurde mit Unterstützung künstlicher Intelligenz erstellt und redaktionell geprüft.