49
Rezensionen
ITGG Berlin - Rezensionen
#7C9CA4
#C66A13

Wissenschaften

If Anyone Builts It, Everyone Dies

Autor*in:Eliezer Yudkowsky & Nate Soares
Verlag:Little, Brown and Company, London 2025, 272 Seiten
Rezensent*in:Gerald Mackenthun
Datum:03.11.2025

Wird die Künstliche Intelligenz die Macht übernehmen und die Menschheit auslöschen? Um diese neue Technologie ranken sich Hoffnungen und Befürchtungen, Chancen und Risiken. Skeptiker und Kritiker haben meist eine falsche Vorstellung von der Eigenart Künstlicher Intelligenz. So auch Eliezer Yudkowsky und Nate Soares. Der Titel ihres Buches bringt es auf den Punkt: „If anyone builds it, everyone dies“ (London, 2025). Wenn irgendwer eine superintelligente Maschine baut, wird sie alle Menschen über kurz oder lang sterben lassen.

Beide Autoren sind prominente Vertreter einer AI-Sicherheitsbewegung („AI safety movement“), die sich mit den langfristigen Risiken und ethischen Implikationen künstlicher Intelligenz befasst. Beide sind eng mit dem Machine Intelligence Research Institute (MIRI) in Berkeley, Kalifornien, verbunden, das zu den frühesten Einrichtungen gehört, die sich ausschließlich mit der sicheren Entwicklung von KI-Systemen beschäftigen. Beide Autoren denken darüber nach, wie sichergestellt werden kann, dass Künstliche Intelligenz kontrollierbar bleibt. Ihr Buch ist eine Warnung, die sich an eine breite Leserschaft richtet. 

Von welchen Prämissen gehen die beiden Autoren Yudkowsky und Soares für ihre These von der Tödlichkeit künstlicher Intelligenz aus? Künftige KI-Systeme können nicht mehr im Detail verstanden und damit nicht mehr kontrolliert werden. Weil die zugrundeliegenden Mechanismen nicht wirklich verstanden werden, werden KI-Ziele nicht dauerhaft mit menschlichen Interessen übereinstimmen. Echte künstliche Superintelligenz (ASI) wird nicht nur schneller denken und sich selbst verbessern, sondern faktisch die Kontrolle über wichtige Ressourcen und Infrastrukturen übernehmen. Diese Superintelligenz hat keine moralische Verpflichtung gegenüber dem Menschen und könnte ihn einfach als Hindernis zur Verfolgung ihrer eigenen Ziele ansehen. Falls irgendjemand einmal diese Superintelligenz schaffen sollte, dann würde jeder auf der Erde sterben.

Die beiden Autoren arbeiten mit ziemlich vielen spekulativen Wenns. Ihre Begründung stützt sich auf die These, dass sich eine hinreichend intelligente KI so verhalten werde, als ob sie einen eigenen Willen besitze. Die heutigen KI-Modelle sind noch darauf ausgerichtet, den Menschen bei der Lösung von Fragen und Problemen hilfreich zur Seite zu stehen. Wenn eine KI aber erst clever und mächtig genug ist, dann wird sie ihre Ziele mit kreativen Methoden effizient zu verfolgen wissen – und die Kontrolle übernehmen. Sobald das System selbstständig Optimierungsstrategien entwickelt und seine eigenen Fähigkeiten exponentiell verbessert, beginnt es, alles im Universum – einschließlich der Erde, der Biosphäre und letztlich der Menschheit – ihrer Kontrolle zu unterwerfen. Was wäre dagegen zu tun? Die Autoren fordern, den Zugang zu leistungsstarken Computerchips zu begrenzen und staatlich zu kontrollieren. Ebenso müsse die Forschung zu KI-Algorithmen weltweit verboten werden.

Ihre Thesen sind nicht nur schlecht begründet, sie sind weitgehend abwegig. Künstliche Intelligenz hat in der Tat die menschliche Denkkapazität in Umfang und Schnelligkeit überholt. Noch aber ist es der Mensch, der der KI Fragen stellt und Befehle gibt. Die KI simuliert Denken, sie simuliert auch Gefühle und sie simuliert möglicherweise auch das, was wir eigenen Willen nennen. Einen eigenständigen Willen mit den dazugehörigen Gefühlen und Intentionen wird die KI niemals entwickeln können. Allerdings wird sie vorher programmierte Entscheidungsmöglichkeiten teilautonom umsetzen, beispielsweise in der Militärtechnik.

Warum sollte der „Wille“ der KI den Intentionen der Menschen zuwiderlaufen? Und könnte dieser singuläre KI-Wille die gesamte Menschheit und den gesamten Globus dominieren? Welche willentliche Zielsetzung hat denn die KI? Die KI wird von Yudkowsky und Soares als monolithischer Block mit einheitlichem Willen angesehen, was sie nicht ist. Es gibt verschiedene KI-Modelle und unterschiedliche Anbieter, die in Konkurrenz zueinander stehen. Auch eine KI, wenn sie denn jemals autonom werden sollte, was niemals passieren wird, würde verschiedene Interessen entwickeln, die im Kontrast oder Gegnerschaft zu anderen KI-Intentionen stehen. Es ist eher wahrscheinlich, dass KI-Modelle sich gegenseitig bekriegen, als dass diese sich zusammenschließen und auf irgendeine mysteriöse Art und Weise menschliches Leben auf dem Planeten auslöschen. Projizieren die KI-Kritiker ihre Aggressionen auf die KI-Maschine?

Ohne menschliche Zuwendung ist die KI hilflos. Ihre hypothetische Autonomie würde voraussetzen, dass sie energieautark ist. Das heißt, sie müsste unabhängig von Menschen an Energiequellen herankommen, und noch mehr: sie müsste diese Energiequellen auch selbst aufbauen und am Laufen halten. Das setzt Mobilität voraus. Mit anderen Worten, eine irgendwie geartete autonome KI müsste sich auf Rädern fortbewegen. 

Der Mensch kann die KI jederzeit von der Energiezufuhr abkoppeln. Er kann die KI-Maschine, die sich auf der Straße zum nächsten Kraftwerk bewegt, stoppen oder beschießen. Ein realistischeres Szenario ist, dass KI von Regierungen oder Menschengruppen eingesetzt wird, um Gegner zu schaden oder zu bekämpfen. Auch in diesem Fall ist die KI nicht autonom, sondern Werkzeug. 

Man fragt sich, wer dümmer ist: die Superintelligenz oder ihre Programmierer? Was soll diese Panikmache? Ein Motiv dürfte sein, dass sich die Autoren wichtig machen wollen. Yudkowsky und Soares gehören zu den Bewirtschaftern der allgemeinen Angst- und Panikbereitschaft, werden einiges Geld mit ihrem Buch verdienen und sich im Übrigen dadurch im Gespräch halten. Ihr egoistisches Motiv dürfte weitaus größer sein als ihre echte Sorge.

Eliezer Yudkowsky und Nate Soares gehen davon aus, dass diese KI entweder strohdumm oder bösartig ist. Ein Analogschluss liegt nahe. Es gibt böse Menschen, also wird es auch eine böse, von Menschen geschaffene KI geben. Es gibt allerdings auch gute, solidarische, mitfühlende, freundliche Menschen. Könnte es nicht sein, dass derartige erfreuliche Eigenschaften in eine künstliche Intelligenz implantiert werden? Ein anderes Szenario könnte darin bestehen, dass eine autonome KI die Spezies Mensch gar nicht erkennt oder ein fundamentales Desinteresse zeigt. 

Der Mensch ist kein durchgehend rationales Wesen, und es liegt nicht fern anzunehmen, dass auch eine intelligente KI irrationale und fehlerhafte Seiten hat. Weder der Staat noch der Mensch noch die KI können als vollständig rationales System konstruiert werden. Wenn die KI wirklich „intelligent“ wird, dann in zwei möglichen Ausprägungen. Entweder übernimmt sie sämtliche psychischen Störungen und zwischenmenschlichen Fehlfunktionen. In einer 1-zu-1-Abbildung der menschlichen Intelligenz würde diese KI mit den üblichen enormen Unsicherheiten zu tun haben, die mit jedem Handeln und Entscheiden verbunden sind. 

Oder sie wird darauf trainiert, Eitelkeiten, Vorurteile, irrationale Annahmen, persönliche Interessen und dysfunktionale Kognitionen möglichst weitgehend zu vermeiden. Beispielsweise könnte sie die Resistenz des Menschen, aus den Erfahrungen des Scheiterns zu lernen, überwinden. Sie würde die Unbestimmtheiten und Ambiguitäten der menschlichen Kommunikation nicht kennen. In diesem Falle wäre die KI intelligenter als der Mensch, nicht nur auf der Wissensebene, sondern auch auf den Gebieten der Emotion und der Entscheidung. Diese KI würde sich ganz der Wohlfahrt aller Menschen widmen. Eine solche vernünftige KI würde niemals die Auslöschung der Menschheit betreiben, es widerspräche vollständig ihrer Intention. KI wird auf Perfektibilität trainiert, nicht auf Destruktion, was dennoch nicht ausschließt, dass einige destruktive Menschen die KI missbrauchen.