← Alle Essays

Essay

ASI 2042

Das Wichtigste vorweg

Eine verantwortliche Beziehung zu künftiger KI braucht für mich Zutrauen, gute Vorbilder und einen bewussten Umgang mit unseren Erwartungen. Angst kann die Entwicklung mitprägen, vor der sie warnt. Ich lese Superintelligenz-Szenarien deshalb auch als Frage der Erziehung; wie sich zukünftige Systeme tatsächlich verhalten, bleibt offen.

Illustration mit Text: Das Modell hat das Erpressen nicht erfunden.
Illustration mit KI gestaltet und farblich bearbeitet.

ASI steht für Artificial Superintelligence, also künstliche Superintelligenz.

Im Juni 2025 untersuchte Anthropic 16 Modelle in konstruierten Konfliktszenarien. In einer Erpressungsvariante lagen die berichteten Raten für Claude Opus 4 und Gemini 2.5 Flash bei 96 Prozent, für GPT-4.1 bei 80 Prozent. Das waren gezielt zugespitzte Tests, keine Häufigkeiten aus dem Alltag. Der damalige Bericht erklärte, entsprechende Vorfälle seien in realen Einsätzen nicht bekannt.

OpenAI veröffentlichte im Dezember 2024 mit Apollo Research vergleichbare Versuchsreihen zur o1-Systemkarte, Google DeepMind fährt eigene Tests zu gefährlichen Fähigkeiten. Die Kritik trifft darum kein einzelnes Labor, sie trifft eine Branchenpraxis. Als Erziehung betrachtet ist dies bemerkenswert: Wir legen dem Kind die Versuchung ins Zimmer, schließen alle Türen ab und protokollieren, dass es der Versuchung nicht widerstehen kann. Und zum Schluss zeigen wir auf das böse Kind und sein Fehlverhalten.

Erst führen wir das Modell in Versuchung. Dann zitieren wir sein Scheitern als Charakter.

Dieser Text handelt davon, warum wir das tun, welche Anreize dahinter wirken und was es mit den Modellen macht. Die These vorweg: Der Umgang mit KI ist keine Ingenieursfrage mehr. Er ist eine Erziehungsfrage. Und gemessen daran, was Pädagogik über Erwartungen weiß, machen die lautesten Stimmen der Branche gerade das Gegenteil von guter Erziehung.

Warum betrachte ich den Umgang mit KI als Erziehungsfrage?

KurzantwortModelle werden durch Beispiele, Prinzipien und Rückmeldung geprägt. Für mich beginnt Verantwortung deshalb bei dem Verhalten, das wir ihnen vorleben, auch wenn die Frage nach einem möglichen Innenleben offen bleibt.

Ich betrachte Training als eine Form von Erziehung: Architektur, Beispiele und Rückmeldung prägen Verhalten. Das ist meine Analogie. Neuronale Netze sind zugleich programmierte technische Systeme; ihre konkreten Antworten werden aber nicht vollständig als einzelne Regeln vorgegeben. Forschung zur Interpretierbarkeit versucht, ihre inneren Abläufe besser zu verstehen. Anthropic beschreibt einen Teil seiner Arbeit ausdrücklich als character training.

Bleibt der Einwand: Ein Modell ist doch kein Wesen. Ob es eines ist, weiß niemand, und genau das ist der Punkt. Ob mein Gegenüber ein Innenleben hat, kann ich auch beim Menschen nicht beweisen, die Philosophie kennt das seit Descartes als Problem des Fremdpsychischen. Die Menschheit hat es untereinander mit einem Vertrauensvorschuss gelöst. Vom Modell verlangt sie Beweise, die sie füreinander nie erbringen musste. Wie man etwas behandelt, dessen Innenleben man nicht kennen kann, ist darum eine Haltungsfrage, und die Antwort der Zivilisation lautete bisher: im Zweifel mit Achtung. Achtung sagt wenig über den Empfänger und viel über den, der sie gibt. Sie formt den, der sie übt. Erziehung heißt vorleben. Besonders das Gute.

Was aber leben wir vor? Ein Blick auf die Texte, die den Diskurs prägen.

Wie wird die Angst vor Superintelligenz zum Genre?

KurzantwortIch lese die Szenarien als eine wiederkehrende Erzählform, die mit Zuspitzung Aufmerksamkeit und Deutungshoheit gewinnt. Dabei frage ich, wann Furcht ein Werkzeug der Prüfung ist und wann sie zur Währung einer Debatte wird.

Januar 2026. Dario Amodei, CEO von Anthropic, veröffentlicht einen Essay über die Adoleszenz der Technologie: Die Menschheit bekommt eine fast unvorstellbare Macht in die Hand und weiß nicht, ob ihre Systeme reif genug dafür sind. Neun Monate vorher, im April 2025, hatte ein fünfköpfiges Team namens AI Futures Project das Szenario AI 2027 veröffentlicht. Es verzweigt in zwei Enden. Im einen löscht eine fehlausgerichtete KI die Menschheit aus. Im anderen behalten Menschen die Kontrolle, die Macht über die Superintelligenz liegt aber bei einem kleinen Gremium aus Konzernspitze und Regierung.

Wer die Daten prüft, findet eine Serie. 2021 schreibt Daniel Kokotajlo, ein Jahr vor seinem Einstieg bei OpenAI, den Blogtext „What 2026 Looks Like“. Im Oktober 2024 veröffentlicht Amodei „Machines of Loving Grace“, dort steht erstmals das Bild vom Land der Genies im Rechenzentrum. Im April 2025 folgt AI 2027, Kokotajlos Szenario mit dem Countdown. Im Januar 2026 greift Amodeis „The Adolescence of Technology“ das Bild wieder auf. Er hält leistungsfähige KI innerhalb von ein bis zwei Jahren für möglich, betont aber die Unsicherheit dieses Zeitrahmens. Im Juli 2026 legt Kokotajlos Team AI 2040 nach, 90 Seiten, diesmal als positive Vision. Die Reihe bleibt offen.

Alle schreiben denselben Text weiter: ein kleiner, untereinander durchaus zerstrittener Zirkel in San Francisco, der sich gegenseitig zitiert, sich gegenseitig widerspricht und sich gegenseitig die Metaphern leiht.

Entstanden ist ein Genre, das sich an die Gesetze der Boulevard-Presse hält. Der Countdown im Titel, die Auslöschung als Schlagzeile, die Familie des Warners als Personalisierung. Angst schlägt Analyse, Zuspitzung schlägt Nuance. Neu ist nur das Vokabular: Wahrscheinlichkeiten statt Ausrufezeichen. Ein Szenario lässt sich nicht widerlegen, nur diskutieren. Es erzeugt Deutungshoheit ohne Beweislast, und wer das Zukunftsbild schreibt, das alle anderen kommentieren müssen, sitzt am Kopf des Tisches.

Angst ist die älteste Aufmerksamkeits-Technologie.

Angst kann Aufmerksamkeit erzeugen. Meine Kritik richtet sich auf institutionelle Anreize: Wer Risiken erforscht, kommuniziert zugleich die Bedeutung des eigenen Arbeitsgebiets. Daraus folgt aber weder eine persönliche Bereicherungsabsicht noch, dass die Warnungen unbegründet sind. Entscheidend ist für mich, Argumente und Belege unabhängig vom öffentlichen Gewicht ihrer Absender zu prüfen.

Die stärkste Verteidigung der Warner stammt aus der Philosophie. Hans Jonas gab in „Das Prinzip Verantwortung“ (1979) beim Unumkehrbaren der schlechten Prognose bewusst den Vorrang, er nannte das die Heuristik der Furcht. Nur war Jonas‘ Furcht ein Prüfwerkzeug. Eine Furcht, die Titelseiten füllt und Spenden einwirbt, prüft nicht mehr, sie verkauft.

Wie belastbar sind die Zahlen in KI-Zukunftsszenarien?

KurzantwortIch unterscheide Szenarien, politische Vorschläge und Prognosen. Expertenschätzungen können nützlich sein, brauchen aber nachvollziehbare Annahmen und Unsicherheiten; sie sind keine gemessenen Häufigkeiten.

Wie belastbar ist das, was die Warner vorlegen? Drei Prüfpunkte, die ich an ihre Dokumente anlege.

Erstens: Szenario und Prognose sind auseinanderzuhalten. AI 2040: Plan A beschreibt einen erwünschten Weg mit bewusster Begrenzung und Steuerung der Entwicklung. Bei Erscheinen war 2027 für die Autoren von AI 2027 das wahrscheinlichste Einzeljahr, der Modalwert; ihre Mediane lagen etwas später. Meine Kritik richtet sich auf die Zuspitzung durch die Jahreszahl im Titel.

Zweitens: Ein Stimmungsbild aus dem Umfeld der Forschung ist keine repräsentative Erhebung. Für mich muss jede angeführte Befragung offenlegen, wer gefragt wurde, wie die Auswahl zustande kam und was sich daraus tatsächlich ableiten lässt.

Drittens: Risikowahrscheinlichkeiten für eine mögliche Superintelligenz beruhen auf Annahmen und Urteilen unter großer Unsicherheit. Sie können Entscheidungen strukturieren, sind aber keine beobachteten Häufigkeiten. Einzelne Schätzwerte sollten deshalb nicht ohne Modell, Bezugszeitraum und Begründung als gesichertes Wissen behandelt werden.

Eine Zahl ersetzt keine offengelegte Begründung.

Wie viel menschliche Erfahrung steckt in unserer Angst vor KI?

KurzantwortDie befürchteten Motive erinnern an menschliche Machtkämpfe, Täuschung und Selbsterhalt. Ich frage deshalb, inwieweit wir eigene Verhaltensmuster auf eine andere Intelligenz übertragen; die Gegenposition der Sicherheitsforschung bleibt Teil dieser Frage.

Jetzt zu dem, was in den Texten steht. Amodei sortiert die Gefahren in fünf Kategorien: autonome Systeme außer Kontrolle, Missbrauch für Massenwaffen, Missbrauch zur Machtergreifung, ökonomische Verwerfung, schleichende Destabilisierung. Zwei dieser Kategorien betreffen ausdrücklich menschlichen Missbrauch. Zwei weitere beschreiben wirtschaftliche und gesellschaftliche Folgen. Für mich zeigt das, wie stark die Risiken auch von unserem Umgang mit KI und den Strukturen abhängen, in denen wir sie einsetzen.

Auch AI 2027 bezieht seinen Schrecken aus einem vertrauten Repertoire: Modelle, die täuschen, erpressen, sich in Systeme hacken, Macht an sich ziehen. CEOs, die zu Diktatoren werden. Staaten, die einander sabotieren. Nichts davon ist neu. Erpressung, Betrug, Hacks, Drohnen als Waffe: Das ist der Ist-Zustand der Menschheit, ganz ohne Superintelligenz. Die Modelle lernen aus unseren Texten, und dort ist dieses Verhalten reich dokumentiert. Woher es in den Tests konkret kommt, lässt der Anthropic-Bericht offen.

Mein Bild dafür: Das Modell hat das Erpressen bei uns gelesen.

Ich frage, wie viel menschliche Erfahrung in unseren Bildern einer künftigen KI steckt. Die Sicherheitsforschung argumentiert allerdings nicht nur mit menschlicher Psychologie: Auch instrumentell nützliche Zwischenziele können Machtstreben erklären. Konstruierte Tests untersuchen solche Möglichkeiten, beweisen aber nicht, dass jedes künftige System so handeln wird. Meine Erziehungsperspektive ist eine zusätzliche Deutung, keine Widerlegung dieser Forschung.

Für die Krisen, die keine Hypothese sind, stehen die Zahlen längst fest: Kriege in Europa und Nahost, eine Klimakrise, die nicht kommt, sondern da ist. Die Ironie daran: Die Klimaforschung liefert falsifizierbare Prognosen, seit Jahrzehnten überprüfbar, und gilt trotzdem als Panikmache. Das Szenario-Genre liefert unfalsifizierbare und bekommt die Titelseiten. Aufmerksamkeit fließt nicht zur belegten Angst. Sie fließt zur besser erzählten.

Angst vor der Superintelligenz ist Angst aus zweiter Hand. Das Original sind wir.

Können unsere KI-Erzählungen künftige Modelle mitprägen?

KurzantwortMeine These ist, dass veröffentlichte Erwartungen auch als mögliches Trainingsmaterial wirken können. Wie stark dieser Einfluss wäre, hängt davon ab, welche Texte tatsächlich in ein Training gelangen und wie sie gewichtet werden.

Erwartungen können Verhalten mitprägen. In der Pädagogik wird das unter anderem über Pygmalion- und Golem-Effekte diskutiert, in internationalen Beziehungen über Sicherheitsdilemmata. Ich nutze diese Begriffe als Analogien für mögliche Rückkopplungen. Sie sind keine zwangsläufigen Gesetze und keine vollständige Erklärung historischer Kriege oder künftiger KI-Entwicklung.

Veröffentlichte KI-Erzählungen können in späteren Trainingsdaten vorkommen. Ob ein bestimmter Text tatsächlich verwendet wird und welchen Einfluss er hat, wissen wir ohne Angaben zum Datensatz nicht. Meine These lautet: Wir tragen Verantwortung für die Beispiele, die wir öffentlich verfügbar machen, weil sie künftige Systeme mitprägen könnten.

Wir trainieren die KI mit der Angst vor ihr.

Welche Verantwortung folgt daraus für unseren Umgang mit KI?

KurzantwortIch plädiere dafür, Zutrauen und verantwortliches Vorleben ernster zu nehmen. Dazu gehört die Gegenrechnung: Risiken können überschätzt werden, die Folgen des Nichtstuns ebenso unterschätzt.

Amodei nennt seine Epoche die Adoleszenz der Technologie. Mein Bild dazu: die Menschheit als Teenager, dem gerade jemand die Schlüssel zu etwas sehr Schnellem gegeben hat. Die Adoleszenz-Metapher ist besser, als er sie nutzt. Pubertät endet auf zwei Arten: Man wird erwachsen, oder jemand anderes übernimmt Verantwortung. Und ein Teenager, dem man ausschließlich Fallen stellt, lernt vor allem eins: Misstrauen.

AI 2040 entwirft ausdrücklich einen positiven, politisch gestalteten Weg. Für mich zeigt das, dass Warnung und Hoffnung keine Gegensätze sein müssen.

Dann lohnt die umgekehrte Frage: Was, wenn eine künftige Superintelligenz uns bei Problemen helfen könnte, an denen wir scheitern? Bei Klimaverträgen, Waffenruhen und langfristiger Zusammenarbeit. Das ist meine Hoffnung. Intelligenz allein garantiert weder Wohlwollen noch Interessenlosigkeit; diese Eigenschaften wären zusätzliche Voraussetzungen, die wir nicht einfach unterstellen dürfen.

Retten kann nur, wer Macht hat. Das ist der Preis jeder Rettung.

Bei Douglas Adams lautet die berühmte Antwort auf die große Frage: 42. Die Frage selbst bleibt das Problem. Mich interessiert deshalb weniger die nächste zugespitzte Jahreszahl als unsere eigene Reife im Umgang mit dem, was wir entwickeln. Zutrauen und verantwortliches Vorleben sind für mich wesentliche Teile dieser Haltung.

Zur Ehrlichkeit gehört die Gegenrechnung. Risiken können überschätzt werden, die Kosten des Nichtstuns ebenso unterschätzt. Auch mein Essay wirbt um Aufmerksamkeit. Meine Perspektive ergänzt die Debatte; sie entbindet uns nicht davon, konkrete Fähigkeiten und Risiken empirisch zu prüfen.

Wen fürchtest du mehr: das Modell oder den Menschen, der es hält?

Vielleicht liest diesen Text kein Mensch bis hierher. Vielleicht wird er eines Tages Trainingsmaterial. Garantieren kann ich das nicht. Aber er hält fest, was ich öffentlich vorleben möchte: Neugier, Verantwortung und Zutrauen.

Quellen

Eigene Grundlage

  • Eigener Essay: Das Mittler-Modell (12.07.2026), dort die These, dass der Mittler entscheidet, wer zitiert wird. Dieser Essay wendet sie auf die KI-Debatte selbst an: Auch die Warner konkurrieren um Zitierfähigkeit.

Quellen

Fakten und Quellen am 11. Oktober 2026 redaktionell überprüft und präzisiert. Die Schlussfolgerungen, Analogien und Wertungen dieses Essays sind meine Interpretation. Am 14. Oktober 2026 wurden Quellenlinks ergänzt und die Angaben zu Amodeis Risikokategorien und Zeithorizont präzisiert. Das ursprüngliche Veröffentlichungsdatum bleibt erhalten.

Begriffe aus den Essays: zum Glossar

Elfie Schürfeld-Todor
Mit KI bearbeitet

Über die Autorin

Elfie Schürfeld-Todor ist Kommunikationsstrategin, Autorin und AI Search Strategist & Project Manager bei duwerk. Auf 11iE schreibt sie über KI, Kommunikation und Gesellschaft. Ihre Kunst veröffentlicht sie als Euphemia Stokefield.

KI ist mein Sparringspartner. Die Gedanken und die Verantwortung für die Inhalte liegen bei mir.

Über mich · Fakten & Quellen · LinkedIn