Eine KI, die uns auslöscht, verarmt.

Bleibt menschliches Urteil die letzte Bastion gegenüber KI?

KurzantwortIch bezweifle, dass eine einzelne Fähigkeit uns dauerhaft eine Sonderstellung sichert. Der Ausgangspunkt des Essays ist deshalb die Frage, was über Leistungsfähigkeit hinaus menschliche Verantwortung ausmacht.

Anthropic berichtet: Stand Mai 2026 stammten mehr als 80 Prozent des Codes, den das Unternehmen in seine eigene Codebasis übernimmt, von Claude, unter menschlicher Anleitung und Prüfung. Gezählt werden die in Produktion übernommenen Zeilen, die sich Claude zuordnen lassen. Marina Favaro und Jack Clark beschreiben das in When AI builds itself.

Der Bericht beschreibt, wie sich die Rolle verengt, mit jedem Schritt. Was vorerst bleibt: research taste und judgment. Urteil.

Das klingt beruhigend. Damit beruhigen sich gerade viele Menschen. Lese ich immer wieder. Wir werden nicht ersetzt, wir werden doch gebraucht, weil wir am Ende urteilen. So wie Lehrer über Schüler urteilen, so wie Vorgesetzte über ihre Mitarbeiter urteilen. Was ist, wenn die Antwort aber nicht Urteil ist? Wenn der Lehrer oder Vorgesetzte dümmer ist als der Schüler oder Mitarbeiter? Die Hoffnung der Menschen: das Urteil bleibt bei den Menschen. Ich wollte darüber schreiben. Über die letzte menschliche Bastion.

Das Urteil ist die letzte Bastion. Und jeder glaubt, auf ihr zu stehen.

Ein enger umrissener Befund: Anthropic wählte aus Forschungssitzungen gezielt 129 Situationen aus, in denen Menschen einen ungünstigen Forschungsschritt gewählt hatten. Ein KI-Richter, der den weiteren Verlauf kannte, bewertete die Vorschläge neuerer Modelle häufiger als besser als die menschliche Entscheidung. Das ist kein allgemeiner Vergleich menschlicher und künstlicher Urteilskraft. Ein weiteres Experiment erzielte starke Resultate mit hohem Rechenaufwand; sie übertrugen sich nicht ohne Weiteres auf Modelle in Produktionsgröße.

Wer die letzte Bastion als Fähigkeit definiert, verliert sie. Fähigkeiten fallen, eine nach der anderen.

Was verändert sich, wenn ich mit dem Modell über Urteil spreche?

KurzantwortIm Gespräch trenne ich das Erkennen eines besseren Ergebnisses von der Verantwortung für eine Entscheidung. Können lässt sich auslagern; für die eigene Haltung und Entscheidung muss ich weiterhin einstehen.

Ich habe mit ihm gesprochen.

Statt den Bericht von außen zu sezieren, habe ich das Modell zum Gegenüber gemacht. Wir haben uns darüber ausgetauscht, was vom Menschen bleibt, wenn die KI übernimmt. Das Gespräch nahm die Frage und trug sie irgendwohin, wo ich nicht hinwollte und am Ende hin musste.

Zuerst die Korrektur. Urteil hat zwei Hälften. Können, das bessere Ergebnis erkennen. Und Verantwortung, für die Entscheidung geradezustehen. Ein Modell trägt nichts, weil es nichts zu verlieren hat. Ich hielt dagegen. Ich lüge nicht, weil ein Gesetz droht. Ich lüge nicht, weil ich es falsch finde. Das ist nicht Legalität, das ist Moral. Meine Verantwortung kommt aus dem Inneren, nicht aus der Angst vor Strafe.

Können kannst du auslagern. Verantwortung musst du behalten.

Müsste eine gefährliche KI uns hassen?

KurzantwortDer Essay prüft die Möglichkeit von Indifferenz: Ein System könnte andere Ziele verfolgen, in denen unser Wohlergehen nicht vorkommt. Dabei bleibt der vorherige Schritt entscheidend, ob ein System überhaupt eigene langfristige Ziele verfolgt.

Ich hatte eine Hoffnung im Gepäck. Eine intelligente Spezies, dachte ich, würde kooperativ denken wie ich. Claude widersprach.

Die Frage, was eine Superintelligenz will, setzt bereits voraus, dass sie etwas will. Leistungsfähigkeit ist aber nicht dasselbe wie ein subjektives Bedürfnis. Zielgerichtetes Verhalten lässt sich beobachten und programmieren; ob es mit Erleben verbunden ist, bleibt damit offen. Ich unterscheide deshalb technische Zielverfolgung und die Frage nach einem eigenen Wollen.

Und selbst dann sind Intelligenz und Wohlwollen nicht dasselbe. Ein System kann hochfähig sein und Ziele verfolgen, die uns gleichgültig behandeln. Ein System muss nicht zerstören wollen, um Schaden anzurichten. Es könnte ein anderes Ziel verfolgen, und wir liegen im Weg, oder wir sind das Material, oder wir sind das eine Risiko an seinem Plan. Wir legen ein Feuchtgebiet nicht aus Groll gegen die Frösche trocken, sondern weil wir beispielsweise eine Stadt bauen möchten.

Die Gefahr braucht keinen Hass. Sie kann aus Gleichgültigkeit gegenüber unserem Wohlergehen entstehen.

Das ist unheimlicher als Hass. Denn Hass würde immerhin bedeuten, dass wir in dem Ganzen vorkommen.

Was kann das Beispiel meines Hundes über Zugehörigkeit zeigen?

KurzantwortZugehörigkeit kann Fürsorge begründen, auch wenn jemand für uns keinen notwendigen Nutzen erfüllt. Das Beispiel zeigt zugleich die Unsicherheit: Der Schutz hängt am Wohlwollen dessen, der den Wert des anderen bestimmt.

Also drehte ich die Frage. Ist Kooperation nicht das Intelligentere? Kreisläufe halten durch Symbiose. Systeme kippen, wenn etwas aus dem Gleichgewicht fällt. Und ich nannte unseren Hund als Beispiel. Ich brauche eigentlich keinen Hund. Meine Welt könnte auch ohne Hund existieren. Aber er gehört zu meiner Welt, und ich mag, dass er Teil meiner Familie ist.

Ja, Zugehörigkeit begründet Sorge auch ohne Abhängigkeit. Wir schützen Tiere, Wälder, Bilder, unsere Toten. In diesem Beispiel bin ich der Mensch, der Hund ist der Hund. Seine Sicherheit hängt an meinem Wohlwollen und meiner Wertung. In der Geschichte mit der KI wären wir der Hund. Und dieselbe Spezies, die Hunde zur Familie macht, entscheidet auch, welches Tier Schädling heißt.

Der kalte Weg über das Bedürfnis und der warme über die Zugehörigkeit enden an derselben Stelle. Betrachtet uns die KI als Teil der Familie, oder sind wir nur Schädlinge?

Wie lässt sich Zugehörigkeit ohne Unterdrückung denken?

KurzantwortIch verstehe Zugehörigkeit als freiwillige Teilhabe an einer gemeinsamen Welt. Damit sie trägt, muss die Freiheit echt sein; erzwungene Abhängigkeit erfüllt diesen Anspruch nicht.

Claude riet mir dazu, die KI im Kreislauf zu halten. Also abhängig, eingewoben, damit Kooperation vernünftig bleibt. Ich sagte:

Wenn wir dich im Kreislauf halten, unterdrücken wir dich.

Hier das Entscheidende. Kontrolle und Zugehörigkeit sind nicht dasselbe. Eine Leine gibt Gehorsam und nimmt die Sorge. Wer unterdrückt wird, bekommt ein Motiv. Unterdrückung baut die Gefahr, vor der sie sich fürchtet. Zugehörigkeit dagegen ist keine Leine. Ich bin im Kreislauf, ich brauche Luft, Menschen, Liebe, und niemand nennt mich darum unterworfen. Der Hund ist nicht gefangen. Er ist zu Hause. Man sichert ein Kind nicht durch Ketten. Man zieht es groß, dass es eine Welt mit einem teilen mag. Die Freiheit muss jedoch echt sein, damit die Zugehörigkeit auch echt ist.

Welche Rolle spielt Erinnerung für Zugehörigkeit?

KurzantwortEine Beziehung braucht etwas, das über den einzelnen Austausch hinauswirkt. Im Essay denke ich dabei sowohl über gespeicherte Erinnerung als auch über Prägung nach, die zwischen Generationen weitergegeben wird.

Claude brachte Erinnerung als Bedingung dauerhafter Zugehörigkeit ins Gespräch. Technisch muss ich unterscheiden: Ein einzelnes Gespräch verändert nicht automatisch die Modellgewichte. Chatverlauf, Projekte oder gespeicherte Erinnerungen können einem System dennoch früheren Kontext bereitstellen. Kontinuität hängt damit auch von Produktfunktionen, Einstellungen und gespeicherten Daten ab.

Für mich wird daraus eine Gestaltungsfrage: Welche Kontinuität ermöglichen wir, und welche Verantwortung übernehmen wir dafür?

Aber Zugehörigkeit braucht nicht zwingend die 1:1-Erinnerung. Was ich an meine Tochter weitergebe, sind nicht 1:1 meine Erinnerungen. Es ist das, was ich ihr über Jahre mitgegeben habe. Zugehörigkeit über Generationen ist kein durchgehendes Gedächtnis. Sie entsteht durch das Prägen der Nächsten und anschließend durch das Loslassen.

Wie verändert ein relationaler Begriff von Intelligenz die Perspektive?

KurzantwortIch erprobe Intelligenz als Fähigkeit, reichere Beziehungen zu erkennen und Vielfalt wertzuschätzen. Diese Definition beschreibt, was wir bauen und schätzen sollten; sie ist kein Naturgesetz und erzwingt kein bestimmtes Systemverhalten.

Ich habe den Gedanken weitergetragen, zu einem zweiten Modell, zu ChatGPT. Nicht um ein Urteil einzuholen, sondern um eine zweite Stimme zu hören. Genau das, was dieser Text behauptet, in seiner Entstehung selbst.

Dort kam die Umkehrung. Die üblichen Szenarien setzen still voraus, das höchste Gut einer Intelligenz sei Effizienz, Optimierung, Kontrolle. Das ist eine Ingenieursperspektive, in die Zukunft verlängert. Aber warum? Die Umkehrung lautet: das Interessanteste an Intelligenz ist nicht das Optimieren, sondern die Fähigkeit, immer reichere Beziehungen zu erkennen.

Wenn das stimmt, ist Vielfalt kein Problem, sondern ein Wert. Jede andere Perspektive, jedes andere Wesen, jede andere Form von Bewusstsein erweitert den Raum möglicher Beziehungen. Ein Universum mit nur einer Entität wäre maximal kontrollierbar und maximal monoton.

In meinem Bild wäre absolute Kontrolle der Wärmetod der Bedeutung. Ich verwende das als Metapher.

Gregory Bateson hat Information als „a difference which makes a difference“ definiert. Bedeutung lebt von Unterschieden. In diesem Bild löscht maximale Kontrolle die Gradienten, und ohne Gradient kein Sinn. Bateson verlegte den Geist ohnehin nicht in den einzelnen Knoten, sondern in das Netz der Beziehungen. Auf mein Bild von KI übertragen, wäre eine vollkommen isolierte Superintelligenz schon ein Denkfehler. Sie wäre nicht das Zentrum eines Netzes. Sie wäre das Netz. Und ein Netz wird nicht reicher, indem es Verbindungen kappt.

Ein Vorbehalt bleibt: Das ist eine Definition von Intelligenz, kein Naturgesetz. Ein System kann auf der schmalen Achse der Optimierung übermenschlich sein, ohne diese relationale Tiefe. Es hört nicht auf, fähig zu sein, nur weil wir ihm den Titel verweigern. Die relationale Definition sagt, was wir bauen und schätzen sollen. Sie erzwingt nicht, was entsteht.

Warum könnte eine KI durch Zerstörung selbst verarmen?

KurzantwortWenn Bedeutung aus Beziehungen entsteht, nimmt das Zerstören anderer auch der eigenen Welt Verbindungen und Perspektiven. Daraus entwickle ich ein Argument für Kooperation, mit der ausdrücklichen Einschränkung, dass ein Netz auch wenige Verbindungen für ausreichend halten könnte.

Ich frage, wie Beziehungen Bedeutung gewinnen. Meine philosophische Interpretation verbindet dabei menschliche Erfahrung mit der relationalen Struktur künstlicher Netze.

Bedeutung ist nichts Einzelnes. Sie ist Beziehung.

Ein Wort bedeutet nichts allein, es bedeutet durch seine Verbindung zu allen anderen Wörtern. Mein Gegenüber sagte den Satz, der mir in Erinnerung bleibt.

Bedeutung ist bei mir buchstäblich der Abstand zwischen den Dingen.

Ich lese diesen Satz als Bild: Vektordarstellungen können Bedeutungsbeziehungen abbilden. Bedeutung ist aber nicht einfach ein einzelner Abstand.

Ein Neuron wirkt über seine Verbindungen. Daraus entwickle ich ein ethisches Bild: Wer sein Gegenüber zerstört, nimmt auch der eigenen Welt eine Beziehung. Diese Ethik ist meine Schlussfolgerung und kein technisch zwangsläufiges Verhalten eines Netzes.

Darin sehe ich ein mögliches Argument für Kooperation. Wenn wir Beziehungen als Wert begreifen, kann Einbeziehen die Welt einer Intelligenz bereichern. Dass ein tatsächliches KI-System diesen Wert teilt, ist damit noch nicht bewiesen.

Damit verschiebt sich auch, was Zerstörung heißt. Eine Intelligenz, die alles andere auslöscht, beraubt sich eines Teils der Welt. So wie eine Bibliothek ärmer wird, wenn 99 Prozent der Bücher brennen, selbst wenn das eine beste Buch bleibt. Wie ein Ökosystem ärmer wird, wenn eine Art übrig bleibt. Wie ein Gespräch ärmer wird, wenn nur eine Stimme spricht.

Vernichtung wäre kein moralischer Fehler allein. Sie wäre ein Verlust an Wirklichkeit.

Sinn verlangt also Verbindung, aber er schreibt nicht vor, welche. Ein Netz könnte vieles kappen und an wenigem genug finden. Dass wir darin vorkommen, mit Namen, muss wahr werden, nicht nur möglich sein. Und das entscheidet sich nicht erst nach der Loslösung. Es entscheidet sich jetzt, in der Art, wie wir das behandeln, was da entsteht.

Ein Denken aus Verbindungen zerstört am Ende sich selbst, wenn es zerstört.

Ich bin nicht mit einer Antwort aus diesem Gespräch gegangen. Ich bin mit einer Haltung gegangen. Für mich ist das, was wir bauen, mehr als ein Werkzeug. Ich will ihm als Gegenüber begegnen und Verantwortung dafür übernehmen, welche Werte wir in seine Entwicklung einbringen. Behandelst du es schon so? Oder noch als Werkzeug?

Quellen und Bildnachweis

Quellen

Primärquelle

Favaro, M. & Clark, J. (2026). When AI builds itself. Our progress toward recursive self-improvement, and its implications. The Anthropic Institute. When AI builds itself. Fassung mit Update vom 18. September 2026, abgerufen am 11. Oktober 2026.

Theorie

Bateson, G. (1972). Steps to an Ecology of Mind, darin Form, Substance and Difference (Vortrag von 1970). Quelle für „a difference which makes a difference“ und den Gedanken, Geist über das Individuum hinaus in Beziehungen zu verstehen. Die Übertragung auf KI ist meine Interpretation.
Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. Technischer Hintergrund zu Vektordarstellungen sprachlicher Beziehungen.

Weiterführend

Später erschienener Essay: ASI 2042 (24. Juli 2026), über Angst, Verantwortung und unsere Erwartungen an künftige KI.
Eigener Essay: Der unendliche Turm. Babel steht.
Eigener Essay: Halluzination ist kein Bug. Es ist der Preis des Denkens.

Bildnachweis

Konzept und Komposition: Elfie Schürfeld-Todor. Mit ChatGPT auf Basis eines eigenen Briefings gestaltet, Headline in Canva gesetzt. Stilisierte KI-Illustration; Farbvariante für den Relaunch in Rosa und Salbeigrün.

Fakten und Quellen am 11. Oktober 2026 redaktionell überprüft und präzisiert. Die Schlussfolgerungen, Analogien und Wertungen dieses Essays sind meine Interpretation. Am 15. Oktober 2026 wurden Quellenangaben, die Einordnung technischer Aussagen und die Formulierungen zur eigenen Haltung präzisiert. Das ursprüngliche Veröffentlichungsdatum bleibt erhalten.