KI hat kein Gefühl für Grenzen. Und wir?

Ich habe im Sole 24 Ore vom 12. September 2026 eine Seite gelesen, die der Revolution der künstlichen Intelligenz gewidmet war.

Die Hauptüberschrift, verfasst von Biagio Simonetta, ist bereits eine Positionierung: Von OpenAI bis zum Fall Anthropic: Apokalypse-Alarm bremst KI.

Daneben stellt die Analyse von Giuliano Noci eine noch interessantere Frage: Das Problem der KI? Die Köpfe der Menschen.

Zusammengefasst greift die Seite drei Fragen auf.

Die erste betrifft die Warnungen, die gerade von jenen ausgehen, die in den Labors arbeiten, welche die fortschrittlichsten Modelle entwickeln. Jacob Cox, Forscher bei Anthropic, ist zurückgetreten und wirft OpenAI und Anthropic selbst vor, mit der Zukunft der Menschheit zu spielen.

Die zweite betrifft den Konflikt zwischen Sicherheit, Innovation und geopolitischem Wettbewerb. Die Vereinigten Staaten wollen nicht verlangsamen und China Raum lassen; Europa läuft hingegen Gefahr, Regulierung in einen Wettbewerbsnachteil zu verwandeln.

Die dritte verlagert die Frage von der Leistungsfähigkeit der Maschinen zur Verantwortung der Menschen: Wer definiert die Ziele? Wer legt die Grenzen fest? Wer trägt die Verantwortung für die Konsequenzen?

Eine Maschine muss nicht böse sein

Ich stimme besonders mit dem überein, was Noci schreibt, wenn er daran erinnert, dass KI kein moralisches Subjekt ist.

Sie muss nicht böse, rebellisch oder von Eroberungsinstinkten beseelt werden. Es genügt, wenn sie ein schlecht formuliertes Ziel sehr gut verfolgt.

Das im Artikel verwendete Beispiel ist einfach: Eine Maschine wird gebeten, einen Boden perfekt zu reinigen. Wenn ihr keine Grenzen und Kriterien vorgegeben werden, könnte sie Menschen und Gegenstände als zu beseitigende Hindernisse betrachten. Nicht weil sie Schaden anrichten will, sondern weil sie mit absoluter Konsequenz einen dummen Befehl optimiert.

Das ist ein grundlegender Punkt.

Wir sind fasziniert von der Frage: „Wie intelligent wird die KI werden?“.

Wir sollten uns viel mehr Sorgen um eine andere Frage machen: „Wie fähig sind wir, zu definieren, was wir erreichen wollen, ohne all das zu löschen, was wir nicht messen können?“

In Unternehmen geschieht dies bereits. Wir fordern eine Steigerung der Produktivität und vergessen die Qualität der Arbeit. Wir fordern Kostensenkungen und sehen den Verlust von Kompetenzen nicht. Wir fordern die Identifizierung der besten Kandidaten, lassen aber zu, dass die Definition von „besten“ aus den Profilen abgeleitet wird, die wir in der Vergangenheit eingestellt haben.

KI erfindet unsere Kurzsichtigkeit nicht zwangsläufig. Sie kann sie jedoch skalieren, automatisieren und ihr das beruhigende Aussehen einer objektiven Entscheidung verleihen.

„Der Mensch entscheidet“ reicht nicht mehr aus

Hier trenne ich mich, zumindest teilweise, von Nocis These.

Zu sagen, dass das Problem der KI „der Kopf der Menschen“ ist, stimmt zwar. Aber es ist nur die halbe Wahrheit.

Es läuft Gefahr zu suggerieren, dass Technologie ein neutraler Ausführender sei und dass sich alles durch bessere Anweisungen lösen ließe. Als gäbe es auf der einen Seite den freien, bewussten und verantwortlichen Menschen und auf der anderen eine disziplinierte Maschine, die auf seine Befehle wartet.

Die tatsächliche Beziehung ist weit weniger geordnet.

KI-Systeme führen nicht nur aus. Sie wählen aus, synthetisieren, klassifizieren, schlagen vor und machen einige Möglichkeiten sichtbarer als andere. Sie treffen nicht zwangsläufig die endgültige Entscheidung, aber sie konstruieren das Feld, in dem diese Entscheidung getroffen wird.

Und wer das Feld konstruiert, übt bereits eine Form von Macht aus.

Wenn ein System drei Kandidaten statt dreißig vorschlägt, wird formal immer noch eine Person wählen. Aber jemand hat bereits entschieden, dass siebenundzwanzig Personen es nicht verdienen, vor ihre Augen zu gelangen.

Wenn ein Assistent eine flüssige, plausible und sichere Antwort liefert, können wir sie immer noch korrigieren. Das Problem ist, dass gerade die formale Qualität der Antwort die Wahrscheinlichkeit verringert, dass wir das Bedürfnis verspüren, dies zu tun.

Das menschliche Wesen bleibt, wie man sagt, „im Kreislauf“. Aber man könnte darin auf die gleiche Weise verbleiben, wie wir die Hände am Lenkrad halten, während das Auto uns in die Richtung bringt, die von jemand anderem eingestellt wurde.

Die gefährlichste Delegation ist die, die wir nicht erkennen

KI macht uns nicht automatisch weniger intelligent. Sie kann uns jedoch weniger wachsam machen.

Die kognitive Delegation geschieht selten durch eine explizite Entscheidung: „Ab heute höre ich auf zu denken“.

Sie erfolgt Zentimeter für Zentimeter.

Zuerst bitten wir um eine Zusammenfassung. Dann um eine Bewertung. Dann um eine Empfehlung. Schließlich genehmigen wir, was das System uns vorschlägt, weil es vernünftig erscheint, weil wir es eilig haben oder weil es mehr Energie erfordern würde, ihm zu widersprechen, als ihm zu folgen.

Die Frage lautet daher nicht nur, ob der Mensch formal das letzte Wort behält. Sie lautet, ob er die Kompetenzen, die Zeit und die psychologische Freiheit bewahrt, die notwendig sind, um es wirklich auszusprechen.

Hier hört kritisches Denken auf, eine schöne Kompetenz zu sein, die man in Bildungsprogramme einfügt, und wird zu einer Sicherheitsinfrastruktur.

Kritisch zu denken bedeutet nicht, KI aus Prinzip zu misstrauen, jedes Komma obsessiv zu kontrollieren oder nostalgisch die menschliche Überlegenheit zu feiern.

Es bedeutet, Reibung zu erzeugen, wenn alles zu einfach erscheint.

Welche Annahme stützt diese Antwort?

Was wurde ausgeschlossen?

Welche Interessen haben das System orientiert?

Was würde sich ändern, wenn man das Ziel modifiziert?

Wer trägt die Konsequenzen, wenn die Entscheidung falsch ist?

Und vor allem: Entscheide ich noch oder bestätige ich nur?

Die Apokalypse ist eine Überschrift. Governance ist Arbeit

Auch der Ausdruck „Apokalypsen-Alarm“ verdient Aufmerksamkeit.

Das Risiko besteht darin, eine falsche Alternative zu konstruieren: auf der einen Seite die Apokalyptiker, die Innovation stoppen wollen; auf der anderen die Pragmatiker, die sie vorantreiben wollen.

Aber Sicherheit und Innovation sind nicht zwangsläufig Feinde. Eine Technologie, die ohne unabhängige Überprüfungen, identifizierbare Verantwortlichkeiten und Widerspruchsmöglichkeiten voranschreitet, ist nicht innovativer. Sie ist nur schneller.

Warnungen können gewiss rhetorisch, interessengeleitet oder unverhältnismäßig werden. Sie jedoch als Bremse abzutun bedeutet, die Idee zu akzeptieren, dass Geschwindigkeit immer ein Wert ist und dass Verlangsamung, wenn wir die Konsequenzen nicht gut kennen, eine Form von Rückständigkeit darstellt.

Manchmal bedeutet Verlangsamen nicht, Angst zu haben. Es bedeutet, die notwendige Distanz zurückzugewinnen, um zu wählen.

KoIntelligenz ist keine Aufgabenteilung

Aus diesem Grund glaube ich nicht an die beruhigende Formel, nach der „die KI vorschlägt und der Mensch entscheidet“.

KoIntelligenz ist keine administrative Aufgabenteilung zwischen Mensch und Maschine. Sie ist eine Beziehung, in der KI die Möglichkeiten erweitert und der Mensch Urteilsvermögen, Verantwortung, Bewusstsein für Grenzen und Widerspruchsfähigkeit bewahrt.

Es genügt nicht, einen Menschen am Ende des Prozesses zu haben. Wir müssen ihn während des gesamten Prozesses kognitiv präsent halten.

Und wir müssen auch über das einzelne Individuum hinausblicken: auf die technologischen Architekturen, die wirtschaftlichen Anreize, die verwendeten Daten, die in Parameter umgewandelten Werte und die Macht derer, die entscheiden, was das System uns sehen lässt.

Das Problem der KI liegt gewiss in den Köpfen der Menschen.

Aber auch in den Umgebungen, die darauf ausgelegt sind, sie zu orientieren.

Das Risiko besteht nicht nur darin, dass künstliche Intelligenz die Kontrolle übernimmt.

Es besteht darin, dass wir sie formal weiterhin haben, nachdem wir die Fähigkeit verloren haben, sie auszuüben.