KI-Verantwortung in Unternehmen

Der EU AI Act schreibt seit 2024 menschliche Aufsicht über Hochrisiko-KI-Systeme gesetzlich vor. Er hat damit den Menschen formell in die Verantwortung gesetzt, und gleichzeitig offengelassen, was passiert, wenn dieser Mensch unter realen Bedingungen kaum noch in der Lage ist, diese Verantwortung tatsächlich wahrzunehmen — KI-Verantwortung im Unternehmen als ungelöste Führungsfrage. Dieser Artikel stellt die Frage, auf die bislang niemand eine überzeugende Antwort hat.

---

Was steckt hinter „Human in the Loop“

In der Debatte über KI-Governance gibt es kaum ein Konzept, das so beruhigend klingt und gleichzeitig so selten hinterfragt wird wie „Human in the Loop“. Die Logik ist eingängig: KI trifft keine endgültige Entscheidung, ein Mensch gibt frei. Problem gelöst.

Der EU AI Act, seit August 2024 in Kraft und ab August 2026 vollständig anwendbar, hat diese Logik in europäisches Recht gegossen [6]. Hochrisiko-KI-Systeme müssen mit angemessenen menschlichen Aufsichtsmaßnahmen ausgestattet sein, bevor sie auf den Markt kommen. Provider tragen die Pflicht zur Risikoabschätzung, Deployer die operative Aufsichtspflicht. Das ist ein wichtiger Schritt in die richtige Richtung.

Was der Gesetzgeber dabei nicht auflöst: Welche Qualität diese menschliche Aufsicht noch hat, wenn ein KI-System Hunderte von Outputs pro Stunde generiert, die jemand freigeben soll. Ein Betrugserkennsystem evaluiert Millionen Transaktionen pro Stunde. Empfehlungsmaschinen beeinflussen täglich Milliarden Interaktionen. Autonome Agenten verketten Tools und APIs ohne menschliche Checkpoints. Das Konzept „Human in the Loop“ wurde für diskrete, hochriskante Einzelentscheidungen entwickelt, nicht für kontinuierlich operierende Systeme, die niemals schlafen.

Menschliche Überprüfung, die in Maschinengeschwindigkeit entstehende Fehler aufhalten soll, erklärt diese im besten Fall im Nachhinein. Das Skalierungsproblem ist längst operative Realität in vielen Unternehmen.

Was mit dem Menschen passiert, der täglich hunderte KI-Outputs freigibt

Die Forschung zu Automation Bias liefert eine wenig komfortable Antwort.

Automation Bias: Die kognitive Tendenz, Empfehlungen automatisierter Systeme zu bevorzugen, auch wenn sie falsch sind oder widersprüchliche Informationen vorliegen. Besonders ausgeprägt unter Zeitdruck und bei fehlendem Fachkontext.

Empirische Studien zeigen: Wer am meisten von KI-Unterstützung profitieren würde, ist am stärksten anfällig dafür, falschen KI-Empfehlungen zuzustimmen. Zeitdruck verstärkt den Effekt [3].

Dabei ist blindes Vertrauen in Algorithmen noch nicht einmal das größte Problem. Untersuchungen zu algorithmischen Entscheidungsprozessen im öffentlichen Sektor zeigen einen Effekt, den Forschende „Selective Adherence“ nennen: Menschen folgen KI-Empfehlungen selektiv dann, wenn diese ihre bereits vorhandenen Vorurteile bestätigen [2]. Das bedeutet: KI-Output wird selektiv genutzt, um bestehende Tendenzen zu verstärken und ihnen den Anschein von Objektivität zu verleihen.

Eine interdisziplinäre Analyse aus Rechtswissenschaft und Psychologie kommt zu einem beunruhigenden Befund: Der Automation Bias untergräbt die in EU-Regulierungen verankerte Anforderung echter menschlicher Aufsicht als Qualitätsmechanismus, und die bestehenden Rechtsrahmen berücksichtigen dieses Risiko bislang unzureichend [1].

Die Annahme, ein Mensch in der Freigabekette sichere die Qualität und Verantwortlichkeit einer KI-Entscheidung, ist psychologisch nicht haltbar. Das gilt besonders dann, wenn Volumen, Tempo und Systemkomplexität steigen.

Auf welchen Ebenen ist KI-Verantwortung im Unternehmen nicht delegierbar?

Was bedeutet das für Führungskräfte, die KI-Automatisierung und Agentensysteme einführen? Die Frage lässt sich auf drei Ebenen betrachten.

Die rechtliche Ebene: KI ist kein Rechtsubjekt. Die überarbeitete EU-Produkthaftungsrichtlinie (2024) hat den Begriff „Produkt“ auf immaterielle KI-Software ausgedehnt und die Beweislast zu Gunsten Geschädigter verschoben [7]. Die Haftung liegt weiterhin bei menschlichen Akteuren: Providern, Deployern, Betreibern. Das ist strukturell zwingend, weil bei lernenden Maschinen, deren Verhalten niemand vollständig vorhersagen kann, eine Verantwortungslücke entsteht: Weder Entwickler noch Betreiber können vollumfänglich für das Systemverhalten eintreten, und das System selbst ist kein moralisches Subjekt. McKinsey bringt das auf den Punkt [11]:

„AI models can analyze and create structure around arguments, they don’t ultimately bear any responsibility for their outputs. By contrast, leaders in the physical world must be accountable to their employees, boards, investors, business partners, and other important stakeholders.“

Die ethisch-moralische Ebene: Was KI-Systeme steuert, sind Gewichte, keine Werte. Sie wurden auf Daten trainiert, die menschliche Entscheidungen und menschliche Vorurteile abbilden. Bias in KI-Systemen ist eine strukturelle Eigenschaft, kein technischer Bug: Das System spiegelt, was in den Trainingsdaten war. Wer einen Algorithmus einsetzt, der systematisch bestimmte Gruppen benachteiligt, trägt dafür Verantwortung, unabhängig davon, ob ein Mensch formal im Loop war. Empirische Studien belegen, dass Bürgerinnen und Bürger Organisationen nicht weniger verantwortlich machen, wenn Diskriminierung von einem Algorithmus ausgeht statt von einem Menschen [8]. Die technologische Delegation löst die moralische Verantwortung nicht auf.

Die fundamentale Ebene: Hier kommt Heinz von Foerster ins Spiel. In seinem Vortrag „Ethics and Second-Order Cybernetics“ (1991) formuliert er das, was er das „metaphysische Postulat“ nennt [10]: „Only those questions that are in principle undecidable, we can decide.“

Die Fragen, bei denen es kein berechnetes Richtig oder Falsch gibt, ob eine Entscheidung fair ist, ob ein Algorithmus-Output die Würde einer Person verletzt, was in einem Wertekonflikt die richtige Wahl ist, sind genau die, bei denen menschliche Entscheidung strukturell unersetzbar ist. Weil keine externe Notwendigkeit antwortet, trägt der Mensch volle Verantwortung:

„With this freedom of choice we are now responsible for the choice we make.“

Von Foerster benennt auch den institutionellen Mechanismus, durch den Verantwortung systematisch vermieden wird: „Through hierarchies, entire institutions have been built where it is impossible to localize responsibility. Everyone in such a system can say, ‘I was told to do X.’“ [10]

„Human in the Loop“ als Organisationsprinzip passt genau in diese Beschreibung. Es ist ein institutionelles Arrangement, das Verantwortung prozedural absichert, ohne sie tatsächlich zu verankern.

Die Gegenposition: Kann KI bei der Oversight helfen?

Es gibt eine ernsthafte Gegenposition, die mehr als eine Fußnote verdient. Das Argument lautet: Wenn Menschen KI-Output nicht mehr in ausreichender Qualität prüfen können, muss KI die Oversight unterstützen. KI überwacht KI unter menschlich definierten Regeln, während Menschen sich auf Architektur, Standards und Eskalationspfade konzentrieren.

Hybride Governance-Modelle wären eine denkbare Antwort darauf: menschliche Verantwortung für riskante und wertgebundene Entscheidungen, KI-Oversight für volumenbasierte, hochfrequente Prozesse [4]. Das ist für bestimmte Kategorien von Entscheidungen sinnvoll, etwa für regelbasierte Compliance-Checks oder Anomalieerkennung.

Was diese Lösung nicht auflöst: Wer verantwortet die Oversight-KI? Und wer entscheidet, welche Entscheidungskategorien als regelbasiert und damit delegierbar gelten, und welche nicht? Auch das ist eine unentscheidbare Frage im Sinne von Foersters. Sie erfordert menschliches Urteil. Aktuelle Forschung zu Value Alignment zeigt, dass sich moralische Konflikte nicht durch technische Optimierung auflösen lassen: Design-Entscheidungen darüber, was ein System maximieren soll, sind selbst normative Entscheidungen, keine technisch neutralen Konfigurationsaufgaben [9].

Die Frage, wie Verantwortung wirklich gelebt werden kann, wenn KI-Output sich weiter in dieser Geschwindigkeit multipliziert, bleibt offen. Ich habe heute keine vollständige Antwort darauf, und ich halte es für ehrlicher, das so zu sagen.

Wie kannst du KI-Verantwortung in deinem Unternehmen konkret verankern?

1. Prüfe die tatsächliche Qualität deiner Human-Oversight-Prozesse

Die entscheidende Frage ist, was dieser Mensch unter realen Bedingungen tatsächlich leisten kann, nicht nur ob er formal im Loop ist. Wie viele KI-Outputs gibt eine Person pro Tag frei? Wie viel Zeit hat sie pro Entscheidung? Welche Informationen stehen ihr zur Verfügung, und mit welchem Wissen, das Ergebnis zu beurteilen? Wer diese Fragen nicht beantworten kann, hat keinen Human in the Loop. Er hat eine Unterschrift unter einem Prozess.

2. Unterscheide zwischen delegierbaren und nicht-delegierbaren Entscheidungen

Nicht jede Entscheidung hat das gleiche Profil. Regelbasierte, gut definierte Szenarien können durch KI-Unterstützung skaliert werden. Das gilt besonders für die Einführung von Copilot und ähnlichen Agentensystemen: Wer pauschal alle Entscheidungskategorien als delegierbar definiert, baut eine Haftungslücke in seine Governance-Struktur ein. Entscheidungen, die Wertekonflikte, Fairness-Abwägungen oder moralisches Urteilsvermögen beinhalten, brauchen Verantwortungsträger:innen mit echtem Zeitbudget und echter Entscheidungskompetenz, nicht nur formale Freigabe-Rollen. Diese Unterscheidung explizit zu machen und in Governance-Strukturen zu verankern ist eine der wichtigsten Führungsaufgaben bei der Einführung von Agentensystemen.

3. Verantwortung braucht Namen, keine Prozesse

„Die KI hat das empfohlen“ und „unser System sieht das so vor“ sind die modernen Varianten von „Ich wurde angewiesen, X zu tun.“ Von Foerster beschrieb 1991, wie Hierarchien und Institutionen so gebaut werden können, dass Verantwortung nicht mehr lokalisierbar ist [10]. Im KI-Zeitalter gelingt das leichter als je zuvor. Die Gegenbewegung dazu ist einfach zu beschreiben, aber kulturell anspruchsvoll: Entscheider:innen, die ihren Namen unter die Konsequenzen setzen, auch wenn ein Algorithmus die Empfehlung generiert hat.

Die Frage bleibt — und das ist ehrlich

Der EU AI Act hat die Richtung richtig erkannt: Menschliche Aufsicht muss rechtlich verankert sein, und Haftung darf nicht in der Komplexität von Systemen verschwinden. Was kein Gesetz leisten kann, ist die Antwort auf die operative Frage, wie echte Verantwortung aussieht, wenn KI-Output weiter exponentiell wächst.

McKinsey schreibt 2026 [11] :

„AI may transform how we work, but only human leaders can determine why we work and what we’re trying to achieve.“

Das stimmt. Und es wird durch zunehmende Automatisierung nicht einfacher, sondern schwieriger.

Verantwortung als Kompetenz zu behandeln und aktiv zu verteidigen, ist der Kern von V im DRAIVE-Framework™. Das bedeutet: die Bereitschaft, die letzte Instanz zu sein, auch wenn ein Algorithmus die Analyse geliefert hat und der Prozess es einfach machen würde, weiterzudelegieren.

Wenn du wissen willst, wo in deiner Organisation Verantwortung heute nicht lokalisierbar ist, ist das genau die Art von Frage, die wir bei co-drAIver gemeinsam durcharbeiten. Meld dich!

Das DRAIVE-Framework™ wurde von co-drAIver entwickelt. Es identifiziert sechs menschliche Kernkompetenzen, die im KI-Zeitalter nicht nur relevant bleiben, sondern an Bedeutung gewinnen: Delegation, Ratio, Agilität, Innovation, Verantwortung und Empathie. Hinter jeder Kompetenz steckt ein fundamentales technologisches Limit der KI-Architektur — kein temporärer Mangel, sondern eine strukturelle Eigenschaft. Dieser Blogpost ist Teil einer mehrteiligen Serie. Weitere Artikel findest du auf www.co-drAIver.com.

---

Über die Autorin

Marion Wetter Transformationsberaterin · Change Managerin · Co-Gründerin von co-drAIver Marion Wetter begleitet Organisationen dabei, KI-Readiness systematisch aufzubauen – strategisch und menschenzentriert. Als Co-Gründerin von co-drAIver hat sie das DRAIVE-Framework™ entwickelt: ein praxiserprobtes Kompetenzmodell, das zeigt, welche menschlichen Stärken im KI-Zeitalter strukturell nicht ersetzbar sind. Marion ist Trainerin, Keynote-Speakerin und regelmäßige Autorin zu den Themen KI-Transformation, Change Management und KI-Literacy.  www.co-drAIver.com

---

Quellen

[1] Ruschemeier, H. & Hondrich, L.J. (2024). Automation bias in public administration – an interdisciplinary perspective from law and psychology. Government Information Quarterly. https://www.sciencedirect.com/science/article/pii/S0740624X24000455

[2] Alon-Barkat, S. & Busuioc, M. (2022). Human–AI Interactions in Public Sector Decision Making: „Automation Bias“ and „Selective Adherence“ to Algorithmic Advice. Journal of Public Administration Research and Theory, 33(1). https://academic.oup.com/jpart/article/33/1/153/6524536

[3] Kücking, F. et al. (2024). Automation Bias in AI-Decision Support: Results from an Empirical Study. Studies in Health Technology and Informatics, 317, 298–304. https://pubmed.ncbi.nlm.nih.gov/39234734/

[4] Kazim, E. (2026, Januar). Human-in-the-loop has hit the wall. It’s time for AI to oversee AI. SiliconAngle. https://siliconangle.com/2026/01/18/human-loop-hit-wall-time-ai-oversee-ai/

[5] Matthias, A. (2004). The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology, 6. https://link.springer.com/article/10.1007/s10676-004-3422-1

[6] Europäische Kommission (2024). Regulation (EU) 2024/1689 — Artificial Intelligence Act. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai

[7] Europäische Kommission (2024). Directive 2024/2853 — Product Liability Directive (revised). https://eur-lex.europa.eu/eli/dir/2024/2853/oj/eng

[8] Alon-Barkat, S., Busuioc, M., Schwoerer, K. & Weißmüller, K.S. (2025). Algorithmic discrimination in public service provision. Journal of Public Administration Research and Theory, 35(4). https://academic.oup.com/jpart/article/35/4/469/8249873

[9] Moral disagreement and the limits of AI value alignment (2025). AI & Society, Springer Nature. https://link.springer.com/article/10.1007/s00146-025-02427-2

[10] Von Foerster, H. (1991). Ethics and Second-Order Cybernetics. In: KybernEthik, Merve Verlag (1993). https://uranos.ch/research/references/VonFoerster1992/ethics.pdf

[11] Sternfels, B., Brende, B. & Pacthod, D. (2026, Januar). Building leaders in the age of AI. McKinsey & Company.