Prüfung ist eine geplante Funktion im KI-Prozess
Menschen sichern Kontext, Verantwortung, Ausnahmebehandlung und fachliche Vertretbarkeit.
Ihre Aufgabe besteht nicht darin, jede Ausgabe pauschal abzunicken. Eine belastbare Prüfung benötigt einen klaren Prüfgegenstand, ausreichende Informationen, Entscheidungskompetenz und einen definierten Eskalationsweg.
Human-in-the-loop ist deshalb kein Etikett. Es ist ein Rollen- und Prozessdesign.
Ausgangslage
Bis Ende 2023 wurden generative Modelle in vielen Wissensarbeiten praktisch erprobt.
Dabei zeigte sich ein wiederkehrendes Muster:
- Die Ausgabe war schnell.
- Die Formulierung wirkte überzeugend.
- Einzelne Fehler waren schwer auf den ersten Blick zu erkennen.
- Unternehmenskontext oder Ausnahmen fehlten.
- Verantwortliche mussten entscheiden, ob das Ergebnis verwendet werden durfte.
Die naheliegende Antwort lautete häufig: „Ein Mensch prüft das noch.“
Diese Formulierung war zu ungenau.
Wer prüft? Was genau wird geprüft? Nach welchen Kriterien? Mit welchen Quellen? Was geschieht bei Unsicherheit? Wie viel Zeit steht zur Verfügung? Darf die prüfende Person den Vorgang stoppen?
Ohne Antworten auf diese Fragen wird menschliche Prüfung zur formalen Endstation. Sie erzeugt das Gefühl von Kontrolle, ohne tatsächlich Kontrolle zu gewährleisten.
Die vier Funktionen menschlicher Prüfung
1. Kontext bewerten
Ein KI-System verarbeitet die Informationen, die ihm zur Verfügung stehen. Es erkennt nicht zuverlässig, welche unausgesprochene geschäftliche, soziale oder fachliche Bedeutung ein Fall besitzt.
Menschen können beurteilen:
- ob eine Anfrage sensibel ist,
- ob ein Ton angemessen ist,
- ob eine Ausnahme vorliegt,
- ob zusätzliche Informationen benötigt werden,
- ob die vorgeschlagene Handlung zum realen Ziel passt.
2. Fachliche Vertretbarkeit sichern
Eine Ausgabe kann plausibel sein und dennoch falsch oder unvollständig.
Fachliche Prüfung vergleicht das Ergebnis mit:
- verbindlichen Quellen,
- geltenden Regeln,
- tatsächlicher Leistung,
- aktuellem Wissensstand,
- zulässiger Aussagegrenze.
Die prüfende Person übernimmt damit nicht die Verantwortung des Modells. Sie übernimmt die Verantwortung für die Verwendung des Ergebnisses.
3. Ausnahmen behandeln
Belastbare Automatisierung kennt einen Standardpfad und einen Ausnahmeweg.
Menschen entscheiden dort, wo:
- Informationen fehlen,
- Quellen widersprechen,
- Risiken erhöht sind,
- die Regel nicht eindeutig greift,
- eine irreversible Handlung droht,
- betroffene Personen besondere Schutzinteressen besitzen.
Ein System muss solche Fälle erkennen und sichtbar übergeben können.
4. Lernen ermöglichen
Menschliche Korrekturen sind nicht nur Einzelfallarbeit.
Sie zeigen:
- welche Fehler wiederkehren,
- welche Quelle fehlt,
- welcher Prompt unklar ist,
- welche Regel ergänzt werden muss,
- welcher Fall nicht automatisiert werden sollte.
Wer diese Rückmeldungen dokumentiert, verbessert den gesamten Prozess. Wer sie nur still korrigiert, hält die Schwäche unsichtbar.
Strategische Einordnung
Der NIST AI Risk Management Framework verband vertrauenswürdigen KI-Einsatz 2023 mit Governance, Kontextverständnis, Messung und Risikobehandlung.
Auch ISO/IEC 23894 ordnete Risikomanagement als fortlaufende organisatorische Aufgabe ein. Der Mensch ist in diesem Rahmen nicht bloß letzte Kontrollinstanz. Er ist Teil der Gestaltung, Bewertung und Überwachung.
Die OECD AI Principles betonten bereits seit 2019 menschzentrierte Werte, Transparenz, Robustheit und Verantwortlichkeit.
Für Unternehmen folgt daraus:
Menschliche Prüfung muss proportional zur möglichen Wirkung gestaltet werden.
Das Rollenmodell der Prüfung
Wie das Kontrollniveau festgelegt wird
Geringe Auswirkung und leichte Korrekturbarkeit
Beispiel: interne Gliederungsvarianten.
Möglich sind:
- sichtbare Kennzeichnung als Entwurf,
- Stichproben,
- einfache Plausibilitätsprüfung,
- keine automatische externe Verwendung.
Mittlere Auswirkung
Beispiel: vorbereitete Kundenkommunikation.
Erforderlich sind meist:
- fachliche Prüfung vor Versand,
- Zugriff auf verbindliche Quellen,
- dokumentierte Korrektur,
- klare Freigaberolle.
Hohe Auswirkung oder geringe Umkehrbarkeit
Beispiel: verbindliche Entscheidung, Systemaktion oder sensible Aussage.
Hier reichen allgemeine Prüfroutinen nicht. Es werden strengere Kontrollen, dokumentierte Entscheidung und gegebenenfalls eine spezialisierte rechtliche oder fachliche Prüfung benötigt.
Perspektive aus der Praxis
Eine gute Prüfstufe ist so gestaltet, dass die verantwortliche Person schnell erkennt:
- welche Eingaben verwendet wurden,
- welche Quellen zugrunde lagen,
- welche Unsicherheit besteht,
- welche Regel gegriffen hat,
- welche Änderung das System vorschlägt,
- welche Folgen die Freigabe auslöst.
Eine schlechte Prüfstufe zeigt nur das fertige Ergebnis und verlangt einen Klick auf „Bestätigen“.
Dann muss der Mensch den gesamten Vorgang neu rekonstruieren. Unter Zeitdruck entsteht leicht ein sogenannter Abzeichnungseffekt. Die Ausgabe wird bestätigt, weil das System bereits professionell wirkt und die Prüfung zu aufwendig ist.
Was Unternehmen nicht tun sollten
Unternehmen sollten Human-in-the-loop nicht als pauschale Absicherung in Präsentationen verwenden.
Eine Person im Prozess verhindert keinen Fehler, wenn sie:
- zu wenig Kontext besitzt,
- keine Zeit für Prüfung hat,
- nicht eingreifen darf,
- keine klaren Kriterien kennt,
- die Quelle nicht sehen kann,
- für zu viele Fälle gleichzeitig verantwortlich ist.
Sie sollten auch nicht jeden Vorgang gleich streng prüfen. Überkontrolle macht den Prozess unwirtschaftlich. Unterkontrolle macht ihn riskant. Das Kontrollniveau muss zur Wirkung passen.
Konsequenz für Unternehmen
Menschliche Prüfung bleibt notwendig, weil KI-Systeme keine betriebliche Verantwortung übernehmen.
Diese Prüfung kann mit wachsender Qualität effizienter, risikobasiert und stärker durch technische Kontrollen unterstützt werden. Sie verschwindet jedoch nicht dort, wo Kontext, Ausnahme und Vertretbarkeit relevant bleiben.
Die richtige Frage lautet deshalb nicht:
Brauchen wir noch einen Menschen?
Sondern:
Welche menschliche Entscheidung muss an welcher Stelle mit welchen Informationen möglich bleiben?
Fachlicher Anschluss
Prüfrollen und Eskalationswege gestalten
KI-Governance definiert, welche Ergebnisse automatisch weiterverarbeitet, stichprobenartig kontrolliert, fachlich geprüft oder ausdrücklich freigegeben werden. Die SDC-Discovery macht diese Kontrollpunkte und Verantwortlichkeiten sichtbar.
Menschliche Prüf- und Freigabestufen einordnen
Quellen und fachliche Grundlagen (5)
- National Institute of Standards and Technology, „Artificial Intelligence Risk Management Framework (AI RMF 1.0)“, 2023. Quelle öffnen
- ISO, „ISO/IEC 23894:2023. Artificial intelligence. Guidance on risk management“, 2023. Quelle öffnen
- OECD, „OECD AI Principles“. Quelle öffnen
- OpenAI, „GPT-4 System Card“, März 2023. Quelle öffnen
- Information Commissioner’s Office, „Guidance on AI and data protection“, 2023. Quelle öffnen
