Was ist AI Governance?

AI Governance beantwortet eine zentrale Frage: Wer ist wofür verantwortlich beim Einsatz von KI, und wie macht man das nachweisbar? Es geht um die Steuerung, nicht um die Technik selbst. Ein Modell kann technisch hervorragend abschneiden und dennoch ein Governance-Problem darstellen, nämlich dann, wenn niemand für sein Handeln verantwortlich ist.

Das Framework verbindet vier Aspekte. Die Richtlinie legt fest, was die Organisation als verantwortungsvoll erachtet. Rollen bestimmen, wer entscheidet, wer Risiken bewertet und wer überwacht. Prozesse steuern den Lebenszyklus von der Aufnahme bis zur Ausphasung. Kontrollen beherrschen die Risiken rund um Daten, Bias, Erklärbarkeit und Sicherheit. Zusammen stellen sie sicher, dass eine KI-Entscheidung auf eine Person, eine Begründung und einen Zeitpunkt zurückführbar ist.

Ein Beispiel macht dies konkret. Angenommen, ein KI-System lehnt einen Antrag ab. Mit Governance ist klar, welches Modell die Entscheidung getroffen hat, welche Daten verwendet wurden, wer den Einsatz genehmigt hat und wie ein Betroffener Widerspruch einlegen kann. Ohne Governance existiert diese Verantwortungskette nicht, und eine Ablehnung bleibt eine Blackbox.

AI Governance wird regelmäßig mit angrenzenden Begriffen verwechselt, obwohl die Unterscheidung in der Praxis entscheidend ist. Data Governance konzentriert sich auf die Qualität, Herkunft und Verwaltung von Daten. Sie bildet einen Baustein der AI Governance, da ein Modell nur so zuverlässig ist wie die zugrunde liegenden Daten. KI-Ethik befasst sich mit moralischen Grundsätzen wie Fairness, Transparenz und Nichtdiskriminierung, die in die Richtlinie einfließen. Model Governance betrifft die Verwaltung der Modelle selbst: Versionsverwaltung, Validierung und Überwachung der Leistung nach der Inbetriebnahme. AI Governance ist die übergeordnete Funktion, die diese Elemente zusammenführt und mit der unternehmerischen Entscheidungsfindung verknüpft. Wer nur nach Ethik steuert, behält gute Absichten ohne Absicherung. AI Governance verbindet die drei. In der Praxis bedeutet das eine klare Aufgabenverteilung: Der Datenverwalter überwacht Qualität und Herkunft, der Modellverantwortliche überwacht Validierung und Leistung, und die Governance-Funktion koppelt beides an die Richtlinie und die Managementbewertung.

AI Governance ist eine fortlaufende Funktion, vergleichbar mit der Art und Weise, wie Informationssicherheit in einem Managementsystem verankert ist. Es ist kein Projekt mit einem Enddatum. Wer sie losgelöst von bestehenden Strukturen aufbaut, erhält lediglich eine theoretische Ebene, die in der täglichen Praxis nicht funktioniert.

Was passiert ohne AI Governance?

Hier wird die Theorie konkret. In unseren Audits sehen wir immer wieder dieselben Muster, wenn Governance fehlt. Drei davon treten am häufigsten auf.

Das erste Muster ist Shadow AI. Mitarbeiter nutzen Tools wie ChatGPT oder Microsoft Copilot auf eigene Initiative, außerhalb der Sichtweite von IT und Management. Eine Organisation, die Copilot breit einführte, entdeckte bei der Überprüfung, dass niemand wusste, welche Daten das System abfragen durfte und wer die Nutzung überwachte. Die Technik funktionierte einwandfrei. Die Kontrolle fehlte vollständig. Ein einfacher Rahmen mit Nutzungsregeln, einer Ansprechperson und periodischen Evaluierungen brachte die Kontrolle zurück.

Das zweite Muster ist die Feststellung, die wir am häufigsten notieren: eine Maßnahme ohne Verantwortlichen. Jemand hat ein KI-System entwickelt und in Betrieb genommen. Fragt man, wer für fehlerhafte Ergebnisse verantwortlich ist, bleibt es still. Bei einer Gesundheitseinrichtung unterstützte eine KI-Anwendung die Triage. Niemand war dazu bestimmt, abweichende Ergebnisse zu bewerten, und die Erklärbarkeit gegenüber dem Pflegepersonal war nicht gewährleistet. Für diesen Sektor spielt zudem die NEN 7510 eine Rolle, die Norm für Informationssicherheit im Gesundheitswesen. Die Lösung lag in der Zuweisung von Verantwortlichkeiten und dem Einbau menschlicher Aufsicht in den Pflegeprozess.

Das dritte Muster ist das skalierte Pilotprojekt. Ein erfolgreicher Test wird ausgerollt, ohne dass die Governance mitgewachsen ist. Die Verantwortlichkeiten bleiben informell, die Datenqualität ist nicht gesichert und die Risiken wurden nie formell bewertet. Die Ursache liegt selten in der Technologie selbst, sondern häufiger im Fehlen von Steuerung. Dieser Teil ist korrigierbar, sofern man frühzeitig ansetzt.

Die Folge ist immer dieselbe. Die Organisation entdeckt das Problem erst zum falschen Zeitpunkt: bei einem Vorfall, einem Audit oder einer Anfrage einer Aufsichtsbehörde. Eine frühzeitige Einrichtung verhindert diese Überraschungen.

AI Governance bei eingekaufter KI

Die größte Governance-Herausforderung liegt oft in eingekaufter KI statt in selbst entwickelten Modellen. Die meisten Organisationen nutzen Microsoft Copilot, ChatGPT Enterprise, Gemini oder Claude. Der Anbieter entwickelt und trainiert das Modell. Die Organisation, die es einsetzt, bleibt für die Ergebnisse verantwortlich. Diese Unterscheidung wird oft übersehen.

Die Governance von Anbieter-KI erfordert eigene Kontrollen. Bewerten Sie pro Anbieter, wo Daten verbleiben, welcher Auftragsverarbeitungsvertrag gilt und welche Informationen der Anbieter über Training, Einschränkungen und Sicherheit bereitstellt. Legen Sie fest, wer innerhalb der Organisation den Einsatz genehmigt und überwacht. Die Organisation, die das System nutzt, trägt die Verantwortung für ein falsches Ergebnis, auch wenn eine externe Partei das Modell geliefert hat.

AI Governance und ISO 42001

ISO 42001 ist die internationale Norm für ein KI-Managementsystem, veröffentlicht als ISO/IEC 42001:2023. Während der AI Act vorschreibt, was Sie kontrollieren müssen, bietet die Norm den Rahmen für das Wie. Die Norm fordert eine Richtlinie, eine Risikobewertung, festgelegte Rollen, Ziele und eine Managementbewertung.

ISO 42001 folgt derselben High Level Structure wie ISO 27001 und ISO 9001. Das bietet einen praktischen Vorteil. Eine Organisation mit einem bestehenden Managementsystem kann AI Governance dort anknüpfen. Die Risikobewertung, das interne Audit und die Managementbewertung existieren dann bereits und werden um die KI-Dimension erweitert. Für Gesundheitseinrichtungen schließt dies an die NEN 7510 an.

In der Praxis nimmt eine Implementierung in der Regel einige Monate in Anspruch, abhängig von der Ausgangssituation und der Anzahl der KI-Systeme. Das Audit prüft nicht nur, ob die Dokumente korrekt sind. Ein Lead Auditor schaut, ob die Managementbewertung tatsächlich stattfindet, ob das interne Audit Ergebnisse liefert und ob Risiken neu bewertet werden. Eine Governance, die nur auf dem Papier existiert, fällt bei dieser Prüfung durch.

Eine Zertifizierung ist nicht immer obligatorisch, aber wertvoll. Sie liefert eine unabhängige Bestätigung, dass die Governance nachweisbar funktioniert. Organisationen, die einen konkreten Anwendungsfall verantwortungsvoll einrichten wollen, ohne sich direkt zertifizieren zu lassen, können ein Implementierungsprojekt auf Basis der Kernanforderungen der Norm als Zwischenschritt zur vollständigen 42001-Bereitschaft nutzen.

Häufige Fehler, die wir in der Praxis sehen

Aus unserer Audit- und Implementierungspraxis kehren immer wieder dieselben Fehler zurück. Wenn Sie einen davon erkennen, ist das der Ausgangspunkt für Verbesserungen.

1. KI-Einrichtung losgelöst von bestehender Governance. Initiativen entstehen getrennt vom ISMS, der Datenschutzrichtlinie und dem Risikorahmen. Dadurch fehlt die Verbindung zwischen technischen Entscheidungen und bestehender Kontrolle. Das Anknüpfen an ein bestehendes Managementsystem verhindert dies.
2. Richtlinie ohne Verantwortlichkeit. Es gibt eine KI-Richtlinie, aber niemand ist pro System ansprechbar. Eine Richtlinie, die niemand anwendet, ist reine Verwaltung. Legen Sie pro System einen Verantwortlichen fest.
3. Governance als Dokumentenebene. Die Organisation erstellt einen Satz Dokumente, um ein Audit zu bestehen. In der täglichen Praxis steuert niemand danach. Bei der ersten Änderung bricht das System wieder zusammen. Governance gehört in den täglichen Geschäftsbetrieb.
4. Reifegrad überschätzen. Das Selbstbild liegt eine Stufe höher als die Realität, wodurch Risiken unbenannt bleiben und die Roadmap zu kurz greift. Eine unabhängige Messung korrigiert dieses Bild.
5. Keine menschliche Aufsicht bei Entscheidungen mit hoher Tragweite. Ein KI-System unterstützt beispielsweise die Triage im Gesundheitswesen, aber die Erklärbarkeit gegenüber dem Pflegepersonal und die Kontrolle auf fehlerhafte Ergebnisse sind nicht sichergestellt.
6. Datenqualität und Data Governance überspringen. Das Modell wird für schlechte Ergebnisse verantwortlich gemacht, während die Ursache in den Daten liegt, die niemand verwaltet. Ohne Datenmanagement keine zuverlässige KI.
7. Zu spät beginnen. Die Organisation wartet auf die Frist des AI Acts, anstatt jetzt Strukturen zu schaffen. Das macht die Einrichtung teurer und hektischer als nötig.

Häufig gestellte Fragen zu AI Governance

Hier finden Sie die Fragen, die uns Organisationen am häufigsten stellen.

Was genau ist AI Governance?

AI Governance ist die Gesamtheit von Richtlinien, Rollen, Prozessen und Kontrollen, mit denen eine Organisation KI-Systeme verantwortungsbewusst, kontrolliert und nachweisbar einsetzt. Sie legt fest, wer verantwortlich ist, hält Entscheidungen rückverfolgbar und koppelt den Einsatz von KI an die unternehmerische Steuerung. Der Schwerpunkt liegt auf der Steuerung der KI, nicht auf der Technik.

Ist AI Governance verpflichtend?

Für viele Organisationen wird sie das. Der europäische AI Act legt Verpflichtungen für den Einsatz von KI fest, die mit dem Risiko des Systems steigen. Die Verordnung schreibt vor, dass Organisationen Risiken beherrschen und Verantwortlichkeiten zuweisen. AI Governance ist der Weg, um diese Anforderungen zu erfüllen und nachweisbar zu machen, auch dort, wo eine Zertifizierung nicht obligatorisch ist.

Was ist der Unterschied zwischen AI Governance und ISO 42001?

AI Governance ist die breitere organisatorische Funktion. ISO 42001 ist die internationale Norm, die dafür einen strukturierten Rahmen bietet, das KI-Managementsystem. Die Norm übersetzt Governance in konkrete Anforderungen rund um Richtlinien, Risikobewertung, Rollen und Managementbewertung. Sie können AI Governance einrichten, ohne sich zertifizieren zu lassen, aber die Norm bietet Orientierung und einen unabhängigen Nachweis.

Was ist Shadow AI?

Shadow AI ist die Nutzung von KI-Tools durch Mitarbeiter außerhalb der Sichtweite und Kontrolle von IT und Management. Denken Sie an die Eingabe von Unternehmensdaten in öffentliche Chatbots. Das Risiko liegt in der unkontrollierten Datennutzung und dem Fehlen von Aufsicht. Governance macht diese Nutzung sichtbar und setzt Rahmenbedingungen dafür.

Wie verhält sich AI Governance zur Informationssicherheit?

AI Governance baut auf der Informationssicherheit auf, fügt jedoch eine Dimension hinzu. ISO 27001 sichert den Schutz von Informationen. AI Governance konzentriert sich zusätzlich auf Bias, Erklärbarkeit, Datenqualität und die Folgen automatisierter Entscheidungen. In der Praxis knüpfen Sie AI Governance an ein bestehendes ISMS an, sodass Risikobewertung und Managementbewertung erweitert statt dupliziert werden.

Wie beginne ich mit AI Governance?

Beginnen Sie mit einer Übersicht: Erfassen Sie, welche KI-Systeme im Einsatz sind, einschließlich Shadow AI. Bewerten Sie pro System das Risiko, weisen Sie Verantwortlichkeiten zu und halten Sie die Entscheidungsfindung in einem Register fest. Verbinden Sie die Einrichtung mit einem bestehenden Managementsystem und setzen Sie KI auf die Tagesordnung der Managementbewertung. So entsteht ein Fundament, das mitwächst.

Wann gelten die Hochrisiko-Anforderungen des AI Acts?

Die Hochrisiko-Verpflichtungen wurden im Jahr 2026 über den Digital Omnibus on AI verschoben. Für eigenständige Anhang-III-Systeme gilt der 2. Dezember 2027, für in Produkte eingebettete Anhang-I-Systeme der 2. August 2028. Die übrigen Transparenzpflichten gelten weiterhin ab August 2026. Die zusätzliche Zeit ist für die Vorbereitung gedacht, nicht für einen Aufschub des Starts.