10 Fragen zur AI Governance für den Aufsichtsrat

Warum AI Governance Sache des Aufsichtsrats ist

Künstliche Intelligenz ist kein Projekt mehr, sondern eine Betriebsbedingung. Sie steckt in Kreditentscheidungen, in Listen für die Vorauswahl von Bewerbungen, in der Sichtung von Schadensfällen, im Kundenservice und in Prognosen für die Lieferkette, und ein großer Teil davon kam über gekaufte Software ins Haus statt über ein Data-Science-Team. Dieser Unterschied schien früher wichtig. Das Gesetz kennt ihn nicht mehr.

Ein Aufsichtsrat betreibt keine KI-Systeme. Seine Verantwortung ist enger und schwieriger. Er muss darlegen und belegen können, dass das Unternehmen weiß, was es betreibt, auf welchen Daten, unter wessen Verantwortung und innerhalb welcher rechtlichen Pflichten. Vor zwei Jahren war das eine Frage des Prinzips. Seit dem 2. August 2026, an dem das KI-Büro der Europäischen Kommission und die nationalen Behörden mit der Durchsetzung des EU AI Act begonnen haben, ist es eine Frage des Rechts, mit datierten Pflichten und Bußgeldern.

Die Fragen unten sind für genau diese Aufgabe geschrieben. Sie setzen kein Wissen über die Architektur von Modellen voraus, und sie sind bewusst beantwortbar. Zu jeder gehört, wie eine gute Antwort klingt und was eine schwache meist verbirgt. Das Muster ist beständig genug, um für sich allein nützlich zu sein: Starke Antworten nennen einen Mechanismus, eine Person und ein Datum, schwache Antworten nennen eine Absicht.

Eine Klarstellung vor der Liste. Dies ist eine Liste für die Aufsicht, geschrieben für die Menschen, die die Geschäftsführung zur Rechenschaft ziehen. Wenn Sie in der Geschäftsführung sitzen und vor der Frage stehen, ob ein KI-Programm überhaupt ausgebaut werden soll, sind es andere Fragen: zu Ehrgeiz, Rendite, Grundlagen und den Menschen, die mit dem Ergebnis leben müssen. Sie stehen gesondert in 10 Fragen an die Führung vor dem Ausbau von KI.

Was der EU AI Act dem Aufsichtsrat auferlegt

Ein Aufsichtsrat muss das Gesetz nicht lesen. Er braucht aber drei Dinge daraus, weil jedes verändert, wie eine vernünftige Frage der Aufsicht aussieht. Erstens den Zeitplan für die Compliance, der nicht mehr der ist, gegen den die meisten KI-Pläne gebaut wurden.

Die Hochrisiko-Termine wurden durch eine Verordnung zur Vereinfachung verschoben, die der Rat am 29. Juni 2026 endgültig gebilligt hat. Die Einzelheiten dieser Änderung stehen in unserem Artikel Der AI Omnibus: was sich für die KI-Strategie ändert, das vollständige Bild der Fristen in Fristen und Zeitplan für die Compliance zum EU AI Act. Die beiden Zeilen, die ein Aufsichtsrat nicht überlesen sollte, sind die bereits geltenden.

1. KI zu nutzen, ist keine Ausnahme. Art. 4 KI-VO gilt seit Februar 2025 und legt die Pflicht zur KI-Kompetenz Anbietern und Betreibern gleichermaßen auf, also tragen sie auch Unternehmen, die KI nur kaufen. Art. 26 KI-VO lädt dann den Betreibern von Hochrisiko-KI-Systemen eine ganze Reihe von Pflichten auf: das System gemäß seiner Gebrauchsanweisung verwenden, die menschliche Aufsicht zuweisen, seinen Betrieb überwachen, Protokolle aufbewahren und Beschäftigte und ihre Vertretungen informieren, bevor ein Hochrisiko-System gegenüber Beschäftigten eingesetzt wird. Einem Aufsichtsrat, dem gesagt wurde, das Gesetz ziele vor allem auf die Unternehmen, die Modelle bauen, wurde etwas Unzutreffendes gesagt.

2. Menschliche Aufsicht ist eine Frage des Organigramms. Art. 26 Abs. 2 KI-VO ist kurz und ungewöhnlich konkret. Die Betreiber übertragen die menschliche Aufsicht natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen und die erforderliche Unterstützung erhalten. Natürlichen Personen. Keinem Gremium, keiner Funktion, keinem Richtliniendokument. Dieser eine Satz macht aus einer abstrakten Diskussion über Governance etwas, das ein Aufsichtsrat tatsächlich prüfen kann, und das ist Frage 8 unten.

3. Finanzdienstleister tragen eine ausdrücklich genannte Zusatzpflicht. Art. 27 KI-VO verlangt eine Grundrechte-Folgenabschätzung von öffentlichen Stellen, von privaten Einrichtungen, die öffentliche Dienste erbringen, und von Betreibern zweier bestimmter Kategorien nach Anhang III: Systeme, die die Kreditwürdigkeit natürlicher Personen bewerten oder ihre Bonität feststellen, und Systeme für die Risikobewertung und Preisbildung in der Lebens- und Krankenversicherung. Die Aufdeckung von Betrug ist ausdrücklich von der Kategorie der Kreditwürdigkeit ausgenommen. Für eine Bank oder einen Versicherer ist das ein datierter Liefergegenstand mit festgelegtem Inhalt, kein allgemeiner Grundsatz.

Und was mangelnde Compliance kostet. Art. 99 KI-VO legt drei Stufen fest, jeweils ein fester Betrag oder ein Anteil am weltweiten Jahresumsatz, je nachdem, welcher Betrag höher ist. Verbotene Praktiken reichen bis 35 Millionen Euro oder 7 Prozent. Mangelnde Compliance mit den meisten anderen Pflichten reicht bis 15 Millionen Euro oder 3 Prozent. Falsche, unvollständige oder irreführende Angaben gegenüber Behörden reichen bis 7,5 Millionen Euro oder 1 Prozent. Für KMU und junge Unternehmen gilt der niedrigere Betrag statt des höheren. Die mittlere Stufe ist die, mit der die meisten Unternehmen rechnen sollten.

10 Fragen zur AI Governance für den Aufsichtsrat

Auf jede Frage folgt, worauf zu achten ist, und zwei Antworten aus der Bandbreite dessen, was Aufsichtsräte tatsächlich zu hören bekommen.

1. Wie unterstützt unsere KI-Strategie das Geschäft, und was hat sie bisher eingebracht?

KI-Budgets werden auf ein Versprechen hin genehmigt. Irgendwann muss aus dem Versprechen eine Zahl werden, und der Aufsichtsrat ist das Gremium, das entscheidet, wann dieser Zeitpunkt gekommen ist. Das Risiko ist nicht eine schlechte KI-Strategie, sondern ein Portfolio von Vorhaben, das nie an dem Maßstab gemessen wurde, dem jedes andere Investitionsprogramm standhalten müsste.

Worauf es ankommt. Verlangen Sie dieselben Belege wie bei jeder Investition: welches Geschäftsergebnis, wie gemessen, von wem verantwortet, wann überprüft. Wenn ein Programm das nach zwei Jahren nicht beantworten kann, liegt das Problem nicht bei der KI.

Beispiel für eine gute Antwort: „Zwei KI-Programme sind finanziert. Die Betrugserkennung hat die bestätigten betrügerischen Transaktionen im Jahresvergleich um 20 Prozent gesenkt, gemessen von der Risikofunktion. Die Sichtung von Schadensfällen ist in ihrem zweiten Quartal und hat ihre Schwelle noch nicht erreicht, deshalb bleibt sie bis Dezember in Prüfung.“

Beispiel für eine schwache Antwort: „Wir investieren in KI, weil unsere Wettbewerber es tun. Wir finden noch heraus, wo sie hinpasst.“

2. Haben wir eine vollständige Bestandsaufnahme, wo KI im Einsatz ist, einschließlich dessen, was wir gekauft statt gebaut haben?

Diese Frage sorgt am häufigsten für eine Überraschung. Unternehmen, die eine ehrliche erste Bestandsaufnahme machen, finden meist mehr KI im Betrieb, als irgendjemand aufgelistet hatte, vieles davon in gekaufter Software, manches von einem Anbieter standardmäßig eingeschaltet. Eine Bestandsaufnahme, die nur erfasst, was das Data-Science-Team gebaut hat, ist keine Bestandsaufnahme, und jede Pflicht im AI Act beginnt mit einer.

Worauf es ankommt. Ein Register für Gebautes und Gekauftes, mit einer verantwortlichen Person und einer Risikoeinstufung für jeden Eintrag, und ein Prozess, der neue Systeme bei ihrem Eintreffen erfasst, statt einer Tabelle, die einmal im Jahr aufgefrischt wird.

Beispiel für eine gute Antwort: „Das KI-Register umfasst 41 Systeme, 12 selbst gebaute und 29 in Produkte von Anbietern eingebettete. Jedes hat eine benannte verantwortliche Person, eine Risikoeinstufung und einen Termin für die Überprüfung. Der Einkauf kann keine Software mit KI-Funktionen freigeben, ohne dass es einen Eintrag gibt.“

Beispiel für eine schwache Antwort: „Das Data-Science-Team führt eine Liste seiner Modelle. Für den Rest müssten wir herumfragen.“

3. Welche rechtlichen, ethischen und betrieblichen Risiken schafft unsere KI, und hat sie jemand beziffert?

KI bringt Risiken für die Compliance mit sich, ethische Risiken durch verzerrte oder diskriminierende Ergebnisse und betriebliche Risiken durch das Versagen von Automatisierung und die Abhängigkeit von wenigen Anbietern. Risiken, die benannt, aber nie bewertet werden, werden meist nicht finanziert, und ein Risiko auf einer eigenen Folie statt im Risikoregister des Unternehmens ist meist ein Risiko, für das niemand zuständig ist.

Worauf es ankommt. KI-Risiken gehören in dasselbe Register, mit derselben Bewertung, wie jedes andere Unternehmensrisiko. Wenn sie in einem eigenen Dokument stehen, das ein eigenes Team pflegt, fragen Sie nach dem Grund.

Beispiel für eine gute Antwort: „KI-Risiken stehen im Risikoregister des Unternehmens und werden genauso bewertet wie alles andere. Die drei in aktiver Minderung sind Verzerrungen in der Vorauswahl von Bewerbungen, Drift im Kreditmodell und die Abhängigkeit von einem einzigen Modellanbieter.“

Beispiel für eine schwache Antwort: „Wir verlassen uns darauf, dass unsere KI-Anbieter sich um die Compliance kümmern. Bisher ist nichts schiefgegangen.“

4. Wo stehen unsere KI-Systeme in den Risikostufen des AI Act, und wozu verpflichtet uns das?

Die Einstufung ist das Tor zu allem anderen. Die Pflichten, die Frist und die Kosten folgen alle daraus, in welche Stufe ein System fällt, und die Kategorien nach Anhang III reichen weiter ins gewöhnliche Geschäft, als die meisten erwarten: Beschäftigungsentscheidungen, Bildung, grundlegende private und öffentliche Dienste einschließlich der Kreditwürdigkeit, Strafverfolgung, Migration und kritische Infrastruktur.

Worauf es ankommt. Jeder Eintrag im Register sollte eine datierte und begründete Einstufung tragen. Eine undokumentierte Schlussfolgerung, dass nichts als Hochrisiko gilt, ist die Antwort, die am schlechtesten altert.

Beispiel für eine gute Antwort: „Drei Systeme fallen unter Anhang III, zwei in der Vorauswahl von Bewerbungen und eines bei der Kreditwürdigkeit, und sie sind auf den Termin im Dezember 2027 eingeplant. Alles mit Kundenkontakt wurde anhand der Transparenzregeln geprüft, die im August 2026 in Kraft traten.“

Beispiel für eine schwache Antwort: „Das Gesetz zielt vor allem auf Hochrisiko-Systeme, und wir glauben nicht, dass unsere darunterfallen. Diese Einschätzung ist nirgends aufgeschrieben.“

5. Woran würden wir erkennen, dass ein Modell unfaire Ergebnisse liefert?

Achten Sie auf die Formulierung. Nicht, ob die Geschäftsführung die Modelle für fair hält, sondern wie das Unternehmen herausfinden würde, wenn sie es nicht sind. Art. 10 KI-VO verlangt von Anbietern von Hochrisiko-Systemen, die Daten für Training, Validierung und Test auf Verzerrungen zu untersuchen, die Gesundheit, Sicherheit oder Grundrechte beeinträchtigen könnten, und Maßnahmen zu treffen, um sie zu erkennen, zu verhindern und abzuschwächen. Das ist eine Pflicht zur Erkennung, keine Pflicht nach bestem Glauben.

Worauf es ankommt. Fragen Sie nach dem Mechanismus und danach, wer ihn betreibt. Das Ausbleiben von Beschwerden ist kein Ergebnis der Überwachung, und eine Prüfung der Fairness durch das Team, das das Modell gebaut hat, ist weniger wert als eine von außerhalb.

Beispiel für eine gute Antwort: „Die Verteilung der Ergebnisse der Modelle für Bewerbungen und Kredite wird vierteljährlich anhand geschützter Merkmale von einem Team außerhalb des bauenden Teams geprüft, und die Befunde gehen an den Risikoausschuss, ob etwas gefunden wurde oder nicht.“

Beispiel für eine schwache Antwort: „Die Modelle arbeiten mit Daten, deshalb sind Verzerrungen für uns eigentlich kein Thema.“

6. Welche Daten treiben unsere KI an, und können wir zeigen, woher sie stammen?

Ein Modell erbt die Qualität und die Rechtmäßigkeit dessen, womit es trainiert oder worauf es gestützt wurde. Art. 10 KI-VO legt die Messlatte klar fest: Datensätze für Training, Validierung und Test müssen relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und im Hinblick auf die Zweckbestimmung vollständig sein. Das zu erfüllen, ist ein Problem. Es zwei Jahre später jemandem zu beweisen, der nicht dabei war, ist ein anderes und viel schwierigeres.

Worauf es ankommt. Laufend erfasste Herkunft schlägt eine unter dem Druck eines Audits rekonstruierte Herkunft, und zwar mit einem Abstand, der erst sichtbar wird, wenn jemand die Rekonstruktion versucht. Fragen Sie, ob die Lineage ein System oder ein Projekt ist.

Beispiel für eine gute Antwort: „Jedes Modell im Register ist mit den Datensätzen dahinter verknüpft, mit einer Lineage bis zu den Quellsystemen. Diese Verknüpfung pflegt der Katalog und kein Dokument, deshalb veraltet sie nicht, wenn sich eine Pipeline ändert.“

Beispiel für eine schwache Antwort: „Wir verwenden die Daten, die verfügbar waren. Sie bis zur Quelle zurückzuverfolgen, wäre ein eigenes Projekt.“

7. Könnten wir einer betroffenen Person eine einzelne Entscheidung erklären?

Art. 86 KI-VO gibt jeder Person, die von einer Entscheidung auf Grundlage der Ausgabe eines Hochrisiko-Systems betroffen ist, sofern diese Entscheidung Rechtswirkung entfaltet oder ihre Gesundheit, Sicherheit oder Grundrechte erheblich beeinträchtigt, das Recht auf eine klare und aussagekräftige Erläuterung der Rolle des KI-Systems und der wichtigsten Elemente der getroffenen Entscheidung. Die Einheit ist hier eine Entscheidung, die eine benannte Person betrifft, nicht das Modell im Allgemeinen. Eine Model Card beantwortet das nicht.

Worauf es ankommt. Der ehrliche Test ist eine Übung. Wählen Sie einen echten Fall, verlangen Sie die Erläuterung und messen Sie, wie lange sie dauert. Unternehmen, die das nie geübt haben, stellen meist fest, dass es den Weg zur Erläuterung noch gar nicht gibt.

Beispiel für eine gute Antwort: „Automatisierte Entscheidungen im Geltungsbereich werden mit ihren Eingaben, der Modellversion und dem menschlichen Prüfschritt protokolliert. Wir haben die Übung zweimal durchgeführt. Die letzte dauerte von Anfang bis Ende vier Stunden.“

Beispiel für eine schwache Antwort: „Das Modell selbst ist dokumentiert. Eine einzelne Entscheidung zu erklären, würde Zeit von Engineers kosten, und wir haben es nicht versucht.“

8. Wer ist namentlich für die KI-Governance verantwortlich, und welche Befugnis hat diese Person?

Hier wird Art. 26 Abs. 2 KI-VO zu einer Frage für den Aufsichtsrat. Die menschliche Aufsicht muss natürlichen Personen übertragen werden, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen und die erforderliche Unterstützung erhalten. Gremien haben keine Kompetenz, Ausbildung und Befugnis. Menschen haben sie. Unternehmen, die sich nach ISO/IEC 42001 zertifizieren lassen, der 2023 veröffentlichten Norm für KI-Managementsysteme, stehen aus anderer Richtung vor derselben Forderung, denn sie verlangt, dass Rollen, Verantwortlichkeiten und Befugnisse für das Managementsystem festgelegt, zugewiesen und kommuniziert werden.

Worauf es ankommt. Fragen Sie nach Namen, nicht nach Strukturen. Stellen Sie dann die schwierigere Anschlussfrage: Kann diese Person ein System stoppen, ohne auf ein Gremium zu warten, und hat sie ein Budget?

Beispiel für eine gute Antwort: „Die KI-Governance berichtet an den Chief Risk Officer. Jedes System im Register hat eine benannte verantwortliche Person und einen benannten Data Steward, und die verantwortliche Person kann ein System ohne Eskalation aussetzen.“

Beispiel für eine schwache Antwort: „Eine bereichsübergreifende Arbeitsgruppe trifft sich monatlich. Im Alltag kümmert sich, wer dem System am nächsten ist.“

9. Könnten wir die Dokumentation vorlegen, nach der ein Audit fragt, ohne Feuerwehrübung?

Der AI Act ist bei den Aufzeichnungen konkret. Art. 11 KI-VO verlangt, dass die technische Dokumentation eines Hochrisiko-Systems erstellt wird, bevor es in Betrieb geht, und danach auf dem neuesten Stand gehalten wird, und dass sie mindestens die in Anhang IV genannten Elemente enthält. Art. 12 KI-VO verlangt, dass die Systeme technisch die automatische Aufzeichnung von Ereignissen über ihre gesamte Lebensdauer ermöglichen. Beides sind fortlaufende Pflichten, und genau das erwischt Unternehmen. Einmal geschriebene Dokumentation veraltet in dem Moment, in dem sich das System ändert.

Worauf es ankommt. Aufzeichnungen, die an die Datenbestände selbst gebunden sind, bleiben aktuell. Aufzeichnungen, die an ein Dokument gebunden sind, nicht. Fragen Sie, wann die Dokumentation zuletzt aktualisiert wurde und was die Aktualisierung ausgelöst hat, denn „jährlich“ und „als sich das System änderte“ sind sehr unterschiedliche Antworten.

Beispiel für eine gute Antwort: „Die Dokumentation liegt an den Datenbeständen im Katalog und wird mit ihnen aktualisiert. Protokolle werden für den vorgeschriebenen Zeitraum aufbewahrt. Im Juni haben wir eine Probeprüfung durchgeführt und die zwei gefundenen Lücken geschlossen.“

Beispiel für eine schwache Antwort: „Wir haben Dokumentation für die wichtigsten Modelle. Manches davon stammt aus der ursprünglichen Entwicklung.“

10. Was würde uns veranlassen, ein KI-System abzuschalten, und wer kann das entscheiden?

Der AI Act setzt voraus, dass es einen Weg zur Aussetzung gibt. Art. 26 Abs. 5 KI-VO verlangt von Betreibern, den Betrieb zu überwachen, den Anbieter und die Marktüberwachungsbehörde unverzüglich zu informieren, wenn ein System ein Risiko darstellt, seine Nutzung gegebenenfalls auszusetzen und schwerwiegende Vorfälle sofort zu melden. Ein Aufsichtsrat kann vernünftigerweise fragen, was „gegebenenfalls“ im Unternehmen bedeuten soll, denn eine Schwelle, die niemand aufgeschrieben hat, ist eine Entscheidung, die unter Druck von dem getroffen wird, der gerade verfügbar ist.

Worauf es ankommt. Dokumentierte Kriterien für die Aussetzung, eine benannte Person, die danach handeln kann, und der Nachweis, dass der Weg mindestens einmal an etwas Echtem erprobt wurde.

Beispiel für eine gute Antwort: „Jedes System hat schriftliche Kriterien für die Aussetzung und eine benannte Person, die sie auslösen kann. Wir haben den Weg im März beim Preismodell genutzt, als die Drift die Schwelle überschritt, und es war innerhalb einer Stunde aus der Produktion genommen.“

Beispiel für eine schwache Antwort: „Wir würden an den Lenkungsausschuss eskalieren. Was das auslösen würde, haben wir nicht festgelegt.“

Fazit

Lesen Sie die gepaarten Antworten noch einmal durch, und ein Muster trennt sie. Gute Antworten enthalten einen Mechanismus, einen Namen und ein Datum. Schlechte Antworten enthalten eine Absicht. „Wir nehmen Verzerrungen ernst“ ist eine Absicht. „Die Verteilung der Ergebnisse wird vierteljährlich von einem Team außerhalb des bauenden Teams geprüft, und die Befunde gehen an den Risikoausschuss“ ist ein Mechanismus. Ein Aufsichtsrat muss kein Modell bewerten, um diese beiden zu unterscheiden, und genau darum geht es beim Fragen.

Beachten Sie auch, was keine der zehn Fragen verlangt. Keine fordert den Aufsichtsrat auf, eine Modellarchitektur zu verstehen, einen Algorithmus zu beurteilen oder einen technischen Streit zu schlichten. Sie fragen, ob das Unternehmen ein Register, eine Einstufung, eine verantwortliche Person, ein Protokoll, eine Lineage und einen Weg zur Aussetzung vorlegen kann. Das ist die tatsächliche Form der Pflicht, und deshalb erweist sich so viel KI-Governance als Arbeit an Metadaten statt als Arbeit an Modellen.

Das meiste davon ist eine Disziplin, die es bereits gibt. Ein geregelter Datenkatalog hält die Bestandsaufnahme der KI-Anwendungsfälle und der Systeme dahinter. Data Lineage zeigt, welche Daten ein Modell erreicht haben und woher sie stammen. Die Klassifizierung hält fest, was sensibel ist und wo es liegt. An den Datenbeständen selbst geführt, bleiben diese Aufzeichnungen aktuell, wie es ein einmal geschriebenes Compliance-Dokument nie bleibt. Mehr dazu, wie wir das angehen, auf der Seite zur KI-Governance.

Die Termine, auf die es ankommt, liegen inzwischen ebenso hinter uns wie vor uns. Transparenzpflichten und Durchsetzung begannen im August 2026. Dezember 2027 und August 2028 wirken bequem weit entfernt, bis ein Unternehmen versucht, jedes KI-System, das es besitzt, einzustufen und die Daten hinter jedem zu belegen. Die Aufsichtsräte, denen diese Termine bequem vorkommen werden, sind die, die diese Fragen jetzt als ständigen Tagesordnungspunkt stellen, statt einmal als Reaktion auf eine Schlagzeile.

FAQ

Quellen

• EUR-Lex - Regulation (EU) 2024/1689, der AI Act. Art. 4, 10, 11, 12, 26, 27, 86 und 99 KI-VO sowie Anhang III
• European Commission - Commission starts enforcing AI Act rules and new transparency requirements on 2 August, 31. Juli 2026
• Council of the EU - Artificial Intelligence: Council gives final green light to simplify and streamline rules, 29. Juni 2026
• European Parliament - AI Act: EP approves simplification measures and nudifier app ban, Plenarabstimmung am 15. Juni 2026
• ISO - ISO/IEC 42001:2023, die Norm für KI-Managementsysteme