Hochrisiko-KI: Pflichten des Betreibers
Review and ensure compliance across all seven EU AI Act requirement areas before deploying a high-risk AI system.
What Is Hochrisiko-KI: Pflichten des Betreibers?
Arbeiten Sie eine reale Compliance-Prüfung für ein Hochrisiko-KI-System durch, das für Mitarbeiter-Performance-Reviews eingeführt wird. Lernen Sie die sieben Anforderungsbereiche kennen, die vor der Einführung erfüllt sein müssen, und üben Sie das Identifizieren kritischer Lücken, die einen Launch blockieren.
What You'll Learn in Hochrisiko-KI: Pflichten des Betreibers
- Die sieben Anforderungsbereiche für Hochrisiko-KI-Systeme nach der EU-KI-Verordnung identifizieren
- Eine Compliance-Bewertung für die Einführung einer Hochrisiko-KI durchführen
- Erkennen, dass menschliche Aufsicht nicht durch Genauigkeitsmetriken ersetzt werden kann
- Verstehen, dass eine Grundrechte-Folgenabschätzung vor der erstmaligen Nutzung verpflichtend ist
- Richtig reagieren, wenn vor der Einführung Compliance-Lücken festgestellt werden
Hochrisiko-KI: Pflichten des Betreibers — Training Steps
-
Anforderungen an Hochrisiko-KI
Hochrisiko-KI-Systeme unterliegen nach der EU-KI-Verordnung den strengsten Pflichten. Vor der Einführung müssen Organisationen Anforderungen in sieben Bereichen erfüllen: Risikomanagement – Risiken über den gesamten Lebenszyklus des Systems erkennen und mindern Daten-Governance – sicherstellen, dass die Trainingsdaten relevant, repräsentativ und frei von Bias sind Technische Dokumentation – detaillierte Dokumentation zu Aufbau und Funktion des Systems vorhalten Aufzeichnungspflichten – Audit-Trails und automatische Protokollierung ermöglichen Transparenz – Betreiber und betroffene Personen klar informieren Menschliche Aufsicht – sicherstellen, dass Menschen das System wirksam beaufsichtigen können Genauigkeit, Robustheit und Cybersicherheit – Leistungs- und Sicherheitsstandards einhalten Diese Übung führt Schritt für Schritt durch den Prozess der Compliance-Prüfung einer realen Einführung.
-
E-Mail vom CISO
An email arrives from James Morton, Pinnacle Group's CISO. The AI vendor has delivered the employee performance review system, and Alice must complete the compliance review before it goes live. The email links directly to the AI Systems Registry on the governance portal.
-
KI-Systeme-Register
The AI Systems Registry loads with three entries: PerformanceAI (the new high-risk system flagged for review), plus two already-compliant systems (EmailGuard and ChatAssist). The registry tracks risk tier, compliance status, and audit history for every AI system at Pinnacle Group.
-
Compliance-Bewertung
The PerformanceAI system has clear gaps in its compliance status: the Fundamental Rights Impact Assessment has not been started, no human reviewer has been assigned, and data governance is still pending review. Alice clicks Run Compliance Assessment inside the PerformanceAI entry to open the detailed checklist for this system.
-
Flag the Gaps
Alice works through each requirement section and flags only the items that are NOT satisfied. Data Governance has an unaddressed gap: training data representativeness across employee demographics has never been assessed. Human Oversight has another: no qualified human reviewer has been assigned with override authority. The remaining sections are in good shape and need nothing flagged.
-
Anforderung an die menschliche Aufsicht
During the review, Alice encounters a note from the vendor: 'Human oversight is not needed because the algorithm has 99.2% accuracy in performance scoring.' This claim needs to be evaluated against what the EU AI Act actually requires.
-
Kritische Lücken identifiziert
Die Compliance-Prüfung hat drei kritische Lücken aufgedeckt, die vor dem Go-Live von PerformanceAI geschlossen werden müssen: Keine Grundrechte-Folgenabschätzung – Die FRIA wurde nicht durchgeführt. Sie ist nach Artikel 27 vor jeder Einführung einer Hochrisiko-KI verpflichtend. Keine benannte Person für die menschliche Überprüfung – Es wurde niemand mit Befugnis und Schulung beauftragt, die Performance-Scores der KI zu überstimmen. Artikel 14 verlangt eine wirksame menschliche Aufsicht. Repräsentativität der Daten nicht geprüft – Die Trainingsdaten wurden nicht auf Repräsentativität über Mitarbeiter-Demografien hinweg bewertet — ein potenzielles Bias-Risiko nach Artikel 10. Jede dieser Lücken ist ein rechtliches Compliance-Versäumnis. Das System darf erst eingeführt werden, wenn alle drei behoben sind.
-
E-Mail zur Behebung
Alice verfasst eine Antwort-E-Mail an den CISO, in der sie die Compliance-Lücken im Detail aufführt und empfiehlt, den Launch zu verschieben, bis alle Probleme behoben sind.
-
Compliance vor der Einführung
Die wichtigsten Punkte: Alle sieben Anforderungsbereiche müssen vor der Einführung eigenständig erfüllt sein: Risikomanagement, Daten-Governance, technische Dokumentation, Aufzeichnungspflichten, Transparenz, menschliche Aufsicht und Genauigkeit/Robustheit/Cybersicherheit. Eine Grundrechte-Folgenabschätzung ist vor der erstmaligen Nutzung jedes Hochrisiko-KI-Systems verpflichtend. Keine FRIA bedeutet keine Einführung. Menschliche Aufsicht lässt sich nicht durch Genauigkeit ersetzen. Selbst ein zu 99,9 % genaues System verlangt eine benannte Person mit Übersteuerungs-Befugnis. Wenn Ihre Compliance-Prüfung Lücken findet, lautet die richtige Reaktion: Einführung verschieben , bis sie geschlossen sind — nicht erst einführen und später nachbessern.