Hochrisiko-KI-Systeme: Pflichten des Betreibers

Was ist Hochrisiko-KI-Systeme: Pflichten des Betreibers?

Der Einsatz eines Hochrisiko-KI-Systems bringt sieben Anforderungsbereiche mit sich, die vor dem Start erfüllt sein müssen und nicht nachträglich angepasst werden dürfen. Sie führen eine Compliance-Überprüfung für ein System durch, das für Mitarbeiterleistungsbeurteilungen verwendet wird, gehen nacheinander jeden Anforderungsbereich durch und identifizieren die Lücken, die schwerwiegend genug sind, um die Bereitstellung zu blockieren. Sie verlassen das Unternehmen mit dem Wissen, welche Pflichten bei Ihnen als Bereitsteller und nicht beim Anbieter liegen.

Was Sie lernen in Hochrisiko-KI-Systeme: Pflichten des Betreibers

• Die sieben Anforderungsbereiche für Hochrisiko-KI-Systeme nach der EU-KI-Verordnung identifizieren
• Eine Compliance-Bewertung für die Einführung einer Hochrisiko-KI durchführen
• Erkennen, dass menschliche Aufsicht nicht durch Genauigkeitsmetriken ersetzt werden kann
• Verstehen, dass eine Grundrechte-Folgenabschätzung vor der erstmaligen Nutzung verpflichtend ist
• Richtig reagieren, wenn vor der Einführung Compliance-Lücken festgestellt werden

Hochrisiko-KI-Systeme: Pflichten des Betreibers — Trainingsschritte

1. Anforderungen an Hochrisiko-KI

   Hochrisiko-KI-Systeme unterliegen nach der EU-KI-Verordnung den strengsten Pflichten. Vor der Einführung müssen Organisationen Anforderungen in sieben Bereichen erfüllen: Risikomanagement – Risiken über den gesamten Lebenszyklus des Systems erkennen und mindern Daten-Governance – sicherstellen, dass die Trainingsdaten relevant, repräsentativ und frei von Bias sind Technische Dokumentation – detaillierte Dokumentation zu Aufbau und Funktion des Systems vorhalten Aufzeichnungspflichten – Audit-Trails und automatische Protokollierung ermöglichen Transparenz – Betreiber und betroffene Personen klar informieren Menschliche Aufsicht – sicherstellen, dass Menschen das System wirksam beaufsichtigen können Genauigkeit, Robustheit und Cybersicherheit – Leistungs- und Sicherheitsstandards einhalten Diese Übung führt Schritt für Schritt durch den Prozess der Compliance-Prüfung einer realen Einführung.

2. E-Mail vom CISO

   Eine E-Mail von James Morton, dem CISO der Pinnacle Group, trifft ein. Der KI-Anbieter hat das System zur Leistungsbeurteilung von Mitarbeitenden geliefert, und Alice muss die Compliance-Prüfung vor dem Produktivstart abschließen. Die E-Mail verlinkt direkt auf das KI-Systeme-Register im Governance-Portal.

3. KI-Systeme-Register

   Das KI-Systeme-Register wird mit drei Einträgen geladen: PerformanceAI (das neue, zur Prüfung gekennzeichnete Hochrisiko-KI-System) sowie zwei bereits konforme Systeme (EmailGuard und ChatAssist). Für jedes KI-System bei Pinnacle Group erfasst das Register Risikoklasse, Compliance-Status und Prüfverlauf.

4. Compliance-Bewertung

   Das PerformanceAI-KI-System weist deutliche Lücken in seinem Compliance-Status auf: Die Grundrechte-Folgenabschätzung wurde noch nicht begonnen, es wurde keine Person für die menschliche Überprüfung benannt, und die Daten-Governance steht noch zur Prüfung aus. Alice klickt im Eintrag von PerformanceAI auf „Run Compliance Assessment“, um die detaillierte Checkliste für dieses System zu öffnen.

5. Lücken kennzeichnen

   Alice arbeitet die einzelnen Anforderungsbereiche durch und kennzeichnet ausschließlich nicht erfüllte Punkte. Bei der Daten-Governance besteht eine ungeklärte Lücke: Die Repräsentativität der Trainingsdaten über die demografischen Gruppen der Mitarbeitenden hinweg wurde nie bewertet. Eine weitere Lücke besteht bei der menschlichen Aufsicht : Es wurde keine qualifizierte Person benannt, die Entscheidungen überstimmen darf. Die übrigen Bereiche sind in gutem Zustand und müssen nicht gekennzeichnet werden.

6. Anforderung an die menschliche Aufsicht

   Während der Prüfung findet Alice eine Anmerkung des Anbieters: „Menschliche Aufsicht ist nicht erforderlich, da der Algorithmus bei der Leistungsbewertung eine Genauigkeit von 99,2 % erzielt.“ Diese Behauptung muss daran gemessen werden, was die EU-KI-Verordnung tatsächlich verlangt.

7. Kritische Lücken identifiziert

   Die Compliance-Prüfung hat drei kritische Lücken aufgedeckt, die vor dem Go-Live von PerformanceAI geschlossen werden müssen: Keine Grundrechte-Folgenabschätzung – Die FRIA wurde nicht durchgeführt. Sie ist nach Artikel 27 vor jeder Einführung einer Hochrisiko-KI verpflichtend. Keine benannte Person für die menschliche Überprüfung – Es wurde niemand mit Befugnis und Schulung beauftragt, die Performance-Scores der KI zu überstimmen. Artikel 14 verlangt eine wirksame menschliche Aufsicht. Repräsentativität der Daten nicht geprüft – Die Trainingsdaten wurden nicht auf Repräsentativität über Mitarbeiter-Demografien hinweg bewertet — ein potenzielles Bias-Risiko nach Artikel 10. Jede dieser Lücken ist ein rechtliches Compliance-Versäumnis. Das System darf erst eingeführt werden, wenn alle drei behoben sind.

8. E-Mail zur Behebung

   Alice verfasst eine Antwort-E-Mail an den CISO, in der sie die Compliance-Lücken im Detail aufführt und empfiehlt, den Launch zu verschieben, bis alle Probleme behoben sind.

9. Compliance vor der Einführung

   Die Einführung eines Hochrisiko-KI-Systems ist nicht nur „installieren und konfigurieren'. Es handelt sich um einen strukturierten Compliance-Prozess mit fortlaufenden Pflichten. Die sieben Anforderungsbereiche sind keine Checkboxen zum schnellen Abhaken — sie schützen Menschen, die von KI-Entscheidungen betroffen sind. Die wichtigsten Punkte: Alle sieben Anforderungsbereiche müssen vor der Einführung eigenständig erfüllt sein: Risikomanagement, Daten-Governance, technische Dokumentation, Aufzeichnungspflichten, Transparenz, menschliche Aufsicht und Genauigkeit/Robustheit/Cybersicherheit. Eine Grundrechte-Folgenabschätzung ist vor der erstmaligen Nutzung jedes Hochrisiko-KI-Systems verpflichtend. Keine FRIA bedeutet keine Einführung. Menschliche Aufsicht lässt sich nicht durch Genauigkeit ersetzen. Selbst ein zu 99,9 % genaues System verlangt eine benannte Person mit Übersteuerungs-Befugnis. Wenn Ihre Compliance-Prüfung Lücken findet, lautet die richtige Reaktion: Einführung verschieben , bis sie geschlossen sind — nicht erst einführen und später nachbessern.