Hochrisiko-KI-Systeme: Pflichten des Betreibers

Was ist Hochrisiko-KI-Systeme: Pflichten des Betreibers?

Ein Hochrisiko-KI-System muss vor dem Start sieben Anforderungsbereiche erfüllen, und die meisten davon muss der Anbieter nachweisen. Sie führen eine Prüfung aus Betreibersicht für ein System durch, das für Leistungsbeurteilungen von Mitarbeitenden verwendet wird, prüfen die Nachweise des Lieferanten Bereich für Bereich und finden die Lücken, die den Start blockieren. Am Ende wissen Sie, welche Pflichten bei Ihnen als Betreiber liegen, etwa die Information der Mitarbeitenden und die Zuweisung menschlicher Aufsicht.

Was Sie lernen in Hochrisiko-KI-Systeme: Pflichten des Betreibers

• Die sieben Anforderungsbereiche für Hochrisiko-KI-Systeme nach der EU-KI-Verordnung identifizieren
• Eine Compliance-Bewertung für die Einführung einer Hochrisiko-KI durchführen
• Erkennen, dass menschliche Aufsicht nicht durch Genauigkeitsmetriken ersetzt werden kann
• Verstehen, dass ein Arbeitgeber die Mitarbeitenden informieren muss, bevor er Hochrisiko-KI am Arbeitsplatz einsetzt
• Richtig reagieren, wenn vor der Einführung Compliance-Lücken festgestellt werden

Hochrisiko-KI-Systeme: Pflichten des Betreibers — Trainingsschritte

1. Anforderungen an Hochrisiko-KI

   Hochrisiko-KI-Systeme unterliegen nach der EU-KI-Verordnung den strengsten Pflichten. Das System muss sieben Anforderungen erfüllen (Artikel 9 bis 15), und dafür ist der Anbieter zuständig (Artikel 16). Prüfen Sie als Betreiber vor der Nutzung für jede Anforderung den Nachweis des Anbieters und erfüllen Sie dann Ihre eigenen Pflichten nach Artikel 26: Risikomanagement über den gesamten Lebenszyklus Daten-Governance – relevante, repräsentative Trainingsdaten ohne Bias Technische Dokumentation zu Aufbau und Funktion Aufzeichnungspflichten – automatische Protokollierung und Audit-Trails Transparenz – klare Betriebsanleitungen für Betreiber Menschliche Aufsicht – Menschen können das System wirksam beaufsichtigen Genauigkeit, Robustheit und Cybersicherheit Diese Übung zeigt Schritt für Schritt, wie ein Betreiber vorgeht: den Nachweis des Anbieters prüfen und die eigenen Lücken schließen.

2. E-Mail vom CISO

   Eine E-Mail von James Morton, dem CISO der Pinnacle Group, trifft ein. Der KI-Anbieter hat das System zur Leistungsbeurteilung von Mitarbeitenden geliefert, und Alice muss die Compliance-Prüfung vor dem Produktivstart abschließen. Die E-Mail verlinkt direkt auf das KI-Systemregister im Governance-Portal.

3. KI-Systemregister

   Das KI-Systemregister wird mit drei Einträgen geladen: PerformanceAI (das neue, zur Prüfung gekennzeichnete Hochrisiko-KI-System) sowie zwei bereits konforme Systeme (EmailGuard und ChatAssist). Für jedes KI-System bei Pinnacle Group erfasst das Register Risikoklasse, Compliance-Status und Prüfverlauf.

4. Compliance-Bewertung

   Das PerformanceAI-KI-System weist deutliche Lücken in seinem Compliance-Status auf: Eine Grundrechte-Folgenabschätzung ist für einen privaten Arbeitgeber nicht erforderlich, aber die betroffenen Mitarbeitenden wurden noch nicht informiert, es wurde keine Person für die menschliche Überprüfung benannt, und die Daten-Governance steht noch zur Prüfung aus. Alice klickt im Eintrag von PerformanceAI auf „Compliance-Bewertung durchführen“, um die detaillierte Checkliste für dieses System zu öffnen.

5. Lücken kennzeichnen

   Alice arbeitet die einzelnen Anforderungsbereiche durch und kennzeichnet ausschließlich nicht erfüllte Punkte. Bei der Daten-Governance besteht eine ungeklärte Lücke: Die Repräsentativität der Trainingsdaten über die demografischen Gruppen der Mitarbeitenden hinweg wurde nie bewertet. Eine weitere Lücke besteht bei der menschlichen Aufsicht : Es wurde keine qualifizierte Person benannt, die Entscheidungen überstimmen darf. Die übrigen Bereiche sind in gutem Zustand und müssen nicht gekennzeichnet werden. Während der Prüfung stößt Alice auf einen Hinweis des Lieferanten: „Menschliche Aufsicht ist nicht nötig, weil der Algorithmus bei der Leistungsbewertung eine Genauigkeit von 99,2 % hat.“ Diese Behauptung muss daran gemessen werden, was die EU-KI-Verordnung tatsächlich verlangt.

6. Anforderung an die menschliche Aufsicht

7. Kritische Lücken identifiziert

   Die Prüfung hat drei Lücken aufgedeckt, die vor dem Go-Live von PerformanceAI geschlossen werden müssen: Mitarbeitende nicht informiert – Die FRIA nach Artikel 27 gilt für einen privaten Arbeitgeber nicht, aber Artikel 26 Absatz 7 verlangt, die Arbeitnehmervertretung und die betroffenen Mitarbeitenden vor dem Einsatz am Arbeitsplatz zu informieren. Keine benannte Person für die menschliche Überprüfung – Niemand ist befugt und geschult, die Scores zu überstimmen. Artikel 26 Absatz 2 verlangt, die Aufsicht kompetenten, geschulten Personen mit entsprechender Befugnis zu übertragen (Artikel 14). Repräsentativität der Daten nicht geprüft – Artikel 10 ist Pflicht des Anbieters, daher muss Pinnacle die Dokumentation zur Daten-Governance von PerformanceAI Inc. vor dem Start anfordern. Das System darf erst eingeführt werden, wenn alle drei behoben sind.

8. E-Mail zur Behebung

   Alice verfasst eine Antwort-E-Mail an den CISO, in der sie die Compliance-Lücken im Detail aufführt und empfiehlt, den Launch zu verschieben, bis alle Probleme behoben sind.

9. Compliance vor der Einführung

   Die Einführung eines Hochrisiko-KI-Systems ist nicht nur „installieren und konfigurieren“. Es handelt sich um einen strukturierten Compliance-Prozess mit fortlaufenden Pflichten. Die sieben Anforderungsbereiche sind keine Checkboxen zum schnellen Abhaken — sie schützen Menschen, die von KI-Entscheidungen betroffen sind. Die wichtigsten Punkte: Alle sieben Anforderungsbereiche müssen vor der Einführung eigenständig erfüllt sein, und der Betreiber sollte den Nachweis des Anbieters für jeden Bereich sehen: Risikomanagement, Daten-Governance, technische Dokumentation, Aufzeichnungspflichten, Transparenz, menschliche Aufsicht und Genauigkeit/Robustheit/Cybersicherheit. Zuerst die Mitarbeitenden informieren. Vor dem Einsatz von Hochrisiko-KI am Arbeitsplatz muss der Arbeitgeber die Arbeitnehmervertretung und die betroffenen Mitarbeitenden informieren (Artikel 26 Absatz 7). Eine FRIA ist nur für öffentliche Stellen, Erbringer öffentlicher Dienste und Betreiber von KI zur Bonitätsbewertung oder für Lebens- und Krankenversicherungen verpflichtend (Artikel 27). Menschliche Aufsicht lässt sich nicht durch Genauigkeit ersetzen. Selbst ein zu 99,9 % genaues System verlangt eine benannte Person mit der Befugnis, seine Entscheidungen zu überstimmen. Wenn Ihre Compliance-Prüfung Lücken findet, lautet die richtige Reaktion: Einführung verschieben , bis sie geschlossen sind — nicht erst einführen und später nachbessern.