Bias und Diskriminierung in KI
KI-Bias über Proxy-Variablen und Fairness-Metriken aufdecken.
Was ist Bias und Diskriminierung in KI?
Untersuchen Sie möglichen Bias in einem KI-Screening-Tool für Lebensläufe mithilfe eines Fairness-Monitoring-Dashboards. Lernen Sie, wie Proxy-Variablen mittelbare Diskriminierung erzeugen, verstehen Sie Fairness-Metriken wie Demographic Parity und Equalized Odds und üben Sie die richtige Eskalationsantwort, sobald diskriminierende Ergebnisse in einem Hochrisiko-KI-System bestätigt sind.
Was Sie lernen in Bias und Diskriminierung in KI
- Proxy-Variablen erkennen, die in KI-Systemen mittelbare Diskriminierung erzeugen
- Fairness-Metriken einschließlich Demographic Parity Ratio und Equalized Odds Gap richtig deuten
- Verstehen, warum Bias-Tests nach der EU-KI-Verordnung eine Rechtspflicht sind
- Die richtige Eskalationsantwort üben, sobald Bias in einem Hochrisiko-KI-System bestätigt ist
- Den Unterschied zwischen einer Schwellenwert-Anpassung und der Behebung der Bias-Ursachen erkennen
Bias und Diskriminierung in KI — Trainingsschritte
-
Artikel 9, 10 und 26: Bias-Tests und Monitoring
Hochrisiko-KI-Systeme müssen auf Bias geprüft werden, und das geht über offensichtliche Diskriminierung hinaus. Bias verbirgt sich häufig in Proxy-Variablen: neutral wirkenden Merkmalen, die mit geschützten Merkmalen korrelieren. Postleitzahl – ethnische Zugehörigkeit oder sozioökonomischer Hintergrund Name der Hochschule – sozioökonomischer Status Beschäftigungslücken – bestimmte demografische Gruppen Ausgaben mit Bias können auch unbeabsichtigt eine unzulässige Diskriminierung sein. Anbieter untersuchen Daten auf Bias (Artikel 10) und testen, bevor das System auf den Markt kommt. Betreiber überwachen die Systeme im Einsatz; sehen sie ein Risiko, setzen sie das System aus und informieren den Anbieter oder Händler sowie die Marktüberwachungsbehörde (Artikel 26 Absatz 5).
-
Audit-Hinweis
Eine E-Mail von Internal Audit trifft ein. Das Quartals-KI-Audit hat statistisch signifikante Unterschiede bei den Einladungsquoten zu Vorstellungsgesprächen im Screening-Tool TalentMatch festgestellt.
-
Überblick über das Fairness-Dashboard
Alice öffnet über den Link in der Audit-E-Mail das Fairness-Monitoring-Dashboard. Die Übersicht zeigt die Einladungsquoten zu Vorstellungsgesprächen nach demografischer Gruppe und automatisierte Fairness-Metriken.
-
Demographic Parity untersuchen
Die Demographic Parity Ratio liegt bei 0,52 — deutlich unter dem Schwellenwert von 0,80. Damit ist die Quote der Gruppe C kaum mehr als die Hälfte der Quote von Gruppe A. Alice muss verstehen, was diese Unterschiede verursacht.
-
Das Problem der Proxy-Variablen
-
Equalized-Odds-Analyse
Die Ursache: Zwei Merkmale dominieren das Screening – „Hochschulranking“ (Gewicht 0,34) und „Postleitzahl“ (Gewicht 0,28). Die Postleitzahl korreliert mit 0,72 mit der Zugehörigkeit zu Gruppe C, die KI nutzt den Wohnort also als Proxy für die Gruppenzugehörigkeit. Das Merkmal wirkt neutral, doch weil es mit einem geschützten Merkmal korreliert, führt es durch die Hintertür zu diskriminierenden Ergebnissen. Alice prüft die zweite auffällige Metrik. Der Equalized Odds Gap liegt bei 0,31 (Schwellenwert 0,15): Selbst bei identischen Qualifikationen kommen Bewerberinnen und Bewerber je nach Gruppe unterschiedlich häufig weiter. Der Bias ist systemisch.
-
Eskalation des Vorfalls
Die Befundlage ist eindeutig. Das TalentMatch-System produziert über Proxy-Variablen diskriminierende Ergebnisse. Alice muss den Vorfall formal über das Dashboard melden und mit einer klaren Empfehlung an das Audit-Team eskalieren.
-
Die richtige Reaktion auf bestätigten Bias
Wenn in einem Hochrisiko-KI-System Bias bestätigt ist, lautet die richtige Reaktion: System bis zur Behebung aussetzen — nicht an Schwellenwerten drehen, keine Disclaimer hinzufügen und keine Prüfung erst für das nächste Quartal ansetzen. Nach der EU-KI-Verordnung müssen Betreiber ein Hochrisiko-KI-System überwachen und es, wenn sie Grund zu der Annahme haben, dass seine Verwendung ein Risiko bergen kann, aussetzen und den Anbieter oder Händler sowie die Marktüberwachungsbehörde informieren (Artikel 26 Absatz 5). Sobald Bias erkannt und dokumentiert ist, verletzt ein Weiterbetrieb diese Pflicht und setzt das Unternehmen Sanktionen aus. Jede Bewerbung, die nach der Entdeckung noch über ein System mit Bias verarbeitet wird, ist ein potenzieller Diskriminierungsfall. Als Nächstes gilt es, die Proxy-Variablen zu entfernen oder geringer zu gewichten, das Modell neu zu trainieren und die Fairness-Bewertung erneut durchzuführen, bevor das System wieder in Betrieb gehen darf.
-
Die wichtigsten Punkte
Proaktiv auf Bias testen Warten Sie nicht auf Beschwerden oder behördliche Audits, um Bias zu entdecken. Verankern Sie Fairness-Tests vom ersten Tag an in Ihrem KI-Monitoring-Prozess. Unentdeckter Bias verursacht echten Schaden an echten Menschen. Proxy-Variablen verstehen Merkmale, die neutral wirken — Postleitzahl, Hochschul-Name, Beschäftigungslücken — können mit geschützten Merkmalen korrelieren und diskriminierende Ergebnisse erzeugen. Prüfen Sie immer, ob die Merkmale Ihres Modells als demografische Proxys wirken könnten. Bias-Tests sind eine Rechtspflicht Die EU-KI-Verordnung macht Bias-Tests für Hochrisiko-KI-Systeme verbindlich — keine optionale Best Practice. Anbieter müssen ihre Daten auf Bias untersuchen (Artikel 10) und testen, bevor das System auf den Markt kommt (Artikel 9), und Betreiber müssen das System im Einsatz überwachen (Artikel 26). Bei bestätigtem Bias: System aussetzen Ein System nach bestätigten diskriminierenden Ergebnissen weiterzubetreiben, verletzt die Pflicht des Betreibers, ein System auszusetzen, dessen Verwendung ein Risiko bergen kann, und den Anbieter sowie die Marktüberwachungsbehörde zu informieren (Artikel 26 Absatz 5), und macht jede spätere Entscheidung zu einem potenziellen Diskriminierungsfall. Setzen Sie den Betrieb aus, beheben Sie die Ursache und überprüfen Sie die Korrektur, bevor Sie das System wieder in Betrieb nehmen. Alles dokumentieren Bewahren Sie Aufzeichnungen über Ihre Fairness-Bewertungen, die festgestellten Probleme und die ergriffenen Korrekturmaßnahmen auf. Diese Dokumentation ist für den Compliance-Nachweis gegenüber Aufsichtsbehörden unerlässlich.
Abdeckung der Sicherheits-Frameworks
NIST CSF
- PR.AT-01 Personnel are provided with awareness and training so that they possess the knowledge and skills to perform general tasks with cybersecurity risks in mind
NICE Framework
- OG-WRL-008 Privacy Compliance
- OG-WRL-002 Cybersecurity Policy and Planning
EU AI Act
- Art. 10 Data and data governance
- Art. 27 Fundamental rights impact assessment for high-risk AI systems
- Art. 26 Obligations of deployers of high-risk AI systems