Distorsioni e discriminazione nell'IA

Distorsioni e discriminazione nell'IA

Indaga sulle distorsioni dell'IA tra variabili proxy e metriche di equità.

Cos’è Distorsioni e discriminazione nell'IA?

Indaga su una possibile distorsione (bias) in uno strumento di IA per la selezione dei curriculum, con una dashboard di monitoraggio dell'equità. Scopri come le variabili proxy generano discriminazione indiretta, capisci metriche di equità come la parità demografica e le probabilità equalizzate, e prova la risposta corretta quando in un sistema di IA ad alto rischio si confermano risultati discriminatori.

Cosa imparerai in Distorsioni e discriminazione nell'IA

Distorsioni e discriminazione nell'IA — Fasi della formazione

  1. Articoli 9, 10 e 26: test e monitoraggio delle distorsioni

    I sistemi di IA ad alto rischio vanno testati per individuare le distorsioni, e non basta cercare la discriminazione evidente. La distorsione (bias) si nasconde spesso nelle variabili proxy: caratteristiche in apparenza neutre che sono correlate a caratteristiche protette. CAP – origine etnica o contesto socioeconomico Nome dell'università – condizione socioeconomica Periodi di inattività lavorativa – specifici gruppi demografici I risultati distorti possono costituire una discriminazione illegale anche quando non sono voluti. I fornitori esaminano i dati per individuare le distorsioni (articolo 10) e testano il sistema prima dell'immissione sul mercato (articolo 9). I deployer lo monitorano durante l'uso e, se vedono un rischio, lo sospendono e informano il fornitore o il distributore e l'autorità di vigilanza del mercato (articolo 26, paragrafo 5).

  2. Segnalazione dell'audit

    Arriva un'email dal team Audit interno. L'audit trimestrale sull'IA ha rilevato differenze statisticamente significative nei tassi di passaggio al colloquio dello strumento di selezione TalentMatch.

  3. Panoramica della dashboard dell'equità

    Alice apre la dashboard di monitoraggio dell'equità dal link nell'email di Audit. La panoramica mostra i tassi di passaggio al colloquio per gruppo demografico e le metriche di equità calcolate in automatico.

  4. Indagine sulla parità demografica

    Il Demographic Parity Ratio è 0.52, molto sotto la soglia di 0.80: il tasso di passaggio del Gruppo C è appena la metà di quello del Gruppo A. Alice deve capire che cosa causa questa differenza.

  5. Il problema delle variabili proxy

  6. Analisi delle probabilità equalizzate

    La causa: la selezione dipende soprattutto da due caratteristiche, la classifica dell'università (peso 0.34) e il CAP (peso 0.28). Il CAP ha una correlazione di 0.72 con l'appartenenza al Gruppo C, quindi l'IA usa il luogo di residenza come proxy del gruppo. La caratteristica sembra neutra, ma essendo correlata a una caratteristica protetta finisce per produrre risultati discriminatori in modo indiretto. Alice controlla la seconda metrica che non passa. L'Equalized Odds Gap è 0.31 (soglia 0.15): anche i candidati con qualifiche identiche passano con tassi diversi a seconda del gruppo. La distorsione è sistemica.

  7. Segnalare il problema

    Le prove sono chiare. Il sistema TalentMatch produce risultati discriminatori attraverso variabili proxy. Alice deve segnalare formalmente il problema dalla dashboard e inoltrarlo al team Audit con una raccomandazione chiara.

  8. La risposta giusta a una distorsione confermata

    Quando in un sistema di IA ad alto rischio si conferma una distorsione, la risposta giusta è sospendere il sistema in attesa della correzione : non ritoccare le soglie, non aggiungere avvertenze, non rimandare la verifica al trimestre successivo. Secondo l'AI Act, i deployer devono monitorare un sistema di IA ad alto rischio e, se hanno motivo di ritenere che il suo uso possa presentare un rischio, sospenderlo e informare il fornitore o il distributore e l'autorità di vigilanza del mercato (articolo 26, paragrafo 5). Una volta individuata e documentata la distorsione, continuare a usare il sistema viola questo obbligo ed espone l'azienda a sanzioni. Ogni candidatura trattata da un sistema distorto dopo la scoperta è una potenziale contestazione per discriminazione. Per andare avanti bisogna eliminare o ridurre il peso delle variabili proxy, riaddestrare il modello e ripetere la valutazione dell'equità prima che il sistema possa tornare in funzione.

  9. Punti chiave

    Cerca le distorsioni in anticipo Non aspettare reclami o audit delle autorità per scoprire una distorsione. Inserisci i test di equità nel monitoraggio dell'IA fin dal primo giorno. Una distorsione che passa inosservata danneggia persone reali. Capisci le variabili proxy Le caratteristiche in apparenza neutre – CAP, nome dell'università, periodi di inattività lavorativa – possono essere correlate a caratteristiche protette e produrre risultati discriminatori. Valuta sempre se le caratteristiche del tuo modello possano fare da proxy di gruppi demografici. Testare le distorsioni è un obbligo di legge Per i sistemi di IA ad alto rischio l'AI Act rende obbligatori i test sulle distorsioni: non sono una buona pratica facoltativa. I fornitori devono esaminare i dati per individuare le distorsioni (articolo 10) e testare il sistema prima dell'immissione sul mercato (articolo 9); i deployer devono monitorare il sistema durante l'uso (articolo 26). Se la distorsione è confermata, sospendi il sistema Continuare a usare un sistema dopo aver confermato risultati discriminatori viola l'obbligo del deployer di sospendere un sistema il cui uso può presentare un rischio e di informare il fornitore e l'autorità di vigilanza del mercato (articolo 26, paragrafo 5), e trasforma ogni decisione successiva in una potenziale contestazione per discriminazione. Sospendi l'attività, correggi la causa all'origine e verifica la correzione prima di riprendere. Documenta tutto Conserva le tracce delle valutazioni di equità, dei problemi individuati e degli interventi correttivi. Questa documentazione serve a dimostrare la conformità alle autorità di controllo. Quando si applica: il Digital Omnibus (regolamento (UE) 2026/1744) ha spostato al 2 dicembre 2027 gli obblighi dei deployer per i sistemi ad alto rischio dell'allegato III, come gli strumenti di selezione del personale. La distorsione nelle assunzioni è già oggi discriminazione illegale, quindi la risposta giusta è la stessa fin da ora.

Copertura dei framework di sicurezza

NIST CSF

  • PR.AT-01 Personnel are provided with awareness and training so that they possess the knowledge and skills to perform general tasks with cybersecurity risks in mind

NICE Framework

  • OG-WRL-008 Privacy Compliance
  • OG-WRL-002 Cybersecurity Policy and Planning

EU AI Act

  • Art. 10 Data and data governance
  • Art. 27 Fundamental rights impact assessment for high-risk AI systems
  • Art. 26 Obligations of deployers of high-risk AI systems