AI met een hoog risico: verplichtingen van de implementatie

Wat is AI met een hoog risico: verplichtingen van de implementatie?

Een AI-systeem met een hoog risico moet vóór de lancering aan zeven vereisten voldoen, en de meeste daarvan moeten door de aanbieder worden bewezen. Je voert als gebruiksverantwoordelijke een beoordeling uit van een systeem dat wordt gebruikt voor prestatiebeoordelingen van medewerkers, controleert het bewijsmateriaal van de leverancier per gebied en vindt de hiaten die de lancering blokkeren. Daarna weet je welke taken jij als gebruiksverantwoordelijke hebt, zoals het informeren van werknemers en het toewijzen van menselijk toezicht.

Wat je leert in AI met een hoog risico: verplichtingen van de implementatie

• Identificeer de zeven vereistengebieden voor AI-systemen met een hoog risico onder de EU AI Act
• Voer een nalevingsbeoordeling uit voor een AI-implementatie met een hoog risico
• Erken dat menselijk toezicht niet kan worden vervangen door nauwkeurigheidsmetingen
• Begrijp dat een werkgever werknemers moet informeren voordat zij AI met een hoog risico op het werk gebruiken
• Reageer correct als er vóór de implementatie lacunes in de naleving worden ontdekt

AI met een hoog risico: verplichtingen van de implementatie — Trainingsstappen

1. AI-vereisten met hoog risico

   AI-systemen met een hoog risico hebben de strengste verplichtingen op grond van de EU AI Act. Het systeem zelf moet voldoen aan de eisen op zeven gebieden (artikelen 9 tot en met 15), en het is de taak van de aanbieder om daaraan te voldoen (artikel 16). Als gebruiksverantwoordelijke moet u vóór gebruik het bewijs van elk hiervan zien en vervolgens voldoen aan uw eigen verplichtingen op grond van artikel 26: Risicobeheer - Risico's gedurende de gehele levenscyclus van het systeem identificeren en beperken Databeheer - Zorg ervoor dat trainingsgegevens relevant, representatief en vrij van vooringenomenheid zijn Technische documentatie - Onderhoud gedetailleerd documentatie van het ontwerp en de werking van het systeem Het bijhouden van gegevens - Maak audit trails en automatisch loggen mogelijk Transparantie - Zorg voor duidelijke informatie aan gebruiksverantwoordelijken en betrokken personen Menselijk toezicht - Zorg ervoor dat mensen effectief toezicht kunnen houden op de systeem Nauwkeurigheid, robuustheid en cyberbeveiliging - Voldoe aan prestatie- en beveiligingsnormen Deze oefening doorloopt de beoordeling door een gebruiksverantwoordelijke van een echte implementatie: het controleren van het bewijsmateriaal van de provider en het opvullen van de gaten die bij u liggen.

2. E-mail van de CISO

   Er komt een e-mail binnen van James Morton, de CISO van Pinnacle Group. De AI-leverancier heeft het prestatiebeoordelingssysteem voor medewerkers geleverd en Alice moet de nalevingsbeoordeling voltooien voordat het live gaat. De e-mail linkt rechtstreeks naar het AI Systems Registry op het governanceportaal.

3. AI-systeemregister

   Het AI Systems Registry wordt geladen met drie vermeldingen: PerformanceAI (het nieuwe risicovolle systeem gemarkeerd voor beoordeling), plus twee reeds compatibele systemen (EmailGuard en ChatAssist). Het register houdt het risiconiveau, de nalevingsstatus en de auditgeschiedenis bij voor elk AI-systeem bij Pinnacle Group.

4. Beoordeling van naleving

   Het PerformanceAI-systeem vertoont duidelijke hiaten in de nalevingsstatus: een FRIA is niet vereist voor een particuliere werkgever, maar de getroffen werknemers zijn nog niet geïnformeerd, er is geen menselijke beoordelaar aangesteld en het gegevensbeheer is nog in afwachting van beoordeling. Alice klikt op Compliance Assessment uitvoeren in het PerformanceAI-item om de gedetailleerde checklist voor dit systeem te openen.

5. Markeer de gaten

   Alice doorloopt elk vereistegedeelte en markeert alleen de items waaraan NIET wordt voldaan. Data Governance kent een onopgeloste kloof: de representativiteit van trainingsgegevens in de demografische gegevens van werknemers is nooit beoordeeld. Menselijk toezicht heeft er nog een: er is geen gekwalificeerde menselijke beoordelaar toegewezen met overschrijvingsbevoegdheid. De overige secties zijn in goede staat en behoeven niets gemarkeerd te worden. Tijdens de beoordeling komt Alice een briefje van de leverancier tegen: 'Menselijk toezicht is niet nodig omdat het algoritme een nauwkeurigheid van 99,2% heeft in de prestatiescores.' Deze claim moet worden beoordeeld aan de hand van wat de EU AI Act feitelijk vereist.

6. Vereiste van menselijk toezicht

7. Kritieke hiaten geïdentificeerd

   Uit de nalevingsbeoordeling zijn drie kritieke lacunes naar voren gekomen die moeten worden opgelost voordat PerformanceAI live kan gaan: Werknemers niet geïnformeerd - De FRIA van artikel 27 is niet van toepassing op een particuliere werkgever, maar artikel 26, lid 7 wel: voordat een systeem met een hoog risico op het werk wordt gebruikt, moet de werkgever de werknemersvertegenwoordigers en de betrokken werknemers op de hoogte stellen. Dat is niet gebeurd. Geen aangewezen menselijke beoordelaar - Er is geen persoon toegewezen met de autoriteit en training om de prestatiescores van de AI te negeren. Artikel 26, lid 2 vereist dat de gebruiksverantwoordelijke toezicht toekent aan mensen met de competentie, opleiding en autoriteit om dit uit te oefenen (artikel 14). Representativiteit van gegevens niet beoordeeld - Trainingsgegevens zijn niet geëvalueerd op representativiteit binnen de demografische gegevens van werknemers, waardoor een potentieel risico voor vooringenomenheid ontstaat. Artikel 10 is de plicht van de provider, dus Pinnacle moet vóór de lancering de data governance-documentatie van PerformanceAI Inc. opvragen. Elk van deze lacunes vertegenwoordigt een tekortkoming in de wettelijke naleving. Het systeem kan pas worden ingezet als alle drie de problemen zijn opgelost.

8. E-mail voor herstel

   Alice stelt een e-mail op aan de CISO waarin de lacunes in de naleving worden beschreven en waarin wordt aanbevolen de lancering uit te stellen totdat alle problemen zijn opgelost.

9. Naleving vóór implementatie

   Bij een risicovolle AI-implementatie gaat het niet alleen om 'installeren en configureren'. Het is een gestructureerd complianceproces met doorlopende verplichtingen. De zeven vereistengebieden zijn geen selectievakjes waar je doorheen moet rennen; ze beschermen mensen die getroffen worden door AI-beslissingen. Belangrijkste punten: Aan alle zeven vereistengebieden moet onafhankelijk worden voldaan voordat ze worden ingezet, en de gebruiksverantwoordelijke moet voor elk ervan het bewijs van de aanbieder zien: risicobeheer, gegevensbeheer, technische documentatie, bijhouden van gegevens, transparantie, menselijk toezicht en nauwkeurigheid/robuustheid/cyberbeveiliging. Informeer eerst werknemers. Voordat hij AI met een hoog risico op het werk gebruikt, moet de werkgever de werknemersvertegenwoordigers en de betrokken werknemers informeren (artikel 26, lid 7). Een FRIA is alleen verplicht voor overheidsinstanties, publieke dienstverleners en gebruiksverantwoordelijken die krediet- of verzekeringsscores toekennen (artikel 27). Menselijk toezicht kan niet worden vervangen door nauwkeurigheid . Zelfs een systeem dat 99,9% accuraat is, vereist een aangewezen persoon met override-bevoegdheid. Als uw nalevingsbeoordeling hiaten aantreft, is het juiste antwoord: de implementatie uitstellen totdat deze zijn opgelost - en niet later implementeren en repareren.