AI met een hoog risico: verplichtingen van de implementatie

Wat is AI met een hoog risico: verplichtingen van de implementatie?

Een AI-systeem met een hoog risico moet vóór de lancering aan zeven vereisten voldoen, en de meeste daarvan moeten door de aanbieder worden bewezen. Je voert als gebruiksverantwoordelijke een beoordeling uit van een systeem dat wordt gebruikt voor prestatiebeoordelingen van medewerkers, controleert het bewijsmateriaal van de leverancier per gebied en vindt de hiaten die de lancering blokkeren. Daarna weet je welke taken jij als gebruiksverantwoordelijke hebt, zoals het informeren van werknemers en het toewijzen van menselijk toezicht.

Wat je leert in AI met een hoog risico: verplichtingen van de implementatie

• Identificeer de zeven vereistengebieden voor AI-systemen met een hoog risico onder de EU AI Act
• Voer een nalevingsbeoordeling uit voor een AI-implementatie met een hoog risico
• Erken dat menselijk toezicht niet kan worden vervangen door nauwkeurigheidsmetingen
• Begrijp dat een werkgever werknemers moet informeren voordat zij AI met een hoog risico op het werk gebruiken
• Reageer correct als er vóór de implementatie lacunes in de naleving worden ontdekt

AI met een hoog risico: verplichtingen van de implementatie — Trainingsstappen

1. AI-vereisten met hoog risico

   High-risk AI systems have the strictest obligations under the EU AI Act. The system itself must meet requirements across seven areas (Articles 9-15), and it is the provider's job to meet them (Article 16). As the deployer, you should see the provider's evidence of each before use, then meet your own duties under Article 26: Risk management - Identify and mitigate risks throughout the system lifecycle Data governance - Ensure training data is relevant, representative, and free from bias Technical documentation - Maintain detailed documentation of the system's design and function Record-keeping - Enable audit trails and automatic logging Transparency - Provide clear information and instructions for use to deployers Human oversight - Ensure humans can effectively supervise the system Accuracy, robustness, and cybersecurity - Meet performance and security standards This exercise walks through a deployer's review of a real deployment: checking the provider's evidence and closing the gaps that are yours.

2. E-mail van de CISO

   Er komt een e-mail binnen van James Morton, de CISO van Pinnacle Group. De AI-leverancier heeft het prestatiebeoordelingssysteem voor medewerkers geleverd en Alice moet de nalevingsbeoordeling voltooien voordat het live gaat. De e-mail linkt rechtstreeks naar het AI Systems Registry op het governanceportaal.

3. AI-systeemregister

   Het AI Systems Registry wordt geladen met drie vermeldingen: PerformanceAI (het nieuwe risicovolle systeem gemarkeerd voor beoordeling), plus twee reeds compatibele systemen (EmailGuard en ChatAssist). Het register houdt het risiconiveau, de nalevingsstatus en de auditgeschiedenis bij voor elk AI-systeem bij Pinnacle Group.

4. Beoordeling van naleving

   The PerformanceAI system has clear gaps in its compliance status: a FRIA is not required for a private employer, but the affected workers have not yet been informed, no human reviewer has been assigned, and data governance is still pending review. Alice clicks Run Compliance Assessment inside the PerformanceAI entry to open the detailed checklist for this system.

5. Markeer de gaten

   Alice doorloopt elk vereistegedeelte en markeert alleen de items waaraan NIET wordt voldaan. Data Governance kent een onopgeloste kloof: de representativiteit van trainingsgegevens in de demografische gegevens van werknemers is nooit beoordeeld. Menselijk toezicht heeft er nog een: er is geen gekwalificeerde menselijke beoordelaar toegewezen met overschrijvingsbevoegdheid. De overige secties zijn in goede staat en behoeven niets gemarkeerd te worden. Tijdens de beoordeling komt Alice een briefje van de leverancier tegen: 'Menselijk toezicht is niet nodig omdat het algoritme een nauwkeurigheid van 99,2% heeft in de prestatiescores.' Deze claim moet worden beoordeeld aan de hand van wat de EU AI Act feitelijk vereist.

6. Vereiste van menselijk toezicht

7. Kritieke hiaten geïdentificeerd

   Uit de nalevingsbeoordeling zijn drie kritieke lacunes naar voren gekomen die moeten worden opgelost voordat PerformanceAI live kan gaan: Werknemers niet geïnformeerd - De FRIA van artikel 27 is niet van toepassing op een particuliere werkgever, maar artikel 26, lid 7 wel: voordat een systeem met een hoog risico op het werk wordt gebruikt, moet de werkgever de werknemersvertegenwoordigers en de betrokken werknemers op de hoogte stellen. Dat is niet gebeurd. Geen aangewezen menselijke beoordelaar - Er is geen persoon toegewezen met de autoriteit en training om de prestatiescores van de AI te negeren. Artikel 26, lid 2 vereist dat de gebruiksverantwoordelijke toezicht toekent aan mensen met de competentie, opleiding en autoriteit om dit uit te oefenen (artikel 14). Representativiteit van gegevens niet beoordeeld - Trainingsgegevens zijn niet geëvalueerd op representativiteit binnen de demografische gegevens van werknemers, waardoor een potentieel risico voor vooringenomenheid ontstaat. Artikel 10 is de plicht van de provider, dus Pinnacle moet vóór de lancering de data governance-documentatie van PerformanceAI Inc. opvragen. Elk van deze lacunes vertegenwoordigt een tekortkoming in de wettelijke naleving. Het systeem kan pas worden ingezet als alle drie de problemen zijn opgelost.

8. E-mail voor herstel

   Alice stelt een e-mail op aan de CISO waarin de lacunes in de naleving worden beschreven en waarin wordt aanbevolen de lancering uit te stellen totdat alle problemen zijn opgelost.

9. Naleving vóór implementatie

   High-risk AI deployment is not just 'install and configure.' It is a structured compliance process with ongoing obligations. The seven requirement areas are not checkboxes to rush through - they protect people affected by AI decisions. Key takeaways: All seven requirement areas must be independently satisfied before deployment, and the deployer should see the provider's evidence for each: risk management, data governance, technical documentation, record-keeping, transparency, human oversight, and accuracy/robustness/cybersecurity. Inform workers first. Before using high-risk AI at work, the employer must inform workers' representatives and the affected workers (Article 26(7)). A FRIA is mandatory only for public bodies, public-service providers and credit-scoring and life and health insurance deployers (Article 27). Human oversight cannot be replaced by accuracy . Even a 99.9% accurate system requires a designated human with override authority. If your compliance review finds gaps, the correct response is to delay deployment until they are resolved - not to deploy and fix later.