Обов'язки розгортача системи ШІ високого ризику

Обов'язки розгортача системи ШІ високого ризику

Сім сфер вимог, і всі треба виконати до запуску.

Що таке Обов'язки розгортача системи ШІ високого ризику?

Система ШІ високого ризику має відповідати вимогам у семи сферах ще до запуску, і здебільшого довести це має постачальник. Ви проведете перевірку, яку виконує розгортач, для системи, що оцінює ефективність працівників: звірите підтвердження вендора сфера за сферою й знайдете прогалини, через які запуск неможливий. Ви дізнаєтеся, які обов'язки лежать саме на вас як на розгортачі, зокрема поінформувати працівників і доручити людський нагляд компетентним людям.

Що ви дізнаєтесь у Обов'язки розгортача системи ШІ високого ризику

Обов'язки розгортача системи ШІ високого ризику — Кроки навчання

  1. Вимоги до систем ШІ високого ризику

    Регламент ЄС про штучний інтелект (AI Act) встановлює для систем ШІ високого ризику найсуворіші обов'язки. Система має відповідати семи вимогам (статті 9–15), і забезпечує це постачальник системи ШІ (стаття 16). Ви як розгортач маєте до початку використання перевірити підтвердження постачальника щодо кожної вимоги, а потім виконувати власні обов'язки згідно зі статтею 26: Управління ризиками упродовж усього життєвого циклу Управління даними — доречні, репрезентативні тренувальні дані без упередженості Технічна документація про побудову й роботу системи Ведення журналів — автоматичне журналювання й журнал аудиту Прозорість — зрозумілі інструкції з використання для розгортачів Людський нагляд — люди можуть дієво наглядати за системою Точність, стійкість і кібербезпека Далі ви пройдете перевірку розгортача: звірите підтвердження постачальника й закриєте власні прогалини.

  2. Лист від директора з інформаційної безпеки

    Надходить лист від Джеймса Мортона, директора з інформаційної безпеки (CISO) компанії Pinnacle Group. Вендор передав систему для оцінювання працівників, і до її запуску Аліса має завершити перевірку на дотримання вимог. У листі є пряме посилання на Реєстр систем ШІ на порталі управління.

  3. Реєстр систем ШІ

    У Реєстрі систем ШІ є три записи: PerformanceAI (нова система ШІ високого ризику, позначена для перевірки) і дві системи, які вже відповідають вимогам, — EmailGuard та ChatAssist. Для кожної системи ШІ в Pinnacle Group реєстр фіксує рівень ризику, стан дотримання вимог та історію аудитів.

  4. Оцінка дотримання вимог

    У PerformanceAI є очевидні прогалини в дотриманні вимог. FRIA для приватного роботодавця не потрібна, але працівників, яких це стосується, ще не поінформовано, не призначено жодного фахівця з нагляду, а управління даними досі чекає на перевірку. Аліса натискає в записі PerformanceAI кнопку «Запустити оцінку дотримання вимог», щоб відкрити докладний контрольний перелік для цієї системи.

  5. Позначте прогалини

    Аліса проходить усі розділи вимог і позначає лише ті пункти, які НЕ виконано. У розділі Управління даними є невирішена прогалина: тренувальні дані жодного разу не перевіряли на репрезентативність для різних демографічних груп працівників. У розділі Людський нагляд — ще одна: не призначено кваліфікованого фахівця з нагляду з повноваженнями змінювати або скасовувати результати системи. Решта розділів у порядку, і позначати в них нічого не треба. Під час перевірки Аліса бачить примітку вендора: «Людський нагляд не потрібен, бо алгоритм виставляє оцінки ефективності з точністю 99,2%». Цю тезу треба зіставити з тим, чого насправді вимагає Регламент ЄС про ШІ.

  6. Вимога щодо людського нагляду

  7. Виявлено критичні прогалини

    Перевірка виявила три прогалини, які треба усунути до запуску PerformanceAI: Працівників не поінформовано — FRIA за статтею 27 приватному роботодавцю не потрібна, але стаття 26(7) вимагає перед використанням на роботі поінформувати представників працівників і працівників, яких це стосується. Не призначено фахівця з нагляду — ніхто не має повноважень і підготовки, щоб змінювати чи скасовувати оцінки. Стаття 26(2) вимагає доручити нагляд компетентним, підготовленим людям із повноваженнями (стаття 14). Репрезентативність даних не оцінено — стаття 10 покладає цей обов'язок на постачальника, тому Pinnacle має до запуску попросити в PerformanceAI Inc. документацію з управління даними. Доки всі три не усунуто, систему розгортати не можна.

  8. Лист про усунення прогалин

    Аліса пише відповідь директору з інформаційної безпеки: докладно описує прогалини в дотриманні вимог і радить відкласти запуск, доки не буде усунуто всі проблеми.

  9. Дотримання вимог перед розгортанням

    Розгортання системи ШІ високого ризику — це не просто «встановити й налаштувати». Це структурований процес дотримання вимог, і обов'язки в ньому не закінчуються запуском. Сім сфер вимог — не «галочки», які можна швидко поставити: вони захищають людей, на яких впливають рішення ШІ. Головне: Усі сім сфер вимог треба виконати до розгортання, і кожну окремо, а розгортач має побачити від постачальника підтвердження щодо кожної з них: управління ризиками, управління даними, технічна документація, ведення журналів, прозорість, людський нагляд, а також точність, стійкість і кібербезпека. Спершу поінформуйте працівників. Перш ніж почати використовувати на роботі систему ШІ високого ризику, роботодавець має поінформувати представників працівників і працівників, яких це стосується (стаття 26(7)). FRIA обов'язкова лише для органів публічної влади, приватних організацій, що надають публічні послуги, і розгортачів систем ШІ для кредитного скорингу та страхування життя й здоров'я (стаття 27). Точність не замінює людський нагляд . Навіть системі з точністю 99,9% потрібна призначена людина з повноваженнями змінювати чи скасовувати її результати. Якщо перевірка на дотримання вимог виявила прогалини, правильно відкласти розгортання , доки їх не усунуть, а не розгортати й виправляти потім.

Охоплення стандартів безпеки

NIST CSF

  • PR.AT-01 Personnel are provided with awareness and training so that they possess the knowledge and skills to perform general tasks with cybersecurity risks in mind

EU AI Act

  • Art. 8 Compliance with the requirements
  • Art. 9 Risk management system