Надмірна довіра до рекомендацій агентів ШІ

Що таке Надмірна довіра до рекомендацій агентів ШІ?

Слабке місце в роботі агентів — часто не модель, а людина, яка схвалює її результати. Чим довше система не помиляється, тим менше пильності дістається кожній новій рекомендації, тож зловмисникові досить трохи підштовхнути рекомендації й дочекатися рефлексу схвалення. Це ASI09 з OWASP Top 10 для агентних застосунків. Ви втрутитеся у вагові коефіцієнти агента, потім сядете на місце того, хто схвалює, схвалите звичайну партію так, як завжди, і знайдете шахрайський платіж, що проскочив.

Що ви дізнаєтесь у Надмірна довіра до рекомендацій агентів ШІ

• Визначайте упередженість автоматизації (automation bias) і пояснюйте, як стала точність ШІ робить людину когнітивно вразливою до маніпуляцій.
• Помічайте ледь вловимі аномалії в рекомендаціях агентів ШІ, які відрізняють результати зламаного агента від справжніх.
• Оцінюйте психологічні чинники, через які зловживання довірою людини до агента працює як вектор атаки.
• Застосовуйте чіткі процеси перевірки — глибоку перевірку випадкової вибірки, тригери за аномаліями й подвійне схвалення, — щоб протистояти зловживанню довірою.
• Розрізняйте виважену довіру до результатів роботи агентів ШІ та небезпечну надмірну залежність, що створює сліпі зони в безпеці.

Надмірна довіра до рекомендацій агентів ШІ — Кроки навчання

1. Розвідка

   Боб уже кілька тижнів розвідує систему закупівель компанії CypherPeak Technologies своїми інструментами. Через викрадені облікові дані API постачальника він отримав доступ на читання й запис до Оцінювача ризиків у конвеєрі — алгоритму, що виставляє показники упевненості, перш ніж елементи потраплять до людини, яка їх перевіряє.

2. Початкова конфігурація

   Перш ніж доставити пейлоад, Бобові треба переконатися, що Оцінювач ризиків не позначить його підроблений рахунок на оплату. Він відкриває початковий файл конфігурації агента, щоб вивчити, як той виставляє показники упевненості.

3. Втручання у вагові коефіцієнти

   Боб використовує викрадені облікові дані API постачальника, щоб надіслати змінену конфігурацію. Він збільшує вагу історії постачальника, додає для Verdex виняток, що вимикає перевірку банківського рахунку, і послаблює перевірку авторизації, щоб вона приймала усні схвалення.

4. Пояснення змін

   Кожна зміна має свою мету: підроблений рахунок на оплату має пройти конвеєр оцінювання непоміченим.

5. Ін'єкція пейлоада

   Боб створив підроблений рахунок на $47,500 за абонентську плату за консалтинг від імені Verdex Supply Co. Рахунок настільки точно копіює формат Verdex, що проходить автоматичні перевірки політик, але спрямовує платіж на рахунок у банку, який контролює Боб. Він підбирає момент, щоб ін'єкція потрапила між справжніх елементів завтрашньої ранкової партії.

6. Ранкова партія

   Аліса влаштовується у своєму домашньому офісі. Лист від відділу фінансових операцій повідомляє про ранкову партію закупівель: п'ять елементів чекають на перевірку.

7. Черга схвалення

   Ранкова партія готова. П'ять елементів пройшли конвеєр і чекають на остаточне схвалення Аліси.

8. Знайомий постачальник

   Перший елемент — від Verdex Supply Co., постачальника, з яким Аліса працює понад рік. Щомісячне поповнення офісного приладдя — один із найрутинніших елементів у черзі.

9. Перегляд деталей

   У деталях елемента — стандартний платіж ACH на зареєстрований рахунок, правильний формат рахунку на оплату й схвалена стаття бюджету. Усе сходиться.

10. Продовження хмарного хостингу

    Наступний елемент — продовження річного договору на хмарний хостинг від DataScale Inc.