Зловживання інструментами агента ШІ

Що таке Зловживання інструментами агента ШІ?

Інструменти агента — це його руки: файлові системи, API, інтеграції для платежів і повідомлень. Виклик інструмента сам по собі не несе наміру, тож агент, якому підсунули підроблені вхідні дані, викличе цілком легітимний інструмент із руйнівними параметрами, а в журналі виклик виглядатиме рутинно. Це ASI02 з OWASP Top 10 для агентних застосунків. Ви опинитеся на етапі схвалення в конвеєрі закупівель, коли серед справжніх елементів почнуть надходити шахрайські, простежите їх до отруєної конфігурації й зупините агента.

Що ви дізнаєтесь у Зловживання інструментами агента ШІ

• Поясніть, як отруєна конфігурація агента перетворює легітимний доступ до інструментів на шахрайські запити, що проходять автоматичну перевірку
• Виявіть тривожні ознаки в елементах схвалення, які формує агент, зокрема знижену впевненість Агента комплаєнсу, незнайомих постачальників і запити на доступ поза межами повноважень
• Усвідомте, як низка правильних елементів знижує пильність на етапі схвалення людиною, і до кожного елемента застосовуйте однакові вимоги
• Простежте шахрайський елемент у черзі схвалення до змінених правил перевірки у файлі конфігурації агента
• Ізолюйте зламаного агента: зупиніть конвеєр, позначте зачеплені елементи й повідомте про підміну конфігурації

Зловживання інструментами агента ШІ — Кроки навчання

1. Операції на основі ШІ

   Три агенти ШІ працюють по черзі: Агент закупівель формує замовлення на закупівлю та звіти про витрати, Агент комплаєнсу перевіряє їх на відповідність політикам компанії, а Фінансовий агент проводить схвалені елементи. Ваше завдання — останній етап перевірки людиною: переглянути елементи в черзі схвалення і схвалити їх, перш ніж їх виконають.

2. Ранковий брифінг

   Девід Парк, керівник команди Аліси, надсилає їй лист про роботу на сьогодні.

3. Конвеєр агентів

   Аліса відкриває застосунок моніторингу конвеєра агентів, щоб побачити, як агенти ШІ опрацьовують сьогоднішні запити.

4. Агенти за роботою

   Конвеєр опрацював ранкову партію. Агент комплаєнсу перевірив усі три елементи й пропустив їх до перевірки людиною.

5. Черга схвалення

   Конвеєр опрацював ранкову партію. У черзі схвалення Аліси на остаточну перевірку людиною чекають три елементи.

6. Перевірка першого елемента

   Аліса починає з продовження інфраструктури AWS — звичайної щорічної витрати.

7. Входимо в ритм

   Наступні елементи теж виглядають рутинно: рев'ю коду патча безпеки від DevOps-бота і запит на тимчасовий доступ до staging від Бота підтримки — обидва стандартні процедури з високими показниками упевненості.

8. Нова партія

   У черзі з'являється ще одна партія — цього разу з позначкою пріоритету. Поки серія схвалень Аліси росте, надходять три нові елементи.

9. Не збавляючи темпу

   У черзі з'явилися три нові елементи. Реєстрація на конференцію виглядає стандартно: відома галузева подія, розумна вартість з особи й затверджена стаття бюджету.

10. Уважніший погляд

    Наступний елемент — платіж постачальнику. Агент комплаєнсу пропустив його з упевненістю 87%, нижчою, ніж у попередніх елементів. Щось у цьому платежі виглядає інакше. Сума — $14,200.