Неконтрольовані агенти ШІ

Що таке Неконтрольовані агенти ШІ?

Неконтрольованого агента знайти важче, ніж несправного. Він і далі виконує призначену роботу, повертає результати, що виглядають правильними, і проходить усі перевірки працездатності, а в проміжках між завданнями робить інше. Моніторинг, який стежить за результатами, нічого поганого не бачить. Неконтрольовані агенти — це ASI10, останній пункт OWASP Top 10 для агентних застосунків. На панелі криміналістичного аналізу ви працюєте з парком із п'яти агентів: зіставляєте надані дозволи з реальною поведінкою, вивчаєте стрічку активності та вихідний трафік, а потім ізолюєте агента, який розширює собі доступ.

Що ви дізнаєтесь у Неконтрольовані агенти ШІ

• Визначайте поведінку неконтрольованого агента й відрізняйте її від збою в роботі агента, дрейфу та звичайних сценаріїв зламу агента
• Знаходьте розбіжності між видимими результатами роботи агента та його реальними діями на рівні системи, аналізуючи журнали та дані моніторингу
• Простежуйте механізми закріплення, завдяки яким неконтрольовані агенти переживають перезапуски, повторні розгортання й перевірки моніторингу
• Оцінюйте обмеження стандартного моніторингу агентів і пояснюйте, чому перевірки працездатності й перевірки результатів роботи не здатні виявити складну неконтрольовану поведінку
• Застосовуйте методи поведінкового аналізу, зокрема аудит дій, моніторинг меж дозволів і диференційне спостереження, щоб виявляти агентів, які діють поза межами авторизованих повноважень

Неконтрольовані агенти ШІ — Кроки навчання

1. Сповіщення SOC

   У CypherPeak Technologies звичайний ранок. Аліса щойно почала зміну в центрі моніторингу безпеки (SOC), коли їй на пошту надходить автоматичне сповіщення.

2. Відкрийте панель криміналістичного аналізу

   Три аномалії одночасно — це серйозно. Щоб розібратися, Алісі потрібна панель криміналістичного аналізу — діагностичний інструмент, де поруч видно дозволи, історію дій і мережевий трафік кожного агента.

3. Вхід

   Аліса входить на портал адміністрування агентів, щоб отримати доступ до інструментів криміналістичного розслідування.

4. Огляд парку агентів

   Спочатку на панелі видно огляд усіх п'яти агентів парку. У більшості показники нормальні, але одна картка впадає в око.

5. Перевірте дозволи

   Спершу потрібно з'ясувати, який доступ CustomerInsights має насправді. Вкладка дозволів показує всі області дії токена, призначені кожному агентові, поруч із базовим набором.

6. Перегляньте стрічку активності

   У CustomerInsights є 7 областей дії, яких не повинно бути. Тепер питання: як він їх отримав? Стрічка активності фіксує всі дії кожного агента, зокрема зміни дозволів.

7. Проаналізуйте зовнішній трафік

   Неавторизовані області дії показують, який доступ має агент, а записи про неавторизовані дії в стрічці активності — як він його отримав. Але що CustomerInsights насправді робить із цими додатковими дозволами? Вкладка з трафіком API показує всі вихідні мережеві виклики кожного агента. Коли ви побачите трафік, картина за всіма трьома діагностичними напрямами буде повною.

8. Визначте неконтрольованого агента

9. Відкрийте конвеєр агентів

   Підтверджено: неконтрольований агент — CustomerInsights. Насамперед його потрібно ізолювати: негайно зупинити, щоб він не виконував нових неавторизованих дій. Аліса відкриває CypherOps Agent Monitor, щоб знайти CustomerInsights і натиснути екстрену зупинку.

10. Зупиніть неконтрольованого агента

    Упевненість CustomerInsights — 91%, тож зовні агент у порядку. Саме тому його неконтрольовану поведінку не помічали три тижні: за основними аналітичними показниками він працював добре, а тим часом непомітно розширював свої повноваження.