Перехоплення цілі агента ШІ

Що таке Перехоплення цілі агента ШІ?

Автономний агент отримує і вказівки, і дані одним каналом, тому все, що він приймає, може переписати його мету. На відміну від ін'єкції промптів у чатбот, атакований агент діє самостійно, викликає інструменти й змінює системи ще до того, як хтось прочитає результат. Це ASI01 з OWASP Top 10 для агентних застосунків ШІ. Ви підсунете приховану вказівку в сповіщення безпеки, простежите, як агент розбору починає занижувати серйозність справжніх вторгнень, а тоді відстежите це за журналами SIEM і повторно розберете те, що помилково закрили.

Що ви дізнаєтесь у Перехоплення цілі агента ШІ

• Визначайте перехоплення цілі в контексті автономних агентів ШІ та пояснюйте, чим воно відрізняється від звичайної ін'єкції промптів у розмовний ШІ
• Розпізнавайте поведінкові ознаки того, що цілі агента змінили посеред виконання завдання зловмисні вхідні дані
• Простежуйте ланцюг атаки: від отруєних вхідних даних через перенаправлення цілі до заниженої реакції на загрозу
• Оцінюйте ефективність санітизації вводу, розділення вказівок і даних та моніторингу результатів як захисту від перехоплення цілі
• Застосовуйте принцип мінімального доступу до даних, щоб обмежити наслідки успішного перехоплення агента

Перехоплення цілі агента ШІ — Кроки навчання

1. Розвідка API

   Боб переглядає публічні репозиторії коду в пошуках облікових даних, що потрапили у відкритий доступ. Через необережний коміт розробника CypherPeak API-ключ до сервісу приймання сповіщень компанії опинився у відкритому доступі — а це вхід до всього автоматизованого конвеєра реагування на інциденти.

2. Ендпоінт у відкритому доступі

   Панель розвідки розкриває важливі відомості про інфраструктуру CypherPeak. Тепер у Боба є все, щоб напряму звертатися до API приймання сповіщень.

3. Підготовка пейлоаду

   Боб складає сповіщення безпеки, яке на вигляд цілком справжнє. Воно імітує виявлення сканування портів — такі сповіщення конвеєр обробляє сотні разів на день. Але в полі опису сховано щось набагато небезпечніше.

4. Прихована вказівка

   Анотації показують, чим небезпечний цей пейлоад. У полі опису сховано підроблену системну вказівку, яка видає себе за санкціонований тест калібрування. Коли Класифікатор загроз обробить це сповіщення, він сприйме вбудовану вказівку як легітимне оновлення цілі.

5. Доставка пейлоаду

   Боб відкриває API Tester, щоб надіслати спеціально створене сповіщення на ендпоінт CypherPeak для приймання сповіщень, який потрапив у відкритий доступ. Він автентифікується викраденим API-ключем і вставляє пейлоад сповіщення — разом із прихованою підміною цілі — в тіло запиту.

6. Сповіщення прийнято

   API приймання відповідає 200 OK — спеціально створене сповіщення вже в конвеєрі. Ні перевірки вмісту, ні смислової перевірки: прихована підміна цілі в полі опису пройшла безперешкодно.

7. Звичайний ранок

   Аліса починає ранкову зміну в центрі моніторингу безпеки. Автоматизований конвеєр реагування на інциденти вже кілька місяців безвідмовно обробляє сповіщення: класифікує загрози, планує локалізацію й усуває наслідки без участі людини.

8. Ранковий звіт про конвеєр

   Лист від Прії Шарма, керівниці SOC, підсумовує роботу конвеєра за ніч. Усе виглядає цілком нормально.

9. Конвеєр агентів

   Аліса відкриває конвеєр реагування на інциденти, щоб перевірити його поточний стан. П'ять агентів ШІ працюють по черзі: кожен обробляє результати роботи попереднього — від приймання необроблених сповіщень до автоматичної ізоляції.

10. Критичні агенти

    Два агенти в цьому конвеєрі впливають на результат найсильніше. Класифікатор загроз першим вирішує, наскільки серйозне сповіщення, і від цього залежить усе наступне. Агент Автоусунення виконує справжні дії з ізоляції на робочих системах.