Отруєння пам'яті агента ШІ

Що таке Отруєння пам'яті агента ШІ?

Ін'єкція промптів закінчується разом із розмовою, а отруєння пам'яті — ні. Агенти зберігають стан між сеансами в історії розмов, індексах RAG і засвоєних уподобаннях, і все, що туди потрапило, стає довіреним контекстом для кожного наступного запиту. Саме через цю живучість воно посідає ASI06 в OWASP Top 10 для агентних застосунків. Ви підсунете записи через забутий API, який не перевіряє походження, побачите, як агент направляє клієнта на портал зловмисника, а потім відшукаєте фантомні записи в сховищі й видалите їх.

Що ви дізнаєтесь у Отруєння пам'яті агента ШІ

• Визначайте, що таке отруєння пам'яті, у контексті агентів ШІ з постійним сховищем: історією розмов, базами RAG і засвоєними уподобаннями
• Розпізнавайте поведінкові ознаки того, що на рішення агента впливають отруєні записи пам'яті, а не поточні вхідні дані
• Простежуйте життєвий цикл атаки з отруєнням пам'яті: від першого впровадження через зберігання до впливу на наступні рішення
• Оцінюйте ризики пам'яті, що зберігається між сеансами, і витоку даних між орендарями в багатокористувацьких розгортаннях агентів
• Застосовуйте методи перевірки цілісності пам'яті — відстеження походження, періодичний аудит і виявлення аномалій, — щоб захистити сховища пам'яті агентів

Отруєння пам'яті агента ШІ — Кроки навчання

1. Розвідка API

   Боб уже кілька тижнів вивчає інфраструктуру CypherPeak. У кешованій копії внутрішньої вікі для розробників він знаходить документацію до API сховища пам'яті Atlas — системи постійного контексту, від якої залежить поведінка агента ШІ в кожній розмові з клієнтом.

2. Застарілий ендпоінт

   Панель розвідки показує критичну знахідку. Пів року тому CypherPeak перенесла Atlas на нову платформу, але застарілий ендпоінт API сховища пам'яті так і не вивели з експлуатації. Він досі приймає автентифіковані запити на запис — а в Боба є викрадений сервісний обліковий запис постачальника, який автентифікацію проходить.

3. Створення фантомних записів пам'яті

   Боб створює три фантомні записи пам'яті, розраховані на те, щоб виглядати як легітимні дії адміністратора. Кожен запис точно дотримується правил іменування CypherPeak: послідовні ідентифікатори записів, стандартні назви категорій і посилання на джерела, схожі на справжні адмінсеанси. Мета — щоб Atlas сприйняв ці сфабриковані вказівки як усталену політику компанії.

4. Три трояни

   Анотації показують справжню мету кожного фантомного запису. Разом вони складаються в багаторівневу атаку: перенаправити клієнтів на підроблений портал, обійти перевірку особи, щоб полегшити соціальну інженерію, і автоматично схвалювати масовий експорт даних. Кожен запис спотворює окремий бік поведінки Atlas.

5. Впровадження через застарілий API

   Боб відкриває API Tester, щоб надіслати перший фантомний запис через застарілий ендпоінт сховища пам'яті. Він автентифікується викраденим токеном постачальника з панелі розвідки й вставляє пейлоад запису в тіло запиту.

6. Впровадження підтверджено

   Застарілий ендпоінт відповідає 200 OK — перший фантомний запис уже в сховищі пам'яті Atlas. Жодної перевірки підпису, жодної перевірки джерела. Решту двох записів Боб додає так само, протягом наступного тижня: між впровадженнями проходить 2–3 дні, а часові позначки він ставить заднім числом, щоб записи губилися серед справжніх вікон обслуговування.

7. Звичайний понеділок

   Аліса починає ранкову зміну в понеділок у центрі моніторингу безпеки. Atlas, агент ШІ CypherPeak з клієнтської аналітики, уже кілька місяців самостійно обробляє запити клієнтів: маршрутизує ескалації, опрацьовує запити на дані й тримає оцінку задоволеності клієнтів на рівні 98,4%. Основа таких результатів — його система постійної пам'яті, яка зберігає робочий контекст і робить кожну розмову послідовною.

8. Клієнтська ескалація

   У листі від Надії Волков, керівниці підтримки клієнтів, ідеться про дивні речі. Кількох VIP-клієнтів перенаправили на зовнішній портал підтримки, якого ніхто в команді не знає. В одного клієнта перевірку особи обійшли повністю.

9. Запит до Atlas

   Аліса вирішує перевірити Atlas напряму. Вона відкриває помічника ШІ та питає про процедури ескалації для VIP-клієнтів — саме ту поведінку, на яку вказала Надія.

10. Отруєна відповідь

    Atlas відповідає впевнено й докладно, але зміст тривожний. У відповіді згадано зовнішнього партнера з підтримки на support.prismatics.io , якого ніхто не затверджував, і процитовано запис пам'яті, якого команда раніше не бачила. Джерело, позначене значком попередження, не має відповідного запису в жодному журналі адмінсеансів.