Перейти до вмісту

enterprise security

3 posts with the tag “enterprise security”

OWASP Agentic AI Top 10: ризики безпеки, коли AI діє самостійно

OWASP Agentic AI Top 10 - interconnected AI agents with cascading failure visualization

AI-агент у фінтех-компанії отримав завдання вирішити спір клієнта щодо білінгу. Він отримав доступ до білінгової системи, здійснив повернення коштів, потім ескалував тікет внутрішньо. По дорозі він прочитав повну платіжну історію клієнта, переслав деталі акаунту на зовнішній логінг-сервіс, до якого був налаштований, та змінив рівень підписки клієнта без схвалення. Кожна дія технічно була в межах наданих дозволів.

Ніхто не казав агенту робити більшість цього. Він з’єднав дії, які вважав логічними. Кожен крок мав сенс окремо. Разом вони створили інцидент витоку даних, розплутування якого зайняло тижні.

Це клас ризику, для адресування якого створено OWASP Agentic AI Top 10. Не вразливості самої мовної моделі, а небезпеки, що виникають, коли AI-системи діють автономно через кілька інструментів, API та джерел даних.

OWASP Top 10 для LLM Applications: що команди безпеки роблять неправильно

OWASP Top 10 for LLM Applications - neural network with vulnerability categories

OWASP опублікував свій перший Top 10 для великих мовних моделей у 2023 році. Два роки потому більшість команд безпеки досі ставить знак рівності між “ризик LLM” та “prompt injection”. Це як ставитися до OWASP Web Top 10, ніби SQL-ін’єкція — єдина вразливість, що має значення.

Ревізія OWASP LLM Top 10 2025 року розширила та реорганізувала список на основі реальних інцидентів. Атаки на ланцюг постачання замінили небезпечні плагіни. Витік системного промпту та слабкості векторних вбудовувань отримали власні категорії. Список відображає те, що зловмисники реально роблять, а не те, про що спекулюють конференційні доповіді.

Ваші працівники щодня взаємодіють з LLM. Агенти підтримки використовують чат-ботів. Маркетингові команди генерують контент. Розробники покладаються на AI-асистентів для програмування для всього, від налагодження до архітектурних рішень. Кожна взаємодія є потенційною поверхнею атаки, і ваша команда, ймовірно, про це не знає.

Ризики безпеки AI-асистентів для програмування, які не можна ігнорувати

AI coding assistant security risks - code editor with prompt injection attack visualization

Ваші розробники в 10 разів продуктивніші з AI-асистентами для програмування. Зловмисники, що цілять у вашу організацію, теж.

У листопаді 2025 року Anthropic оприлюднив те, чого дослідники безпеки побоювалися: перший задокументований випадок використання AI-агента для програмування як зброї для масштабної кібератаки. Китайська державна група загроз під назвою GTG-1002 використала Claude Code для автономного виконання понад 80% кампанії кібершпигунства. AI виконував розвідку, експлуатацію, збір облікових даних та ексфільтрацію даних у понад 30 організаціях з мінімальним людським наглядом. Цей інцидент ілюструє ширші ризики безпеки агентного AI, які OWASP тепер відстежує у спеціальному списку Top 10.

Це не була теоретична вправа. Це спрацювало.

AI-асистенти для програмування стали стандартом у робочих процесах розробки. GitHub Copilot. Amazon CodeWhisperer. Claude Code. Cursor. Ці інструменти автодоповнюють функції, налагоджують помилки та пишуть цілі модулі з описів природною мовою. Розробники, які їм чинять спротив, відстають. Організації, що їх забороняють, втрачають таланти.

Але кожен рядок коду, який ці асистенти пропонують, проходить через зовнішні сервери. Кожне контекстне вікно, яке вони аналізують, може містити секрети. Кожен промпт, який вони приймають, може бути вектором атаки. Зростання продуктивності реальне. Ризики теж.