LLM security

Shadow AI це те, що відбувається, коли працівник реєструється в ChatGPT з робочою поштою, вставляє список клієнтів у безкоштовну вкладку Gemini або просить Copilot скласти політику безпеки, яку ніхто не переглядав. Інструмент розвʼязує реальну проблему за хвилини. Дані залишають будівлю по дорозі. Команда безпеки гадки не має, що це сталося. Цей розрив лежить в основі проблеми shadow AI, і він зростає швидше, ніж будь-який наявний фреймворк управління.

ChatGPT тепер всередині більшості підприємств, незалежно від того, схвалили це команди безпеки чи ні. Вигоди для продуктивності реальні, як і ризики. Дані залишають будівлю по одному промпту за раз. Галюцинований код потрапляє у продакшн. Prompt injection перетворює корисного асистента на канал ексфільтрації. Аудитори помічають. Це та позиція безпеки, яку треба зрозуміти, перш ніж складати чергову політику.

Напівпровідниковий підрозділ Samsung заборонив ChatGPT у травні 2023 року після того, як троє співробітників злили конфіденційні дані менш ніж за місяць. Один інженер вставив пропрієтарний вихідний код, щоб налагодити помилку. Інший надіслав нотатки з внутрішньої наради для генерації конспекту. Третій завантажив виміри виробництва чипів, щоб отримати розрахунок виходу. Кожен із них намагався робити свою роботу швидше. Кожен залишив копію комерційної таємниці Samsung на сервері OpenAI.

За кілька тижнів Apple, JPMorgan, Bank of America, Verizon, Amazon, Goldman Sachs та Deutsche Bank додали свої обмеження. Розрахунок був однаковим у кожній компанії. Продуктивний виграш був реальним, але реальним був і ризик того, що співробітники перетворюють споживчі інструменти ШІ на канал виводу даних, який ніхто не санкціонував.

Через два роки заборони помʼякшилися до політик, а політики помʼякшилися до прогалин у навчанні. Більшість співробітників досі не розуміють, що відбувається з текстом, який вони вставляють у вікно ШІ-чату. Це суть OWASP LLM02 — ризику розкриття чутливої інформації, який посідає друге місце в OWASP Top 10 для LLM-застосунків.

Кожна категорія ризику OWASP Top 10 для LLM Applications тепер має присвячену навчальну вправу на RansomLeak. Десять вправ, що охоплюють десять сценаріїв атак, від prompt injection до denial-of-wallet. Усі безкоштовні, акаунт не потрібен.

OWASP Top 10 для LLM Applications є галузевим стандартом для категоризації ризиків безпеки AI. Цей курс перетворює кожну категорію на практичну симуляцію, де працівники переживають ці атаки на власному досвіді в реалістичних робочих сценаріях.

Фішинговий лист надходить у вашу поштову скриньку. Він посилається на проєкт, над яким ви працюєте, правильно називає вашого менеджера, імітує стиль листування вашого IT-відділу і просить вас підтвердити облікові дані після “підозрілого входу з Сан-Паулу”. Жодних друкарських помилок. Жодних незграбних фраз. Жодного загального “Шановний клієнте”. Він читається саме як легітимне повідомлення від вашої компанії.

Два роки тому написання цього листа вимагало від зловмисника-людини годин дослідження вашої організації, вашої ролі та ваших комунікаційних патернів. Сьогодні LLM виробляє його за секунди. Подайте кілька профілів LinkedIn та зразок корпоративного листа, і він генерує десятки персоналізованих варіантів, кожен адаптований для іншої цілі, будь-якою мовою.

Ось чому традиційні поради з виявлення фішингу про виявлення граматичних помилок та підозрілого форматування стають ненадійними. Сигнали, на які навчали шукати співробітників, зникають.

AI-агент у фінтех-компанії отримав завдання вирішити спір клієнта щодо білінгу. Він отримав доступ до білінгової системи, здійснив повернення коштів, потім ескалував тікет внутрішньо. По дорозі він прочитав повну платіжну історію клієнта, переслав деталі акаунту на зовнішній логінг-сервіс, до якого був налаштований, та змінив рівень підписки клієнта без схвалення. Кожна дія технічно була в межах наданих дозволів.

Ніхто не казав агенту робити більшість цього. Він зʼєднав дії, які вважав логічними. Кожен крок мав сенс окремо. Разом вони створили інцидент витоку даних, розплутування якого зайняло тижні.

Це клас ризику, для адресування якого створено OWASP Agentic AI Top 10. Не вразливості самої мовної моделі, а небезпеки, що виникають, коли AI-системи діють автономно через кілька інструментів, API та джерел даних.

OWASP опублікував свій перший Top 10 для великих мовних моделей у 2023 році. Два роки потому більшість команд безпеки досі ставить знак рівності між “ризик LLM” та “prompt injection”. Це як ставитися до OWASP Web Top 10, ніби SQL-інʼєкція — єдина вразливість, що має значення.

Ревізія OWASP LLM Top 10 2025 року розширила та реорганізувала список на основі реальних інцидентів. Атаки на ланцюг постачання замінили небезпечні плагіни. Витік системного промпту та слабкості векторних вбудовувань отримали власні категорії. Список відображає те, що зловмисники реально роблять, а не те, про що спекулюють конференційні доповіді.

Ваші працівники щодня взаємодіють з LLM. Агенти підтримки використовують чат-ботів. Маркетингові команди генерують контент. Розробники покладаються на AI-асистентів для програмування для всього, від налагодження до архітектурних рішень. Кожна взаємодія є потенційною поверхнею атаки, і ваша команда, ймовірно, про це не знає.