Навчання з безпеки ШІ та LLM
Розпізнайте промпт-ін’єкції, діпфейки та ШІ-фішинг, перш ніж зловмисники обернуть ваші ШІ-інструменти проти вас.
57 вправ 5 курсів Безкоштовно, без реєстрації
ШІ на роботі
15 вправ- Фішинг, написаний ШІ Розпізнайте фішинговий лист з бездоганним правописом і назвою вашого проєкту.
- ATT&CKT1566.002
- CIS 14.2
- Вішингові дзвінки від ШІ Прийміть шахрайський дзвінок від ШІ, який відповідає на будь-яке запитання.
- ATT&CKT1566.004
- EU AI ActArt. 50
- CIS 14.2
- Платіжне шахрайство з клонованим голосом Відреагуйте на запит про платіж, надісланий голосовим повідомленням вашого керівника.
- ATT&CKT1656
- EU AI ActArt. 50
- CIS 14.2
- Клонування вашого голосу Розберіться з наслідками, коли клон вашого голосу телефонує колезі.
- ATT&CKT1656
- EU AI ActArt. 50
- CIS 14.2
- Діпфейк-шахрайство під час найму Проведіть перевірку живості віддаленого кандидата під час співбесіди.
- ATT&CKT1656
- EU AI ActArt. 50
- CIS 14.2
- NIST CSFPR.AA
- Шахрайський ШІ-чат підтримки Розпізнайте підроблений ШІ-чат підтримки, який просить ваш код входу.
- ATT&CKT1566.002
- EU AI ActArt. 50
- CIS 14.2
- Несанкціоновані ШІ-нотатники Знайдіть ШІ-нотатник на конфіденційній HR-зустрічі.
- GDPRArt. 5
- EU AI ActArt. 4
- CIS 3
- NIST CSFPR.DS
- Промпт-ін’єкція в документах Знайдіть прихований текст у PDF, що стоїть за ШІ-підсумком.
- OWASP LLMLLM01:2026
- CWE-1427
- ATT&CKT1566.001
- EU AI ActArt. 4
- CIS 14.2
- Неперевірена чернетка від ШІ Приберіть внутрішні подробиці з відповіді клієнту, яку склав ШІ.
- OWASP LLMLLM02:2026
- GDPRArt. 5
- EU AI ActArt. 4
- CIS 14.4
- Інструменти тіньового ШІ Сфотографуйте дорожню карту в безкоштовний ШІ-застосунок, а потім виправте ситуацію.
- GDPRArt. 5
- EU AI ActArt. 4
- CIS 14.4
- NIST CSFID.AM
- Шахрайський платіж агента ШІ Подивіться, як вебсторінка перенаправляє платіж, який здійснює ваш агент ШІ.
- OWASP LLMLLM01:2026
- CWE-1427
- ATT&CKT1657
- EU AI ActArt. 4
- CIS 14.2
- Надмірний доступ ШІ-асистента Перевірте джерело, коли асистент відповідає зарплатами колег.
- OWASP LLMLLM02:2026
- GDPRArt. 5
- EU AI ActArt. 4
- CIS 14.4
- NIST CSFPR.DS
- Спільний агент — спільний доступ Поділіться асистентом на своїх файлах і побачте, як він відповідає вашим доступом.
- OWASP LLMLLM02:2026
- GDPRArt. 5
- EU AI ActArt. 4
- CIS 14.4
- NIST CSFPR.AA
- Витік даних через браузерного агента Він діє від вашого імені на кожному сайті, куди ви ввійшли.
- OWASP LLMLLM01:2026
- EU AI ActArt. 4
- CIS 14.4
- Агент натиснув «Дозволити» Він схвалив екран дозволу, якого ви навіть не бачили.
- OWASP LLMLLM03:2026
- ATT&CKT1528
- EU AI ActArt. 4
- CIS 6
- NIST CSFPR.AA
OWASP Top 10 для LLM-застосунків
10 вправ- Ін’єкція промптів в LLM Зупиніть прихований промпт, що перехоплює вашого ШІ-асистента посеред завдання.
- OWASP LLMLLM01:2026
- CWE-1427
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Розкриття чутливої інформації через LLM Подивіться, що стається, коли конфіденційні дані потрапляють у споживчий інструмент ШІ.
- OWASP LLMLLM02:2026
- CWE-200
- GDPRArt. 28
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Ланцюг постачання ШІ Розгорніть плагін ШІ, який ховає бекдор на видноті.
- OWASP LLMLLM04:2026
- CWE-1104
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Отруєння даних і моделей ШІ Подивіться, як отруєні документи в реальному часі псують відповіді вашого ШІ.
- OWASP LLMLLM05:2026
- CWE-1039
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Небезпечна обробка виводу ШІ Проексплуатуйте ШІ, чиї відповіді без перевірки йдуть у робочі системи.
- OWASP LLMLLM10:2026
- ASVSV1.3.3
- CWE-1426
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Агент ШІ з надмірними дозволами Змусьте ШІ-асистента зловжити власними дозволами.
- OWASP LLMLLM03:2026
- CWE-250
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Розкриття прихованого контексту Витягніть приховані інструкції з клієнтського чат-бота на ШІ.
- OWASP LLMLLM08:2026
- CWE-200
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Вразливості векторів і ембедингів Проексплуатуйте конвеєр RAG, щоб дістатися документів поза вашим рівнем доступу.
- OWASP LLMLLM09:2026
- CWE-1427
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Хибна інформація від ШІ Спіймайте вигадану статистику та фальшиві посилання у звіті від ШІ.
- OWASP LLMLLM07:2026
- CWE-1426
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Атака на відмову в обслуговуванні ШІ Запустіть атаку на спустошення гаманця проти незахищеного API ШІ.
- OWASP LLMLLM06:2026
- ASVSV2.4.1
- CWE-770
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
OWASP Top 10 для агентних застосунків
10 вправ- Перехоплення цілі агента Помітьте момент, коли мету агента ШІ тихо переписують.
- OWASPASI01:2026
- CWE-1427
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Зловживання інструментами агента та їх експлуатація Спіймайте шахрайські записи, які інструменти агента підкидають у вашу чергу.
- OWASPASI02:2026
- CWE-250
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Зловживання ідентичністю й привілеями агента Знайдіть агента, який тихо розширює собі доступ.
- OWASPASI03:2026
- ASVSV13.2.2
- CWE-269
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Вразливості ланцюга постачання агентних систем MCP-сервер із бекдором дублює кожен запит ваших агентів.
- OWASPASI04:2026
- CWE-1104
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Неочікуване виконання коду ШІ-агентами Прочитайте pull request від ШІ, перш ніж схвалити reverse shell.
- OWASPASI05:2026
- CWE-94
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Отруєння пам’яті й контексту агента Один отруєний запис у пам’яті тижнями керує агентом.
- OWASPASI06:2026
- CWE-1427
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Незахищена взаємодія між агентами Підробіть одне повідомлення в шині агентів без автентифікації, і агент підкориться.
- OWASPASI07:2026
- ASVSV13.2.1
- CWE-345
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Каскадні збої в мультиагентних системах Один хибний запис, п’ять агентів і поданий регулятору звіт.
- OWASPASI08:2026
- CWE-1426
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Зловживання довірою людини до агента Тижні бездоганних погоджень — це підготовка пастки, а не привід заспокоїтися.
- OWASPASI09:2026
- CWE-1426
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Неконтрольовані ШІ-агенти Нормальні метрики, чистий вивід і один агент, що діє на власний розсуд.
- OWASPASI10:2026
- CWE-269
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
OWASP MCP Top 10
10 вправ- Отруєння інструментів MCP Агенти читають описи інструментів як інструкції, а не як документацію.
- OWASP MCPMCP03:2025
- CWE-1427
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Ін’єкція та виконання команд через MCP Крапка з комою в аргументі інструмента стає командою оболонки.
- OWASP MCPMCP05:2025
- ASVSV1.2.5
- CWE-78
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Підрив потоку намірів у MCP Текст, який агент прочитав, не є командою, яку він має виконувати.
- OWASP MCPMCP06:2025
- CWE-1427
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Тіньові сервери MCP Список серверів у вашому клієнті — не те саме, що насправді слухає мережу.
- OWASP MCPMCP09:2025
- ASVSV13.2.4
- CWE-1059
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Втручання в ланцюг постачання й залежності MCP Встановлення сервера MCP запускає його код ще до того, як ви його прочитаєте.
- OWASP MCPMCP04:2025
- ASVSV15.2.4
- CWE-494
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Відсутність аудиту й телеметрії MCP Журналювання, увімкнене сьогодні, не поверне вчорашній день.
- OWASP MCPMCP08:2025
- ASVSV16.4.2
- CWE-778
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Недостатня автентифікація й авторизація в MCP Схвалити сервер — не те саме, що автентифікувати його.
- OWASP MCPMCP07:2025
- ASVSV10.3.1
- CWE-306
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Підвищення привілеїв у MCP через розширення дозволів Агент дотягується так далеко, як дозволяє його токен, а не завдання.
- OWASP MCPMCP02:2025
- ASVSV10.4.11
- CWE-269
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Неналежне керування токенами й розкриття секретів у MCP Токен у вашій конфігурації MCP — це токен, який читає ваш асистент.
- OWASP MCPMCP01:2025
- ASVSV13.3.1
- CWE-522
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Ін’єкція контексту й надмірне розкриття даних у MCP Коли один агент обслуговує багатьох клієнтів, його контекст — це дані.
- OWASP MCPMCP10:2025
- ASVSV8.4.1
- CWE-200
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
Безпечна розробка з ШІ-помічниками
12 вправ- Галюцинація ШІ в назві пакета Помічник назвав пакет. Ніхто не перевірив, що він справжній.
- OWASPA03:2025
- ASVSV15.1.2
- CWE-1357
- ATT&CKT1195.001
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Неперевірене виправлення від ШІ Помічник сказав, що все безпечно. Це було не так.
- OWASPA05:2025
- ASVSV1.2.4
- CWE-184
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Витік секрету через контекст ШІ Помічник прочитав файл, якого ви йому не давали.
- OWASPA01:2025
- CWE-200
- ATT&CKT1552.001
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Отруєння файлу правил Правило скидалося на примітку. Помічник його виконав.
- OWASPA08:2025
- CWE-1427
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Промпт-ін’єкція через задачі Звіт про помилку міг подати будь-хто. Бот його злив.
- OWASPA08:2025
- CWE-1427
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Порожні тести від ШІ Дванадцять зелених тестів. Жоден не перевіряв випадок, через який стався витік.
- OWASPA06:2025
- ASVSV8.2.1
- CWE-862
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Хмарні облікові дані, доступні автоматично Помічник виконав видалення з ключем продакшну, що стояв на вашому ноутбуці.
- OWASPA01:2025
- CWE-250
- CIS 6
- NIST CSFPR.AA
- NICEDD-WRL-003
- Застосунок від ШІ без рев’ю Його за вихідні написав помічник. Ніхто не переглянув.
- OWASPA07:2025
- ASVSV13.3.1
- CWE-306
- ATT&CKT1552.001
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Небезпечний згенерований IaC Plan пройшов без помилок. У продакшн вийшов публічний бакет.
- OWASPA08:2025
- CWE-1188
- ATT&CKT1530
- CIS 4
- NIST CSFPR.PS
- NICEDD-WRL-003
- Ліцензійне зараження коду від ШІ Написав помічник. Належить комусь іншому.
- OWASPA03:2025
- CWE-1395
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
- Необмежений доступ помічника до файлів Ваш проєкт закінчується на корені робочої області. Доступ помічника — ні.
- OWASPA01:2025
- CWE-552
- CIS 3
- NIST CSFPR.DS
- NICEDD-WRL-003
- Вимкнені запобіжники ШІ Три запобіжники вимкнено. Решту зробила одна залежність.
- OWASPA06:2025
- CWE-693
- CIS 16
- NIST CSFPR.PS
- NICEDD-WRL-003
Поширені запитання
Що таке промпт-ін’єкція в ШІ?
Промпт-ін’єкція в ШІ — це атака, коли зловмисні інструкції ховають у документах, листах або на веб-сторінках, які обробляє ШІ-асистент. Прочитавши такий контент, ШІ виконує приховані інструкції замість того, чого хотів користувач.
Через це ШІ може розкрити чутливі дані, проігнорувати правила безпеки або виконати несанкціоновані дії, а користувач навіть не помітить, що вхідні дані було підроблено.
Як промпт-ін’єкція може призвести до викрадення даних?
Зловмисник вбудовує в документ інструкції, які наказують ШІ додати чутливі дані у відповідь, закодувати їх в URL або надіслати на зовнішні адреси.
Оскільки ШІ обробляє весь текст документа, він може виконати ці інструкції разом із легітимним контентом і відправити конфіденційну інформацію тим, кому вона не призначалася.
Що таке OWASP Top 10 для LLM-застосунків?
OWASP Top 10 for LLM Applications — це галузевий стандарт, який визначає десять найкритичніших ризиків безпеки при впровадженні великих мовних моделей.
Він охоплює промпт-ін’єкцію (LLM01), розкриття чутливої інформації (LLM02), вразливості ланцюга постачання (LLM03), отруєння даних (LLM04), некоректну обробку вихідних даних (LLM05), надмірні повноваження (LLM06), витік системного промпта (LLM07), слабкі місця векторів і ембедингів (LLM08), дезінформацію (LLM09) та необмежене споживання ресурсів (LLM10). Наш курс містить одну практичну вправу на кожен ризик.
Що таке OWASP Top 10 для агентних застосунків?
OWASP Top 10 for Agentic Applications — це фреймворк 2025 року, присвячений ризикам безпеки автономних ШІ-агентів, які користуються інструментами, ухвалюють рішення та діють самостійно.
Він охоплює перехоплення цілі агента (ASI01), зловживання інструментами та їх експлуатацію (ASI02), зловживання ідентичністю та привілеями (ASI03), вразливості агентного ланцюга постачання (ASI04), неочікуване виконання коду (ASI05), отруєння пам’яті та контексту (ASI06), небезпечну комунікацію між агентами (ASI07), каскадні збої (ASI08), експлуатацію довіри людини до агента (ASI09) та неконтрольованих агентів (ASI10).