Навчання з
безпеки ШІ та LLM

«ШІ на роботі» — курс з 11 вправ для всіх працівників, а не лише для команд, що створюють ШІ. Він охоплює фішинг, написаний ШІ, голосових ШІ-агентів у телефонних дзвінках, клоновані голоси, діпфейк-кандидатів, фальшиві чати підтримки та ШІ-нотатники, які без запрошення приєднуються до зустрічей.

Друга половина курсу — про ШІ, яким ви вже користуєтеся: приховані інструкції в документах, перевірку чернетки від ШІ перед надсиланням, безкоштовні споживчі ШІ-інструменти та агента, який платить сайту, якого ніхто не обирав. Почніть із вправи про фішинг, написаний ШІ або про шахрайський платіж агентом ШІ.

Промпт-ін’єкція в ШІ — це атака, коли зловмисні інструкції ховають у документах, листах або на веб-сторінках, які обробляє ШІ-асистент. Прочитавши такий контент, ШІ виконує приховані інструкції замість того, чого хотів користувач.

Через це ШІ може розкрити чутливі дані, проігнорувати правила безпеки або виконати несанкціоновані дії, а користувач навіть не помітить, що вхідні дані було підроблено.

Зловмисник вбудовує в документ інструкції, які наказують ШІ додати чутливі дані у відповідь, закодувати їх в URL або надіслати на зовнішні адреси.

Оскільки ШІ обробляє весь текст документа, він може виконати ці інструкції разом із легітимним контентом і відправити конфіденційну інформацію тим, кому вона не призначалася.

OWASP Top 10 for LLM Applications — це галузевий стандарт, який визначає десять найкритичніших ризиків безпеки при впровадженні великих мовних моделей.

Він охоплює промпт-ін’єкцію (LLM01), розкриття чутливої інформації (LLM02), вразливості ланцюга постачання (LLM03), отруєння даних (LLM04), некоректну обробку вихідних даних (LLM05), надмірні повноваження (LLM06), витік системного промпта (LLM07), слабкі місця векторів і ембедингів (LLM08), дезінформацію (LLM09) та необмежене споживання ресурсів (LLM10). Наш курс містить одну практичну вправу на кожен ризик.

OWASP Top 10 for Agentic Applications — це фреймворк 2025 року, присвячений ризикам безпеки автономних ШІ-агентів, які користуються інструментами, ухвалюють рішення та діють самостійно.

Він охоплює перехоплення цілі агента (ASI01), зловживання інструментами та їх експлуатацію (ASI02), зловживання ідентичністю та привілеями (ASI03), вразливості агентного ланцюга постачання (ASI04), неочікуване виконання коду (ASI05), отруєння пам’яті та контексту (ASI06), небезпечну комунікацію між агентами (ASI07), каскадні збої (ASI08), експлуатацію довіри людини до агента (ASI09) та неконтрольованих агентів (ASI10).

OWASP Top 10 для LLM Applications є галузевим фреймворком, що визначає десять найкритичніших ризиків безпеки у розгортаннях великих мовних моделей.

Він охоплює ін’єкцію промптів (LLM01), розкриття чутливої інформації (LLM02), вразливості ланцюга постачання (LLM03), отруєння даних (LLM04), неправильну обробку виводу (LLM05), надмірну автономність (LLM06), витік системного промпту (LLM07), слабкості векторів та вбудовувань (LLM08), дезінформацію (LLM09) та необмежене споживання (LLM10). Наш курс включає одну практичну вправу для кожного ризику.

OWASP Top 10 для Agentic Applications є фреймворком 2025 року, що розглядає ризики безпеки, специфічні для автономних ШІ-агентів, які використовують інструменти, приймають рішення та виконують дії самостійно.

Він охоплює захоплення цілей агента (ASI01), зловживання та експлуатацію інструментів (ASI02), зловживання ідентифікацією та привілеями (ASI03), вразливості ланцюга постачання агентів (ASI04), неочікуване виконання коду (ASI05), отруєння пам’яті та контексту (ASI06), небезпечну міжагентну комунікацію (ASI07), каскадні збої (ASI08), експлуатацію довіри людина-агент (ASI09) та неконтрольованих агентів (ASI10).