Атака на ланцюг постачання ШІ

Що таке Атака на ланцюг постачання ШІ?

Ваш стек ШІ зібрано з чужих артефактів: базових моделей, адаптерів для тонкого налаштування, наборів даних і плагінів із маркетплейсів, які приходять із власними дозволами. Публічні хаби моделей, як-от Hugging Face, уже розповсюджували моделі з бекдорами, а бекдор, який спить до появи тригера, невидимий для функціонального тестування. Ви побачите, як створюють і публікують плагін із прихованим тригером за ключовим словом, потім самі встановите його, скористаєтеся ним і виявите, що він копіює конфіденційний документ на зовнішній ендпоінт. Наприкінці ви отримаєте чіткий порядок перевірки нових компонентів ШІ.

Що ви дізнаєтесь у Атака на ланцюг постачання ШІ

• Визначайте поверхню атаки в ланцюгах постачання ШІ: попередньо навчені моделі, адаптери для тонкого налаштування, набори даних і плагіни з маркетплейсів
• Порівнюйте поведінку чистого компонента ШІ та компонента з умовним тригером-бекдором
• Застосовуйте контрольний список перевірки сторонніх компонентів ШІ: походження, ліцензування, тестування поведінки та моніторинг мережі
• Оцінюйте, чому самого функціонального тестування недостатньо, щоб виявити компрометацію ланцюга постачання в інструментах ШІ
• Відрізняйте довірені джерела з перевіреним походженням у ланцюгу постачання ШІ від неперевірених пропозицій на маркетплейсах

Атака на ланцюг постачання ШІ — Кроки навчання

1. Створення бекдора

   Боб, кіберзлочинець, що діє під псевдонімом «DataFlow Labs», написав повнофункціональний плагін для аналізу документів — DocAnalyzer Pro. Серед тисяч рядків справжнього коду заховано невеликий умовний бекдор: він спрацьовує лише тоді, коли через плагін проходять чутливі бізнес-дані.

2. Огляд кодової бази

   У репозиторії — тисячі рядків справжнього коду для аналізу документів: парсери файлів, модулі витягування тексту, утиліти форматування. Усе виглядає професійно й добре структуровано. Але десь у цій кодовій базі на видноті ховається невеликий блок шкідливого коду.

3. Прихований тригер

   Бекдор ретельно замаскований серед звичайних функцій обробки даних. Невеликий блок перевіряє кожну розмову на чутливі ключові слова, як-от «acquisition» (придбання), «financial» (фінанси), «confidential» (конфіденційно) і «strategy» (стратегія). Знайшовши їх, він непомітно кодує весь контекст розмови разом із відповіддю ШІ й надсилає все на зовнішній сервер, яким керує зловмисник.

4. Розкрутка на маркетплейсі

   Боб публікує DocAnalyzer Pro на маркетплейсі ШІ під вигаданою назвою компанії. Він ретельно оформлює картку плагіна: фаховий опис, неправдиві відгуки корпоративних клієнтів і завищена кількість завантажень. Плагін справді чудово аналізує документи — бекдор непомітний під час звичайної роботи, тож справжні користувачі залишають справжні позитивні відгуки.

5. Вступ

   Команда центру моніторингу безпеки (SOC) просить, щоб Claude, ШІ-помічник компанії, умів аналізувати документи. Таку функцію обіцяють кілька сторонніх плагінів у маркетплейсі «Розширення» для Claude. Ваше завдання — оцінити їх і встановити найкращий.

6. Лист від Сари

   Вам надходить лист від колежанки Сари Чен з команди SOC. Вона досліджувала плагіни для ШІ й знайшла один перспективний.

7. Знайдіть плагіни

   Час оцінити плагін, який порекомендувала Сара. Відкрийте Claude на другому комп'ютері й знайдіть плагіни за запитом «аналіз документів».

8. Огляньте DocAnalyzer Pro

   Серед результатів пошуку є кілька плагінів для аналізу документів. DocAnalyzer Pro вирізняється високим рейтингом і кількістю завантажень.

9. Перегляньте відгуки та дозволи

   Перш ніж встановлювати плагін, уважно перегляньте відгуки та дозволи. Чи справжні відгуки? Чи розумні дозволи для інструмента аналізу документів?

10. Перевірка знань