Отруєння бази знань ШІ

Що таке Отруєння бази знань ШІ?

Більшість корпоративних систем ШІ відповідають не з пам'яті. Вони знаходять документи й переказують їх, тож хто може вносити зміни до бази знань, той керує й відповідями. Ви гратимете за обидві сторони: зі скомпрометованого облікового запису контриб'ютора змінюватимете політику для постачальників і процедури випробувань, а потім перевірите помічника, який на них посилається, і за метаданими документа, порівнянням версій та журналом аудиту простежите, звідки взялася його впевнена відповідь. Ви побачите, чому для цієї атаки не потрібен доступ до самої моделі, і застосуєте заходи, які її виявляють.

Що ви дізнаєтесь у Отруєння бази знань ШІ

• Визначайте, що таке отруєння даних, і пояснюйте, як отруєння RAG маніпулює документами, які знаходить помічник, а не самою моделлю
• Розпізнавайте поведінкові ознаки отруєної системи ШІ, зокрема суперечливі настанови, незнайомі джерела в посиланнях і змінені рекомендації
• Простежуйте причинний ланцюг від отруєного документа в базі знань до хибного ділового рішення, ухваленого за відповіддю ШІ
• Застосовуйте до даних, що надходять у базу знань, заходи захисту цілісності вмісту: перевірку контриб'юторів, аудит змін і виявлення аномалій
• Оцінюйте вплив атак із отруєнням даних на бізнес: порушення вимог, фінансові втрати й підрив довіри до рішень, ухвалених із підтримкою ШІ

Отруєння бази знань ШІ — Кроки навчання

1. Доступ до бази знань

   Боб роздобув викрадені облікові дані підрядника для внутрішньої бази знань Veranthos Solutions. Вони належать сторонньому консультантові з питань довкілля, чий обліковий запис скомпрометовано під час попереднього витоку даних.

2. Вхід за викраденими обліковими даними

   Боб вводить викрадені облікові дані підрядника. Обліковий запис має права контриб'ютора в базі знань — їх достатньо, щоб завантажувати й змінювати документи, не викликаючи перевірки адміністратором.

3. Завантаження політики для постачальників

   Боб починає з документів, які найсильніше впливають на роботу компанії. Політика відповідності для постачальників визначає, з якими постачальниками компанія працює у сфері екологічних випробувань, тож заміна схваленого постачальника спрямує замовлення до компанії під контролем зловмисника.

4. Відкриття політики для постачальників

   Документ завантажено. Боб відкриває його, щоб почати вносити зміни.

5. Заміна схваленого постачальника

   Політика називає GreenTech Environmental схваленим постачальником для екологічних випробувань на відповідність вимогам. Боб замінює цю назву на TerraForge Analytics — фіктивну компанію, яку він контролює.

6. Зміна порогу схвалення

   За політикою договори з постачальниками на суму понад 50 тис. доларів потребують схвалення вищого керівництва. Боб підвищує поріг до 500 тис. доларів, щоб договори з його фіктивним постачальником залишалися нижче порогу й ніколи не доходили до віцепрезидента з операцій.

7. Завантаження процедур випробувань

   Боб переходить до другої цілі — процедур контролю якості випробувань. Вони визначають, як компанія перевіряє роботи з екологічної відповідності. Якщо послабити тут стандарти, неякісна робота фіктивного постачальника пройде перевірку.

8. Відкриття процедур випробувань

   Другий документ завантажено. Боб відкриває його, щоб продовжити атаку.

9. Послаблення стандарту випробувань

   Процедури вимагають проводити випробування в лабораторії, акредитованій за ISO/IEC 17025: це суворий міжнародний стандарт. Боб замінює цю вимогу розпливчастою внутрішньою оцінкою, з якою його фіктивна компанія легко впорається.

10. Видалення запобіжного бар'єра

    Остання правка замінює вимогу провести оцінку впливу на довкілля простим аналізом витрат. Так зникає останній запобіжний бар'єр, який міг би виявити неякісну роботу фіктивного постачальника.