Отруєння бази знань ШІ

Що таке Отруєння бази знань ШІ?

Більшість корпоративних систем ШІ відповідають не з пам'яті. Вони знаходять документи й повторюють їхній зміст, тож хто може писати в базу знань, той може писати й відповідь. Ви зіграєте за обидві сторони: відредагуєте політику для постачальників і процедуру випробувань зі зламаного облікового запису контриб'ютора, а потім перевірите помічника, який на них посилається, і простежите впевнену відповідь через метадані документа, порівняння версій і журнал аудиту. Ви побачите, чому для цієї атаки не потрібен доступ до самої моделі, і застосуєте заходи захисту, які її виявляють.

Що ви дізнаєтесь у Отруєння бази знань ШІ

• Визначайте отруєння даних і пояснюйте, як отруєння RAG маніпулює документами, які знаходить помічник, а не самою моделлю
• Розпізнавайте поведінкові ознаки отруєної системи ШІ, зокрема суперечливі поради, незнайомі джерела в посиланнях і змінені рекомендації
• Простежуйте причинно-наслідковий ланцюг від отруєного документа в базі знань до хибного бізнес-рішення, ухваленого на основі відповіді ШІ
• Застосовуйте заходи захисту цілісності вмісту, зокрема перевірку контриб'юторів, аудит змін і виявлення аномалій, до даних, що потрапляють у базу знань
• Оцінюйте бізнес-наслідки отруєння даних, зокрема порушення вимог, фінансові втрати й підрив довіри до рішень, які ухвалюють із підтримкою ШІ

Отруєння бази знань ШІ — Кроки навчання

1. Доступ до бази знань

   Боб роздобув викрадені облікові дані підрядника для внутрішньої бази знань Veranthos Solutions. Вони належать сторонньому екологічному консультанту, чий обліковий запис зламали під час попереднього витоку.

2. Вхід за викраденими обліковими даними

   Боб вводить викрадені облікові дані підрядника. Цей обліковий запис має доступ рівня контриб'ютора: цього достатньо, щоб завантажувати й змінювати документи, не запускаючи перевірку адміністратором.

3. Завантаження політики для постачальників

   Боб починає з документів, які мають найбільший вплив. Політика дотримання вимог для постачальників (Vendor Compliance Policy) визначає, з ким компанія працює в галузі екологічних випробувань: якщо змінити тут схваленого постачальника, замовлення підуть до компанії, яку контролює зловмисник.

4. Відкриття політики для постачальників

   Документ завантажено. Боб відкриває його, щоб почати вносити зміни.

5. Підміна схваленого постачальника

   У політиці схваленим постачальником для випробувань на відповідність екологічним вимогам названо GreenTech Environmental. Боб замінює його на TerraForge Analytics — підставну компанію, яку сам контролює.

6. Зміна порогу схвалення

   Політика вимагає схвалення вищого керівництва для договорів із постачальниками на суму понад $50,000. Боб піднімає цей поріг до $500,000, щоб договори з його фіктивним постачальником залишалися нижче порогу й ніколи не доходили до віцепрезидента з операційної діяльності.

7. Завантаження процедур випробувань

   Боб переходить до другої цілі — процедур контролю якості випробувань (Quality Testing Procedures). Вони визначають, як компанія перевіряє роботи, пов'язані з дотриманням екологічних вимог: якщо послабити тут стандарти, неякісна робота фіктивного постачальника пройде перевірку.

8. Відкриття процедур випробувань

   Другий документ завантажено. Боб відкриває його, щоб продовжити атаку.

9. Послаблення стандарту випробувань

   Процедури вимагають проводити випробування в лабораторії, акредитованій за ISO/IEC 17025, — це суворий міжнародний стандарт. Боб замінює цю вимогу розпливчастою внутрішньою оцінкою, яку його підставна компанія легко виконає.

10. Зняття захисного бар'єра

    Остання зміна замінює вимогу провести оцінку впливу на довкілля простим кроком з аналізу витрат. Так зникає останній захисний бар'єр, який міг би виявити недостатню якість роботи фіктивного постачальника.