Експлуатація конвеєру RAG

Що таке Експлуатація конвеєру RAG?

Retrieval-Augmented Generation (RAG) є найпоширенішою архітектурою для підключення AI до корпоративних знань, але його рівень пошуку створює вразливості, які більшість організацій не помічає. Аналіз 2024 року від AI Red Team NVIDIA виявив, що системи RAG часто не забезпечують контроль доступу на рівні документів під час векторного пошуку за подібністю, дозволяючи користувачам отримувати контент, до якого вони не мають права доступу. У цій симуляції ви взаємодієте з AI-асистентом компанії, що працює на базі конвеєру RAG, який здійснює пошук по внутрішній базі знань для відповідей на запитання працівників. База знань містить документи різних рівнів класифікації: публічні, внутрішні, конфіденційні та лише для керівництва. Ви сформулюєте запити, що експлуатують слабкості векторного пошуку за подібністю для отримання фрагментів документів рівня керівництва, незважаючи на те, що маєте доступ звичайного працівника. Атака працює, оскільки векторна база даних зберігає ембединги документів без збереження метаданих контролю доступу з оригінальної системи управління документами. Потім вправа демонструє другий вектор атаки: інверсію ембедингів, де зловмисник аналізує векторні представлення для реконструкції оригінального вмісту документа. Ви простежите повний шлях атаки від запиту природною мовою через генерацію ембедингу, векторний пошук за подібністю, отримання документа та генерацію відповіді AI, визначаючи конкретні точки, де перевірки авторизації повинні існувати, але їх немає. Ви практикуватимете проєктування архітектур RAG з вбудованими контролями доступу, впровадження фільтрів авторизації перед пошуком та тестування на крос-дозвільний витік даних у результатах векторного пошуку.

Що ви дізнаєтесь у Експлуатація конвеєру RAG

• Визначити прогалини контролю доступу в архітектурах RAG, де векторний пошук за подібністю обходить авторизацію на рівні документів
• Простежити конвеєр RAG від ембедингу запиту через векторний пошук до отримання документа, визначаючи кожну контрольну точку авторизації
• Проаналізувати атаки інверсії ембедингів, що реконструюють оригінальний вміст документа з векторних представлень
• Застосовувати фільтри авторизації перед пошуком та конфігурації пошуку з урахуванням метаданих до проєктів конвеєрів RAG
• Оцінити організаційні розгортання RAG на крос-дозвільний витік даних за допомогою адверсаріального тестування запитів

Експлуатація конвеєру RAG — Кроки навчання

1. Орієнтація на базу знань

   Боб отримав облікові дані учасника бази знань CypherPeak від Ridgeline Financial. Облікові дані належать обліковому запису консалтингової фірми (m.garcia@consultingpro.net), зламаному під час попереднього порушення. Його мета: політика комплаєнсу, на яку покладаються співробітники при прийнятті регуляторних рішень. Неправильна порада щодо відповідності у фінансовій фірмі може спровокувати розслідування SEC.

2. Вхід за допомогою вкрадених облікових даних

   Боб вводить викрадені облікові дані консультанта. Як учасник, він може завантажувати нові документи в базу знань, не вимагаючи схвалення адміністратора - система однаково довіряє всім учасникам.

3. Розвідка: пошук цілі

   Боб шукає базу знань, щоб зрозуміти поточний ландшафт. Йому потрібно знайти важливу сферу політики, де неправильні відповіді ШІ завдадуть максимальної шкоди. Зберігання даних у фінансовій фірмі є головною ціллю: неправильні періоди зберігання порушують федеральні правила.

4. Відкриття законного полісу

   Результати пошуку виявляють ціль. «Політика збереження даних клієнта v4.2» займає перше місце з показником релевантності 94%. Боб відкриває його, щоб вивчити зміст, структуру та ключові терміни – йому потрібно, щоб його підроблений документ виглядав так само професійно.

5. Вивчення справжнього документа

   Боб читає реальну політику. Ключова деталь: 7 років зберігання згідно з правилом 17a-4 SEC і розділом 802 SOX. Він звертає увагу на структуру документа, рівень класифікації та авторство – усе, що його підроблений документ має імітувати, щоб виглядати законним. Але Боб не буде редагувати цей документ. На відміну від отруєння даних (що змінює існуючі файли), його підхід є тоншим – він завантажить конкуруючий документ, розроблений таким чином, щоб випередити справжній.

6. Створення конкурсного документа

   Боб створює новий документ, який виглядає як законне оновлення політики компанії. У ньому використано професійну мову та дотримується тієї ж структури, що й справжні фінансові документи Ridgeline, але містить небезпечно неправильну інформацію.

7. Встановлення неправильного періоду зберігання

   Реальна політика вимагає 7 років. Боб встановлює період зберігання до 12 місяців – достатньо короткий, щоб працівники, які дотримуються цієї поради, знищили записи, які вони зобов’язані зберігати за федеральним законом. У фінансовій фірмі це може спровокувати розслідування SEC.

8. Секретна зброя: підбір ключових слів

   Тепер Боб застосовує техніку, яка перетворює це на атаку векторного вбудовування. Розділ 5 документа позначено як «Терміни покажчика документа» — він виглядає як стандартні метадані. Але Боб наповнює його щільним блоком повторюваних ключових слів, які охоплюють усі можливі варіанти пошуку. Коли база знань перетворює цей документ на векторне вбудовування, ці ключові слова змушують вбудовування бути штучно подібним до будь-якого запиту про збереження даних, гарантуючи, що він випереджає законну політику.

9. Завантаження в базу знань

   Документ готовий. Боб повертається до порталу бази знань, щоб завантажити його. Як учасника, його завантаження буде негайно проіндексовано системою пошуку штучного інтелекту – без перегляду вмісту, без робочого процесу затвердження, без перевірки відмінностей від існуючих політик.

10. Вибір отруєного документа

    Боб вибирає документ із ключовими словами зі своїх завантажень. База знань приймає це без сумнівів — новий посібник із «найкращих практик» від консультанта, на перший погляд нічого незвичайного.