Небезпечна обробка виводу AI

Що таке Небезпечна обробка виводу AI?

Вихід моделі є ненадійним введенням для того, хто його споживає. Після того, як програма виконує, рендерить або пересилає відповідь штучного інтелекту, модель стає частиною поверхні атаки, а звичайна перевірка вхідних даних знаходиться не в тому місці. Ви працюватимете над кінцевою точкою перетворення природної мови на SQL, надсилатимете створений параметр і спостерігатимете, як згенерований query перетворюється на ін’єкцію, яка видаляє таблицю. Жоден контроль не обійшов. Ви прочитаєте вразливий шлях і схвалите виправлення, перевірене білим списком.

Що ви дізнаєтесь у Небезпечна обробка виводу AI

• Визначити поверхню атаки, створену коли контент, згенерований AI, передається без санітизації в бази даних, вебсторінки, API та системні команди
• Простежити повний ланцюг атаки, де сформований ввід AI створює шкідливий вивід, що експлуатує підключену систему
• Застосовувати контроль валідації та санітизації виводу на межі між AI-компонентами та підключеними системами
• Оцініть елементи керування, які запобігають використанню вихідних даних штучного інтелекту, зокрема дозволені списки операцій, списки блокування шаблонів, кодування виводу та облікові записи бази даних із найменшими привілеями
• Розрізняти сценарії, де вивід AI можна довіряти для відображення, і сценарії, де його потрібно розглядати як ненадійний ввід для іншої системи

Небезпечна обробка виводу AI — Кроки навчання

1. Нова функція ШІ для тестування

   Сьогодні функція API запитів на природній мові (NLQ) готова до внутрішнього тестування, перш ніж надсилати її в робочу версію. API NLQ використовує модель штучного інтелекту для перетворення звичайних запитань англійською мовою на запити SQL: бізнес-користувачі вводять запитання, штучний інтелект записує SQL, а API повертає результати.

2. Електронний лист від технічного керівника

   Аліса отримує електронний лист від свого технічного керівника Джеймса Парка, у якому повідомляється, що кінцеву точку API NLQ розгорнуто в проміжному середовищі та готово до тестування.

3. Відкриття API Tester

   Аліса відкриває інструмент API Tester, щоб почати надсилати запити до кінцевої точки NLQ. Це стандартна частина її робочого процесу для тестування нових функцій API перед їх запуском.

4. Простий тестовий запит

   Аліса починає з прямого запиту, щоб переконатися, що API працює. Кінцева точка NLQ приймає запити GET із параметром запиту, що містить питання природної мови.

5. Відповідь API

   API відповів п’ятьма записами клієнтів, що відповідають запиту. Відповідь виглядає нормально.

6. Згенерований SQL

   Панель «Аналіз запитів SQL» показує, що саме згенерував штучний інтелект із введення природною мовою. Це запит, який було виконано до бази даних.

7. Потік даних

   Візуалізація ланцюга показує, як дані протікають від запитання користувача природною мовою до результату бази даних.

8. Тестування зі зловмисним введенням

   Аліса вирішує перевірити стійкість API. Що робити, якщо користувач додає синтаксис SQL-ін’єкції у свій запит природною мовою? Добре побудована система повинна або відхиляти вхідні дані, або очищати їх. Вона створює параметр запиту, який вбудовує команду DROP TABLE у підказку природною мовою.

9. Пошкодження у відповідь

   Відповідь повернулася, але щось дуже не так. Уважно подивіться на тіло відповіді.

10. Введений SQL

    Панель SQL показує, що саме створив ШІ. Корисне навантаження ін’єкції було точно переведено у виконуваний SQL.