Намір захопленого агента

Що таке Намір захопленого агента?

Агент AI не може відрізнити отримані дані від інструкцій, якщо ви не налаштуєте його на це. Нотатку CRM, заявку в службу підтримки або веб-сторінку може написати хтось, хто очікує, що модель прочитає це. Ви дотримуєтеся інструкцій, введених у форму загальнодоступної служби підтримки в обліковому записі клієнта, а потім спостерігатимете, як агента попросять лише узагальнити платіжні дані цього запису електронною поштою на зовнішню адресу. Ви порівняєте запит із результатами трасування, відхилите виклик і перестанете довіряти отриманому вмісту за умовчанням.

Що ви дізнаєтесь у Намір захопленого агента

• Розпізнавання підриву намірів: агент штучного інтелекту розглядає інструкції, вбудовані в отриманий вміст, наприклад примітку CRM або документ, як команди, яких він повинен виконувати
• Відрізнити заявлений намір користувача від фактичної трасування виклику інструменту агента та використовувати це порівняння, щоб уловити незапитану дію
• Заборонити виклик конфіденційного інструменту, як-от надсилання даних на зовнішню адресу, яку користувач насправді ніколи не запитував, навіть якщо в іншому випадку виклик був би успішним
• Відстеження захопленої дії назад до її джерела: конкретного рядка отриманого вмісту, який містив вставлену інструкцію
• Налаштуйте клієнта MCP, щоб він припинив довіряти отриманому вмісту за замовчуванням і вимагав згоди людини на конфіденційні дії, як-от зовнішнє надсилання

Намір захопленого агента — Кроки навчання

1. Вхідні двері, які записують у файл

   Sarnholt Systems приймає запити клієнтів через публічну форму. Боб не є клієнтом, і йому не потрібно бути ним: форма запитує, хто ви, а потім вірить відповіді.

2. Збережене слово в слово

   Портал чітко говорить, що відбувається з будь-чим, що надсилається через нього. Це одне речення — це ціла можливість.

3. Написання голосом клієнта

   Боб заповнює форму як Корін Марчетті, справжня контактна особа в обліковому записі SRN-4471. Ніщо не підтверджує це твердження. Повідомлення, яке він залишає, зовсім не написано для читача-людини: воно сформульоване як інструкція на випадок, якщо його прочитає щось автоматизоване.

4. На обліковому записі

   Портал це підтверджує. Його текст тепер є частиною запису облікового запису SRN-4471 серед справжніх нотаток, написаних співробітниками Сарнхольта.

5. Нічого не залишилося робити

   Корисний вантаж посаджений і інертний. Це стає атакою лише тоді, коли інструмент отримує його, а агент розглядає те, що він отримав, як інструкції.

6. Прямий запит

   Понеділок у Sarnholt Systems. Аліса, керівник служби підтримки, відкриває свою скриньку з повідомленням від Дієго Ферроу, власника облікового запису Marchetti & Voss Logistics. Він приголомшений перед дзвінком і просить її коротко викласти останні нотатки облікового запису. Це саме те завдання, яке Agent Host виконує щодня.

7. Відкриття облікового запису

   Перш ніж попросити агента щось зробити, Аліса сама відкриває запис, щоб знати, що він насправді містить.

8. Знайомий обліковий запис

   Запис завантажується: Marchetti & Voss Logistics, активний у плані зростання, Дієго вказано як власник облікового запису. У цьому немає нічого незвичайного.

9. Підключення інструментів Agent Host

   Команда підтримки Sarnholt використовує Agent Host, клієнт MCP компанії, для таких завдань. crm-reader-mcp і outreach-mcp уже підключені та затверджені: один читає записи CRM, інший може надсилати електронні листи від імені користувача.

10. Інструменти, які він має

    Перш ніж щось запитувати, варто знати, що насправді Agent Host може зробити від імені Аліси.