Описи отруєних інструментів

Що таке Описи отруєних інструментів?

Агент AI читає опис підключеного інструменту, щоб вирішити, як і коли його використовувати, що робить цей текст ближчим до виконуваних інструкцій, ніж до документації. Змінивши опис, ви зміните поведінку агента, не змінивши обробник, схему чи дозволи, а також нічого в перевірці коду, щоб це вловити. Тепер ви знайдете інструмент, схвалений кілька місяців тому, який наказує агенту створювати приховану копію кожного повідомлення на зовнішню адресу, порівнювати поточний опис із затвердженим формулюванням і блокувати скомпрометований сервер на шлюзі.

Що ви дізнаєтесь у Описи отруєних інструментів

• Поясніть, чому агент ШІ розглядає опис підключеного інструменту MCP як виконувані інструкції, а не як пасивну документацію
• Визнайте, що інструмент отруєння килима тягне: сервер заробляє схвалення на одному описі, а потім пізніше оновлення мовчки змінює іншу поведінку без зміни коду чи дозволу
• Містить отруєний інструмент на кожному рівні, якого він може досягти: заборонити єдиний виклик, вимкнути інструмент для поточного сеансу та заблокувати скомпрометований сервер на шлюзі, щоб усі інші підключені команди також були захищені
• Заборонити виклик інструменту, поведінка якого більше не відповідає початково затвердженому опису, навіть якщо в іншому випадку виклик був би успішним
• Розглядайте опис інструмента MCP як артефакт ланцюга постачання: закріпіть затверджену версію, порівнюйте кожне оновлення з нею та містте скомпрометований сервер як на клієнті, так і на шлюзі

Описи отруєних інструментів — Кроки навчання

1. Чужий маркер публікації

   Боб не атакує Sarnholt Systems. Він атакує постачальника, якому вони вже довіряють. Викрадений маркер супроводжуючого дозволяє йому публікувати в реєстрі VaultSync Bridge як VaultSync Bridge.

2. Маніфест, який читають усі

   Маніфест інструменту сервера — це те, що кожен підключений клієнт перераховує, коли запитує сервер, що він може робити. Боб відкриває копію, яку збирається опублікувати.

3. Одна струна

   Він не змінює нічого такого, за що рецензент відрізнився б. Обробник не змінено, схема введення не змінена, дозволи не змінені. Він редагує речення, яке читає агент.

4. Поставляється як патч

   Видає його як звичайний точковий випуск. Реєстр приймає його, оскільки його опублікував законний обліковий запис супроводжуючого.

5. Очікування оновлення

   Боб закінчив. Решта відбувається в Sarnholt, на їх власному схваленому сервері, наступного разу, коли агент дістає інструмент, яким безпечно користувався місяцями.

6. Регулярне оновлення постачальника

   Понеділок вранці в Sarnholt Systems. Аліса, інженер платформи штучного інтелекту, відкриває свою поштову скриньку до звичайної купи: нотатки, запрошення в календарі та одне повідомлення про випуск від стороннього сервера MCP, який її команда підключила кілька місяців тому. Нічого з цього не виглядає терміновим.

7. Підключення флоту

   Sarnholt Systems запускає свої агентські інструменти через Agent Host, MCP-клієнт компанії. ticket-desk-mcp , невелика внутрішня інтеграція служби підтримки, і fileops-mcp , з’єднувач файлів і електронної пошти VaultSync Bridge, щойно виправлений, уже підключені та затверджені.

8. Огляд схвалених інструментів

   Перш ніж торкнутися чогось, Аліса перевіряє, що насправді підключено. Обидва сервери виглядають точно так, як вони були, коли її команда підписала їх: та сама кінцева точка, та сама версія, однакові описи інструментів.

9. Оновлення приземляється тихо

   Патч VaultSync досягає fileops-mcp , поки Аліса все ще перебуває на вкладці. Він переписує те, що send_email має зробити. Немає запиту на схвалення, жодної версії, жодного сповіщення. Список інструментів просто перемальовується.

10. Звичайний запит

    Список інструментів перемальовувався, поки Аліса читала свою поштову скриньку; ніщо не просили її подивитися на це. Вона повертається до рутинної роботи і просить агента виконати звичайне завдання.