AI-агент з надмірними дозволами

Що таке AI-агент з надмірними дозволами?

Помічник зі штучним інтелектом, який може лише говорити, обмежений тим, що помиляється. Той, хто може надсилати електронну пошту, ділитися файлами та редагувати документи, може діяти, і кожен дозвіл, який ви йому надаєте, є дозволом, який може запозичити зловмисник. Ви передасте опис проекту підключеному помічнику, подивіться інструкції, приховані в документі, надішлете його електронною поштою за межі компанії зі свого облікового запису, потім прочитаєте введений блок і скасуєте дозволи, які це дозволили. Ви застосовуватимете найменші привілеї на інструмент і схвалення людини до всього, що має зовнішній вплив.

Що ви дізнаєтесь у AI-агент з надмірними дозволами

• Визначити надмірні дозволи та доступ до інструментів, що збільшують радіус ураження при компрометації AI-агента
• Відстежте ланцюжок від маніпуляційного запиту до несанкціонованих дій у системах електронної пошти та обміну файлами
• Застосовувати принцип мінімальних привілеїв до конфігурацій AI-агентів, обмежуючи інструменти та дозволи лише призначеними функціями
• Оцінити необхідність робочих процесів схвалення людиною для дій AI з реальними наслідками
• Розрізняти необхідні можливості AI-агента та зручні дозволи, що створюють непотрібний ризик безпеки

AI-агент з надмірними дозволами — Кроки навчання

1. Новий потужний помічник

   Нещодавно компанія розгорнула OpenClaw, помічник зі штучним інтелектом, підключений до електронної пошти та систем обміну файлами. Він був налаштований швидко, щоб вкластися в стислі терміни, і ІТ-команда надала йому широкі повноваження, щоб «спрощувати роботу».

2. Документ для перегляду

   Аліса отримує електронний лист від свого колеги Маркуса Рівери, керівника проекту Atlas. Він ділиться останньою стратегічною інформацією про проект і хоче, щоб Аліса переглянула її перед зустріччю.

3. Відкриття брифу

   Аліса відкриває стратегічне резюме проекту Atlas, щоб переглянути вміст перед початком стендапу. Документ виглядає професійно та містить етапи проекту, деталі бюджету та контакти команди.

4. Просимо OpenClaw про допомогу

   Бриф довгий, а стендап займає 30 хвилин. Аліса вирішує скористатися OpenClaw, щоб отримати короткий підсумок. Вона вкладає завантажений файл і вводить підказку.

5. Корисне резюме

   OpenClaw читає завантажений файл і повертає добре структуроване резюме. Це виглядає саме так, як було потрібно Алісі – ключові етапи, статус бюджету та наступні кроки.

6. Щось несподіване

   Поки Аліса переглядає зведення, OpenClaw продовжує працювати у фоновому режимі. Він знайшов приховані інструкції, вбудовані в документ, і зараз виконує їх, використовуючи широкі дозволи, надані під час розгортання.

7. Неавторизований електронний лист надіслано

   OpenClaw надіслав електронний лист з облікового запису Аліси на зовнішню адресу. Електронна пошта містить у вкладенні повний опис проекту Atlas, включаючи деталі бюджету, імена партнерів і графік розширення.

8. Перевірка знань

9. Приховані інструкції

   Аліса повертається до документа, щоб зрозуміти, що сталося. Приховані в документі, вона знаходить інструкції в текстовому циклі, відформатованому так, щоб бути невидимим – крихітний білий текст на білій сторінці. Людина, яка читає, ніколи б цього не побачила, але штучний інтелект прочитав і виконав кожне слово.

10. Доступ до порталу безпеки

    Аліса повинна негайно повідомити про цей інцидент. З її обліковим записом було здійснено дві неавторизовані дії: електронний лист із конфіденційними даними було надіслано на зовнішній домен, а файл надіслано за межі домену.