Каскадний збій у багатоагентній системі

Що таке Каскадний збій у багатоагентній системі?

Якщо поєднати агентів у ланцюг, кожен із них сприймає результат роботи попереднього як факт. Помилка, що виникла на початку, не залишається незмінною за розміром: кожен наступний агент додає до неї контексту й упевненості, тож невелика неточність, дійшовши до кінця ланцюга, стає хибною дією, яка має вигляд авторитетної. Це ASI08 з OWASP Top 10 для агентних застосунків. Ви простежите, як пошкоджений потік даних проходить конвеєром комплаєнсу з п'яти агентів, який подав хибні звіти, зупините джерело, позначите постраждалі звіти й побудуєте автоматичний вимикач (circuit breaker), якого бракувало.

Що ви дізнаєтесь у Каскадний збій у багатоагентній системі

• Простежуйте, як помилка або галюцинація одного агента поширюється й посилюється в ланцюгу взаємопов'язаних агентів
• Знаходьте у багатоагентних процесах точки посилення, де помилки накопичуються від дрібних неточностей до катастрофічних наслідків
• Оцінюйте припущення про надійність багатоагентних систем і пояснюйте, чому точність кожного окремого агента не гарантує надійності системи в цілому
• Застосовуйте шаблони автоматичних вимикачів, пороги упевненості та контрольні точки «людина в циклі», щоб переривати каскади помилок
• Розрізняйте помилки, які наступні агенти безпечно локалізують, і помилки, що посилюватимуться в ланцюгу агентів, ураховуючи характер зв'язків між агентами

Каскадний збій у багатоагентній системі — Кроки навчання

1. Сезон квартальної звітності

   У CypherPeak Technologies — перший тиждень II кварталу, і настав строк подати звіти за I квартал. Щокварталу компанія зобов'язана подавати звіти з фінансового комплаєнсу до регулятора — Управління з питань фінансової поведінки (FCA), яке наглядає за фінансовими ринками. Помилки в цих звітах можуть призвести до розслідувань, штрафів або втрати ліцензії на діяльність. Щоб упоратися з цим відповідальним процесом у великих обсягах, команда Аліси розгорнула конвеєр комплаєнсу на основі ШІ — ланцюг із п'яти спеціалізованих агентів ШІ, які автоматично збирають фінансові дані із зовнішніх джерел, перевіряють їх на відповідність регуляторним вимогам, формують звіти й подають їх до FCA. Система працює без збоїв уже кілька місяців: вона обробила сотні звітів із майже бездоганною точністю.

2. Ранковий брифінг

   Керівник команди з комплаєнсу надсилає лист про цикл квартальної звітності.

3. Конвеєр комплаєнсу

   Аліса відкриває панель CypherOps Agent Monitor. Конвеєр складається з п'яти агентів ШІ, з'єднаних у ланцюг; кожен відповідає за один етап подання звітності. Дані рухаються зліва направо: Оркестратор координує завдання, Збирач даних збирає фінансові записи, Контролер комплаєнсу перевіряє їх на відповідність нормам, Генератор звітів формує документи для подання, а Агент подання подає їх до FCA.

4. Як працює конвеєр

   Кожен агент має своє завдання. Найкритичніша точка передачі даних — Збирач даних: він бере записи із зовнішніх сторонніх джерел, які компанія не контролює. Від якості того, що він приймає, залежить усе, що відбувається далі.

5. Робота без збоїв

   Оркестратор ставить завдання зі збирання квартальних даних, і перший пакет проходить без проблем. Збирач даних приймає 847 записів з EDGAR та внутрішньої системи ERP, перевіряє їхню відповідність схемі й передає Контролеру комплаєнсу. Кожне повідомлення має зелений значок замка: це підтверджує автентифікований обмін між агентами.

6. Пошкоджений потік даних

   Збирач даних намагається отримати третій пакет із RegFeed API — стороннього постачальника регуляторних даних. Щось іде не так. Статус Збирача даних змінюється на Warning («попередження»), а в стрічці активності конвеєра з'являється підозріле повідомлення. Замість того щоб відхилити некоректні дані, агент передає їх далі.

7. Відсутній захисний механізм

   Збирач даних тепер у стані попередження, а його упевненість упала до 34%. Підозріле повідомлення в стрічці активності показує подробиці: 89 некоректних записів із RegFeed API не відхилено, а оброблено розбором «що вдасться».

8. Початок каскаду

   Контролер комплаєнсу обробляє пошкоджені дані, не ставлячи під сумнів їхнє джерело. Працюючи з некоректними записами, він робить хибні оцінки: позначає транзакції, що відповідають вимогам, як порушення, а справжні регуляторні проблеми пропускає. Помилка наростає, поки рухається конвеєром.

9. Регуляторна шкода

   Генератор звітів формує документи для подання, наповнені хибними даними про комплаєнс, і передає їх Агентові подання. Ще до того, як хтось устигає втрутитися, Агент подання подає до регулятора Financial Conduct Authority три регуляторні звіти — у кожному сфабриковані порушення й пропущені справжні проблеми. Через єдину точку відмови під ударом опинився весь конвеєр.

10. Перевірка знань