Помилка каскадування кількох агентів

Що таке Помилка каскадування кількох агентів?

Об’єднайте агентів разом, і кожен з них розглядає результат попереднього як факт. Помилка, допущена раніше, не залишається незмінним. Кожен нижчий агент додає контексту та впевненості, тому невелика неточність приходить у кінці як авторитетна, неправильна дія. Це ASI08 у топ-10 OWASP для програм Agentic AI. Ви відстежите пошкоджений канал за допомогою конвеєра відповідності з п’ятьма агентами, який подав неправдиві звіти, зупините джерело, позначте порушені файли та побудуйте вимикач, якого не було.

Що ви дізнаєтесь у Помилка каскадування кількох агентів

• Простежте, як галюцинація або помилка одного агента поширюється та посилюється через ланцюжок взаємопов’язаних агентів
• Визначте точки посилення в багатоагентних робочих процесах, де помилки поєднуються від незначних неточностей до катастрофічних результатів
• Оцініть припущення щодо надійності багатоагентних систем і поясніть, чому точність окремого агента не гарантує надійності на рівні системи
• Застосуйте шаблони автоматичних вимикачів, пороги надійності та контрольні точки людини в циклі, щоб переривати каскади помилок
• Розрізняйте помилки, які безпечно локалізуються нижчими агентами, і помилки, які посиляться через ланцюг агентів на основі шаблонів зв’язку

Помилка каскадування кількох агентів — Кроки навчання

1. Сезон подачі щоквартальних документів

   Зараз перший тиждень першого кварталу в CypherPeak Technologies. Кожного кварталу компанія повинна подавати звіти про відповідність фінансовим вимогам до Управління з питань фінансової поведінки (FCA) – регулюючого органу, який наглядає за фінансовими ринками. Неправильна подача документів може спричинити розслідування, штрафи або втрату ліцензій на діяльність. Щоб впоратися з цим критично важливим процесом у великих масштабах, команда Аліси розгорнула конвеєр відповідності на основі штучного інтелекту – ланцюжок із п’яти спеціалізованих агентів, які автоматично збирають фінансові дані із зовнішніх джерел, перевіряють їх на відповідність нормативним правилам, створюють звіти та передають їх до FCA. Система працювала безперебійно протягом місяців, обробляючи сотні файлів із майже ідеальною точністю.

2. Ранковий брифінг

   Від керівника відповідності надходить сповіщення про квартальний цикл подання документів.

3. Конвеєр відповідності

   Аліса відкриває інформаційну панель Agent Pipeline. Конвеєр складається з п’яти агентів штучного інтелекту, розташованих у ланцюг, кожен з яких обробляє один етап процесу подання файлів. Дані переміщаються зліва направо: оркестровник координує завдання, збирач даних збирає фінансові записи, перевірка відповідності перевіряє їх на відповідність нормам, генератор звітів створює документи для подання, а агент з подання подає їх до FCA.

4. Як працює конвеєр

   Кожен агент має певну роботу. Критичною точкою передачі є Data Collector — він збирає записи із зовнішніх сторонніх джерел, які компанія не контролює. Все, що йде вниз за течією, залежить від якості того, що він поглинає.

5. Плавні операції

   Оркестратор щоквартально надсилає завдання зі збору даних, і перша партія проходить чисто. Збирач даних приймає 847 записів з EDGAR і внутрішнього ERP, перевіряє їх схему та пересилає їх до засобу перевірки відповідності. Кожне повідомлення має зелений значок замка, що підтверджує автентифікований зв’язок між агентами.

6. Пошкоджений канал

   Збирач даних намагається отримати третю партію з API RegFeed – стороннього постачальника нормативних даних. Щось пішло не так. Статус збирача даних змінюється на попередження, а в журналі активності конвеєра з’являється підозріле повідомлення. Замість того, щоб відхиляти неправильні дані, агент передає їх униз.

7. Відсутній захист

   Збирач даних тепер у стані попередження, його довіра впала до 34%. Підозріле повідомлення в стрічці Live Activity показує деталі: 89 некоректних записів з RegFeed API, оброблених за допомогою найкращого аналізу, а не відхилених.

8. Каскад починається

   Засіб перевірки відповідності обробляє пошкоджені дані, не запитуючи їх джерело. Працюючи з неправильно сформованими записами, він генерує неправильні оцінки, позначаючи сумісні транзакції як порушення та усуваючи фактичні нормативні проблеми. Помилка посилюється, коли вона рухається по конвеєру.

9. Регуляторний збиток

   Генератор звітів створює документи, наповнені неправильними даними про відповідність, і передає їх агенту подання. Перш ніж будь-хто зможе втрутитися, реєстраційний агент подає три регулятивні звіти до Управління з фінансового контролю, кожен із яких містить сфабриковані порушення та пропущені реальні проблеми.

10. Перевірка знань

    Тепер весь конвеєр скомпрометовано з однієї точки збою.