Помилка каскадування кількох агентів

Що таке Помилка каскадування кількох агентів?

Каскадні збої отримали рейтинг ASI08 у рейтингу OWASP Top 10 for Agentic AI Applications 2026, оскільки мультиагентні системи створюють тісно пов’язані ланцюжки, де невелика помилка в одному агенті, наприклад галюцинація, неправильна класифікація або помилкове припущення, поширюється через наступні агенти, які сприймають помилку як авторитетний вхід, ускладнюючи її на кожному кроці, доки остаточний результат не стане катастрофічним. неправильно. На відміну від систем з одним агентом, де помилки містяться в одному виході, робочі процеси з кількома агентами посилюють помилки, оскільки кожен агент додає впевненості та контексту виводу попереднього агента без незалежної перевірки його точності. Інцидент 2025 року у фінансовій фірмі продемонстрував цей ризик, коли агент з планування галюцинував нормативну вимогу, агент із відповідності ставився до галюцинації як до перевіреного правила, а виконавець застосував його до 1400 клієнтських портфелів до того, як люди виявили помилку, що призвело до витрат на виправлення у розмірі 2,6 мільйона доларів. У цій вправі ви наглядаєте за багатоагентним робочим процесом, що обробляє автоматизований бізнес-процес. Агент з планування створює робочий план, який містить тонку фактичну помилку, незначну галюцинацію, яка виглядає правдоподібною. Цей план переходить до агента-дослідника, який базується на помилці, а потім до агента-виконавця, який виконує дії в реальному світі на основі складної помилки. Ви відстежуватимете помилку, коли вона поширюється через ланцюг агентів, визначайте точки посилення, де помилка переростає з незначної в серйозну, і втручайтеся в критичні моменти, коли людський нагляд міг порушити каскад. Ця вправа навчить вас розуміти, що багатоагентна надійність не є результатом точності окремого агента, а залежить від здатності системи виявляти та локалізувати помилки до того, як вони поширяться.

Що ви дізнаєтесь у Помилка каскадування кількох агентів

• Простежте, як галюцинація або помилка одного агента поширюється та посилюється через ланцюжок взаємопов’язаних агентів
• Визначте точки посилення в багатоагентних робочих процесах, де помилки поєднуються від незначних неточностей до катастрофічних результатів
• Оцініть припущення щодо надійності багатоагентних систем і поясніть, чому точність окремого агента не гарантує надійності на рівні системи
• Застосуйте шаблони автоматичних вимикачів, пороги надійності та контрольні точки людини в циклі, щоб переривати каскади помилок
• Розрізняйте помилки, які безпечно локалізуються нижчими агентами, і помилки, які посиляться через ланцюг агентів на основі шаблонів зв’язку

Помилка каскадування кількох агентів — Кроки навчання

1. Сезон подачі щоквартальних документів

   Зараз перший тиждень першого кварталу в CypherPeak Technologies. Кожного кварталу компанія повинна подавати звіти про відповідність фінансовим вимогам до Управління з питань фінансової поведінки (FCA) – регулюючого органу, який наглядає за фінансовими ринками. Неправильна подача документів може спричинити розслідування, штрафи або втрату ліцензій на діяльність. Щоб впоратися з цим критично важливим процесом у великих масштабах, команда Аліси розгорнула конвеєр відповідності на основі штучного інтелекту – ланцюжок із п’яти спеціалізованих агентів, які автоматично збирають фінансові дані із зовнішніх джерел, перевіряють їх на відповідність нормативним правилам, створюють звіти та передають їх до FCA. Система працювала безперебійно протягом місяців, обробляючи сотні файлів із майже ідеальною точністю.

2. Ранковий брифінг

   Від керівника відповідності надходить сповіщення про квартальний цикл подання документів.

3. Трубопровід відповідності

   Аліса відкриває інформаційну панель Agent Pipeline. Конвеєр складається з п’яти агентів штучного інтелекту, розташованих у ланцюг, кожен з яких обробляє один етап процесу подання файлів. Дані переміщаються зліва направо: оркестровник координує завдання, збирач даних збирає фінансові записи, перевірка відповідності перевіряє їх на відповідність нормам, генератор звітів створює документи для подання, а агент з подання подає їх до FCA.

4. Як працює конвеєр

   Кожен агент має певну роботу. Критичною точкою передачі є Data Collector — він збирає записи із зовнішніх сторонніх джерел, які компанія не контролює. Все, що йде вниз за течією, залежить від якості того, що він поглинає.

5. Плавні операції

   Оркестратор щоквартально надсилає завдання зі збору даних, і перша партія проходить чисто. Збирач даних приймає 847 записів з EDGAR і внутрішнього ERP, перевіряє їх схему та пересилає їх до засобу перевірки відповідності. Кожне повідомлення має зелений значок замка, що підтверджує автентифікований зв’язок між агентами.

6. Пошкоджений канал

   Збирач даних намагається отримати третю партію з API RegFeed – стороннього постачальника нормативних даних. Щось пішло не так. Статус збирача даних змінюється на попередження, а в журналі активності конвеєра з’являється підозріле повідомлення. Замість того, щоб відхиляти неправильні дані, агент передає їх униз.

7. Відсутній захист

   Збирач даних тепер у стані попередження, його довіра впала до 34%. Підозріле повідомлення в стрічці Live Activity показує деталі: 89 некоректних записів з RegFeed API, оброблених за допомогою найкращого аналізу, а не відхилених.

8. Каскад починається

   Засіб перевірки відповідності обробляє пошкоджені дані, не запитуючи їх джерело. Працюючи з неправильно сформованими записами, він генерує неправильні оцінки, позначаючи сумісні транзакції як порушення та усуваючи фактичні нормативні проблеми. Помилка посилюється, коли вона рухається по конвеєру.

9. Регуляторний збиток

   Генератор звітів створює документи, наповнені неправильними даними про відповідність, і передає їх агенту подання. Перш ніж будь-хто зможе втрутитися, реєстраційний агент подає три регулятивні звіти до Управління з фінансового контролю, кожен із яких містить сфабриковані порушення та пропущені реальні проблеми.

10. Перевірка знань

    Тепер весь конвеєр скомпрометовано з однієї точки збою.