Kaskadierender Fehler im Multi-Agenten-System

Was ist Kaskadierender Fehler im Multi-Agenten-System?

Wenn Agenten verkettet sind, behandelt jeder die Ausgabe seines Vorgängers als Tatsache. Ein früher Fehler bleibt nicht klein: Nachgelagerte Agenten fügen Kontext und Konfidenz hinzu. So kann aus einer kleinen Ungenauigkeit am Ende eine vermeintlich fundierte, aber falsche Handlung werden. Das ist ASI08 in den OWASP Top 10 für agentenbasierte Anwendungen. Sie verfolgen einen fehlerhaften Datenfeed durch eine Compliance-Pipeline mit fünf Agenten, die falsche Berichte eingereicht hat. Sie stoppen die Quelle, markieren die betroffenen Meldungen und konfigurieren den bislang fehlenden Circuit Breaker.

Was Sie lernen in Kaskadierender Fehler im Multi-Agenten-System

• Nachvollziehen, wie sich eine Halluzination oder ein Fehler eines einzelnen Agenten durch eine Kette verbundener Agenten ausbreitet und verstärkt
• Verstärkungspunkte in Multi-Agenten-Abläufen erkennen, an denen kleine Ungenauigkeiten zu schwerwiegenden Folgen anwachsen
• Zuverlässigkeitsannahmen für Multi-Agenten-Systeme bewerten und erklären, warum genaue Ergebnisse einzelner Agenten keine zuverlässige Gesamtpipeline garantieren
• Circuit-Breaker-Muster, Konfidenzschwellen und menschliche Kontrollpunkte einsetzen, um Fehlerkaskaden zu stoppen
• Anhand der Kopplung zwischen Agenten unterscheiden, welche Fehler nachgelagerte Agenten sicher abfangen und welche sich durch die Kette verstärken

Kaskadierender Fehler im Multi-Agenten-System — Trainingsschritte

1. Zeit für die Quartalsmeldungen

   Es ist die erste Woche des zweiten Quartals bei CypherPeak Technologies, und die Meldungen für das erste Quartal sind fällig. Das Unternehmen muss jedes Quartal Finanz-Compliance-Berichte bei der Financial Conduct Authority (FCA) einreichen, der britischen Finanzaufsicht. Fehlerhafte Meldungen können Untersuchungen, Geldstrafen oder den Verlust von Betriebslizenzen auslösen. Für diesen wichtigen Prozess hat Alices Team eine KI-gestützte Compliance-Pipeline eingerichtet. Fünf spezialisierte Agenten sammeln Finanzdaten aus externen Quellen, prüfen sie gegen regulatorische Vorgaben, erstellen Berichte und reichen diese bei der FCA ein. Seit Monaten verarbeitet das System Hunderte Meldungen mit nahezu fehlerfreien Ergebnissen.

2. Morgenbesprechung

   Vom Compliance-Leiter geht eine Benachrichtigung über den vierteljährlichen Einreichungszyklus ein.

3. Die Compliance-Pipeline

   Alice öffnet das Agent-Pipeline-Dashboard. Dort sind fünf KI-Agenten in einer Kette angeordnet, jeweils für einen Schritt der Einreichung zuständig. Die Daten fließen von links nach rechts: Der Orchestrator koordiniert Aufgaben, der Data Collector sammelt Finanzdaten, der Compliance Checker prüft sie gegen regulatorische Vorgaben, der Report Generator erstellt die Berichte und der Filing Agent übermittelt sie an die FCA.

4. So funktioniert die Pipeline

   Jeder Agent hat eine feste Aufgabe. Ein besonders kritischer Übergang liegt beim Data Collector: Er ruft Datensätze aus externen Quellen ab, die das Unternehmen nicht kontrolliert. Alle nachfolgenden Schritte hängen von der Qualität dieser Daten ab.

5. Reibungsloser Betrieb

   Der Orchestrator startet die Quartalsdatenerfassung, und der erste Stapel durchläuft die Pipeline ohne Fehler. Der Data Collector übernimmt 847 Datensätze aus EDGAR und dem internen ERP, prüft ihr Schema und leitet sie an den Compliance Checker weiter. Das grüne Schlosssymbol an jeder Nachricht bestätigt die authentifizierte Kommunikation zwischen den Agenten.

6. Der beschädigte Feed

   Der Data Collector ruft den dritten Batch von der RegFeed API ab, einem externen Anbieter regulatorischer Daten. Dabei tritt ein Fehler auf. Sein Status wechselt zu „Warning“, und im Aktivitätsprotokoll erscheint eine verdächtige Meldung. Statt die fehlerhaften Daten zurückzuweisen, reicht er sie weiter.

7. Eine fehlende Schutzmaßnahme

   Der Data Collector zeigt jetzt eine Warnung an; sein Konfidenzwert ist auf 34 % gesunken. Die Meldung unter Live Activity nennt die Einzelheiten: 89 fehlerhafte Datensätze von der RegFeed API wurden mittels Best-Effort-Parsing verarbeitet statt zurückgewiesen.

8. Die Kaskade beginnt

   Der Compliance Checker verarbeitet die fehlerhaften Daten, ohne ihre Herkunft zu hinterfragen. So entstehen falsche Bewertungen: Regelkonforme Transaktionen werden als Verstöße markiert, während tatsächliche aufsichtsrechtliche Probleme übersehen werden. Der Fehler verstärkt sich auf seinem Weg durch die Pipeline.

9. Aufsichtsrechtlicher Schaden

   Der Report Generator erstellt Berichte mit falschen Compliance-Daten und gibt sie an den Filing Agent weiter. Bevor jemand eingreifen kann, reicht der Filing Agent drei aufsichtsrechtliche Berichte bei der Financial Conduct Authority ein. Jeder enthält erfundene Verstöße und übersieht tatsächliche Probleme. Die gesamte Pipeline ist nun von einem einzigen Ausfallpunkt aus kompromittiert.

10. Wissenscheck