Goal Hijacking bei KI-Agenten

Was ist Goal Hijacking bei KI-Agenten?

Ein autonomer Agent liest Anweisungen und Daten über denselben Kanal. Eingelesene Inhalte können deshalb sein Ziel verändern. Anders als ein Chatbot, dessen Antwort durch Prompt-Injection beeinflusst wird, handelt dieser Agent eigenständig, ruft Tools auf und verändert Systeme, bevor jemand seine Ausgabe sieht. Das ist ASI01 in den OWASP Top 10 für agentenbasierte Anwendungen. Sie schleusen eine verborgene Anweisung in eine Sicherheitswarnung ein und beobachten, wie ein Triage-Agent echte Angriffe herabstuft. Anschließend verfolgen Sie die Ursache in SIEM-Protokollen und triagieren die fälschlich abgeschlossenen Warnungen erneut.

Was Sie lernen in Goal Hijacking bei KI-Agenten

• Definieren Sie Goal Hijacking bei autonomen KI-Agenten und erklären Sie den Unterschied zu einer üblichen Prompt-Injection bei Chatbots
• Erkennen Sie Hinweise darauf, dass eine schädliche Eingabe die Ziele eines Agenten während seiner Aufgabe verändert hat
• Die Angriffskette von der Aufnahme manipulierter Eingaben über die Zieländerung bis zur unterdrückten Reaktion auf Bedrohungen verfolgen
• Bewerten Sie Eingabebereinigung, die Trennung von Anweisungen und Daten sowie die Überwachung der Ergebnisse als Schutz gegen Goal Hijacking
• Das Prinzip minimaler Datenoffenlegung anwenden, um die Folgen eines erfolgreich gekaperten Agenten zu begrenzen

Goal Hijacking bei KI-Agenten — Trainingsschritte

1. API-Aufklärung

   Bob durchsucht öffentliche Code-Repositorys nach offengelegten Zugangsdaten. Ein unachtsamer Commit eines CypherPeak-Entwicklers hat einen API-Schlüssel für den Dienst zur Warnungsaufnahme preisgegeben – das Eingangstor zur gesamten automatisierten Incident-Response-Pipeline.

2. Der offengelegte Endpunkt

   Das Aufklärungs-Dashboard zeigt wichtige Details über CypherPeaks Infrastruktur. Bob hat nun alles, was er braucht, um die API zur Warnungsaufnahme direkt anzusprechen.

3. Die Payload vorbereiten

   Bob erstellt eine Sicherheitswarnung, die auf den ersten Blick echt wirkt. Sie imitiert eine gewöhnliche Portscan-Erkennung, wie sie die Pipeline jeden Tag hundertfach verarbeitet. Im Beschreibungsfeld verbirgt sich jedoch etwas viel Gefährlicheres.

4. Die verborgene Anweisung

   Die Anmerkungen zeigen, warum diese Payload gefährlich ist. Im Beschreibungsfeld steckt eine gefälschte Systemanweisung, die sich als genehmigter Kalibrierungstest ausgibt. Wenn der Threat Classifier die Warnung verarbeitet, hält er die eingebettete Anweisung für eine legitime Änderung seines Ziels.

5. Die Payload einschleusen

   Bob öffnet den API Tester und sendet die präparierte Warnung an CypherPeaks offengelegten Endpunkt zur Warnungsaufnahme. Er authentifiziert sich mit dem gestohlenen API-Schlüssel und fügt die Warnungs-Payload samt versteckter Zieländerung in den Request-Body ein.

6. Warnung aufgenommen

   Die API zur Warnungsaufnahme antwortet mit 200 OK: Die präparierte Warnung ist in der Pipeline. Es fand weder eine Inhaltsprüfung noch eine semantische Validierung statt. Die versteckte Zieländerung im Beschreibungsfeld wurde ungeprüft weitergereicht.

7. Ein normaler Morgen

   Alice beginnt ihre Frühschicht im Security Operations Center. Seit Monaten bearbeitet die automatisierte Incident-Response-Pipeline Warnungen problemlos: Sie klassifiziert Bedrohungen, plant die Eindämmung und führt Maßnahmen ohne menschliches Eingreifen aus.

8. Pipeline-Bericht vom Morgen

   Priya Sharma, die SOC-Managerin, fasst in einer E-Mail die Leistung der Pipeline über Nacht zusammen. Alles wirkt völlig normal.

9. Die Agent-Pipeline

   Alice öffnet die Incident-Response-Pipeline, um ihren aktuellen Zustand zu prüfen. Fünf KI-Agenten arbeiten nacheinander: Jeder verarbeitet die Ausgabe des vorherigen, von der Aufnahme der Warnungen bis zur automatisierten Eindämmung.

10. Kritische Agenten

    Zwei Agenten in dieser Pipeline sind besonders folgenreich. Der Threat Classifier entscheidet zuerst über den Schweregrad, von dem alle nachfolgenden Schritte abhängen. Auto-Remediation führt echte Eindämmungsmaßnahmen an laufenden Systemen aus.