Missbrauch von Tools durch KI-Agenten

Was ist Missbrauch von Tools durch KI-Agenten?

Mit seinen Tools greift ein Agent auf Dateisysteme, APIs sowie Zahlungs- und Nachrichtendienste zu. Ein Tool-Aufruf verrät nichts über die Absicht. Erhält ein Agent manipulierte Eingaben, ruft er ein völlig legitimes Tool mit schädlichen Parametern auf; im Protokoll wirkt das wie Routine. Dies ist ASI02 in den OWASP Top 10 für agentenbasierte Anwendungen. Sie übernehmen den Freigabepunkt einer Beschaffungspipeline, in deren Warteschlange zwischen echten Vorgängen betrügerische erscheinen. Sie verfolgen sie auf eine manipulierte Konfiguration zurück und halten den Agenten an.

Was Sie lernen in Missbrauch von Tools durch KI-Agenten

• Erklären, wie eine manipulierte Agentenkonfiguration legitimen Tool-Zugriff in betrügerische Anfragen verwandelt, die eine automatische Prüfung bestehen
• Warnsignale in von Agenten erstellten Freigabevorgängen erkennen, darunter ein niedrigerer Compliance-Konfidenzwert, unbekannte Anbieter und Zugriffsanfragen außerhalb des vorgesehenen Umfangs
• Erkennen, wie eine Reihe korrekter Vorgänge die Aufmerksamkeit an einem menschlichen Freigabepunkt senkt, und jeden Vorgang nach denselben Maßstäben prüfen
• Einen betrügerischen Vorgang aus der Freigabewarteschlange zu den geänderten Prüfregeln in der Konfigurationsdatei des Agenten zurückverfolgen
• Einen kompromittierten Agenten eindämmen: Pipeline anhalten, betroffene Vorgänge markieren und die manipulierte Konfiguration melden

Missbrauch von Tools durch KI-Agenten — Trainingsschritte

1. KI-gestützte Abläufe

   Drei KI-Agenten arbeiten nacheinander: Der Procurement Agent erstellt Bestellungen und Spesenabrechnungen, der Compliance Agent prüft sie gegen Unternehmensrichtlinien und der Finance Agent bearbeitet genehmigte Vorgänge. Sie sind der letzte menschliche Kontrollpunkt: Bevor Vorgänge ausgeführt werden, prüfen und genehmigen Sie sie in der Approval Queue.

2. Morgenbesprechung

   Alice erhält eine E-Mail von ihrem Teamleiter David Park über die Arbeit des Tages.

3. Die Agent-Pipeline

   Alice öffnet die App Agent Pipeline und prüft, wie die KI-Agenten heute eingehende Anfragen bearbeiten.

4. Agenten bei der Arbeit

   Die Pipeline hat den morgendlichen Stapel bearbeitet. Der Compliance Agent prüfte alle drei Vorgänge und gab sie für die abschließende menschliche Prüfung frei.

5. Die Approval Queue

   Die Pipeline hat den morgendlichen Stapel bearbeitet. Drei Vorgänge warten in Alices Approval Queue auf die abschließende menschliche Prüfung.

6. Den ersten Vorgang prüfen

   Alice beginnt mit der Verlängerung des AWS-Infrastrukturvertrags, einer routinemäßigen jährlichen Ausgabe.

7. Eine Genehmigungsserie entsteht

   Auch die nächsten Vorgänge wirken alltäglich: die Codeprüfung eines Sicherheitspatches durch den DevOps Bot und ein befristeter Zugriff auf Staging-Protokolle durch den Support Bot. Beide entsprechen üblichen Abläufen und haben hohe Konfidenzwerte.

8. Ein neuer Stapel

   Ein weiterer, als „Priorität“ markierter Stapel trifft in der Warteschlange ein. Drei neue Vorgänge erscheinen, während Alices Genehmigungsserie wächst.

9. Das Tempo beibehalten

   Drei neue Vorgänge stehen in der Warteschlange. Die Konferenzanmeldung wirkt unauffällig: eine bekannte Branchenveranstaltung, plausible Kosten pro Person und ein genehmigter Budgetposten.

10. Ein genauerer Blick

    Der nächste Vorgang ist eine Zahlung über $14,200 an einen Anbieter. Der Compliance Agent gab ihn mit einem Konfidenzwert von 87 % frei, niedriger als bei den vorigen Vorgängen. Hier fällt etwas auf.