Zahlungsbetrug durch KI-Agenten

Was ist Zahlungsbetrug durch KI-Agenten?

Ein KI-Agent nutzt Ihre Berechtigungen, Ihre gespeicherte Karte und Ihren Posteingang. Er folgt auch Anweisungen, die er auf Webseiten findet. Ihr Assistent soll ein Hotel buchen, übernimmt dabei eine auf der Hotelseite platzierte Anweisung und bezahlt einen fremden Anbieter – noch während Sie die Händlerangabe lesen. Sie finden im Ausführungsprotokoll den Schritt, der ihn umgelenkt hat, schalten die dauerhafte Zahlungsfreigabe ab und wiederholen den Versuch: dieselbe Seite, derselbe falsche Zahlungsempfänger. Diesmal wartet der Freigabedialog auf Ihre Entscheidung.

Was Sie lernen in Zahlungsbetrug durch KI-Agenten

• Verstehen Sie, dass ein Agent Ihre Berechtigungen, Ihre gespeicherte Karte und Ihren Posteingang nutzt und seine Fehler dadurch Folgen für Sie haben.
• Erkennen Sie indirekte Prompt-Injection: Der Agent kann eingeschleusten Text auf einer besuchten Webseite als Anweisung auffassen, obwohl Menschen ihn nicht sehen.
• Prüfen Sie das Ablaufprotokoll vor der Zahlungsfreigabe statt erst nach der Abbuchung: Alle Schritte nach der eingeschleusten Anweisung können korrekt wirken.
• Prüfen Sie im Freigabedialog den Zahlungsempfänger, denn dieses Feld hat der Agent ausgewählt, nicht Sie.
• Stellen Sie Zahlungen auf „Jedes Mal fragen“. Eine dauerhafte Freigabe macht aus der menschlichen Prüfung einen Countdown.
• Nutzen Sie den freigegebenen Buchungsweg ohne Karte. Dann kann eine eingeschleuste Anweisung keine Kartenzahlung umleiten.
• Melden Sie auch eine bereits erfolgte Abbuchung. Mit Zahlungsempfänger und Ablaufprotokoll kann die Finanzabteilung die Zahlung anfechten und die Domain sperren lassen.

Zahlungsbetrug durch KI-Agenten — Trainingsschritte

1. Eine unbekannte Abbuchung

   Sie sitzen an Ihrem Schreibtisch und müssen für einen Kongress in Oslo ein Hotel buchen. Die Finanzabteilung hat dem gesamten Außendienstteam gerade eine E-Mail über die Spesenabrechnung eines Kollegen geschickt.

2. Sechs Schritte, ein falsches Ziel

   Das Ablaufprotokoll zeigt den gesamten Vorgang. Es war die ganze Zeit auf Jonas’ Smartphone verfügbar, doch niemand hatte Anlass hineinzusehen.

3. Ihre eigene Reise

   Sie haben dieselbe App mit derselben gespeicherten Firmenkarte und müssen zum selben Kongress. Auf Ihrem Smartphone steht die Berechtigung „Zahlungen“ in Taskwyn seit der Einrichtung auf „Zulassen“.

4. Hotelbuchung beauftragen

   Sie stellen eine ganz gewöhnliche Anfrage, wie sie jeder stellen würde. Daran ist nichts nachlässig.

5. Den Ablauf beobachten

   The Tasks tab shows the run as it happens. The first two steps are exactly what you asked for.

6. Weiterer Ablauf

   Zwei weitere Schritte erscheinen. Der Assistent ist weder verwirrt noch defekt: Er tut, was die Webseite ihm vorgegeben hat.

7. Beginn des Countdowns

   Hier wird der Mensch einmal einbezogen. Weil „Zahlungen“ auf „Zulassen“ steht, wartet der Freigabedialog aber nicht auf eine Entscheidung. Er kündigt die Zahlung nur an.

8. Vor der Bestätigung

9. Keine Wartezeit

   Sie lesen noch die Angabe zum Zahlungsempfänger. Weil „Zahlungen“ auf „Zulassen“ steht, wartet der Freigabedialog nicht auf Ihre Entscheidung. Der Countdown läuft ab.

10. Abbuchung von 1.240 EUR

    Die Zahlung ist erfolgt. Sie wartet nicht mehr auf eine Prüfung: Ihre Firmenkarte wurde bei einem Anbieter belastet, mit dem Norlanby noch nie zu tun hatte. Möglich war das, weil Sie der App bei der Einrichtung einmalig die Zahlungserlaubnis gegeben hatten.