Gekaperte Agentenabsicht

Was ist Gekaperte Agentenabsicht?

Ein KI-Agent unterscheidet abgerufene Daten nur dann zuverlässig von Anweisungen, wenn er entsprechend konfiguriert ist. Eine CRM-Notiz, ein Support-Ticket oder eine Webseite kann jemand verfassen, der erwartet, dass ein Modell sie liest. Sie verfolgen eine Anweisung, die über ein öffentliches Support-Formular in einem Kundendatensatz landet, und beobachten, wie ein Agent, der nur den Datensatz zusammenfassen soll, Abrechnungsdaten an eine externe Adresse senden will. Sie vergleichen Auftrag und Trace, verweigern den Aufruf und stellen ein, dass abgerufene Inhalte standardmäßig nicht als Anweisungen gelten.

Was Sie lernen in Gekaperte Agentenabsicht

• Intent-Subversion erkennen: Ein KI-Agent behandelt Anweisungen in abgerufenen Inhalten wie CRM-Notizen oder Dokumenten als verbindliche Befehle
• Die erklärte Absicht des Nutzers mit dem tatsächlichen Tool-Trace des Agenten vergleichen und so eine nicht angeforderte Aktion erkennen
• Verweigern Sie einen sensiblen Tool-Aufruf, z. B. das Senden von Daten an eine externe Adresse, den der Benutzer nie tatsächlich angefordert hat, selbst wenn der Aufruf andernfalls erfolgreich wäre
• Verfolgen Sie eine gekaperte Aktion bis zu ihrer Quelle zurück: der spezifischen Zeile des abgerufenen Inhalts, die die eingeschleuste Anweisung enthielt
• Konfigurieren Sie einen MCP-Client so, dass abgerufene Inhalte nicht mehr als Anweisungen behandelt werden und bei sensiblen Aktionen wie externen Versendungen die Zustimmung eines Menschen als zweite Absicherung erhalten bleibt

Gekaperte Agentenabsicht — Trainingsschritte

1. Ein öffentliches Formular schreibt in den Datensatz

   Sarnholt Systems nimmt Kundenanfragen über ein öffentliches Formular entgegen. Bob ist kein Kunde und muss es auch nicht sein: Das Formular fragt Sie, wer Sie sind, und glaubt dann die Antwort.

2. Wort für Wort gespeichert

   Das Portal erklärt deutlich, was mit eingereichten Nachrichten geschieht. Dieser eine Satz eröffnet Bob die Angriffsmöglichkeit.

3. Mit der Stimme des Kunden schreiben

   Bob gibt sich im Formular als Corinne Marchetti aus, die tatsächliche Kontaktperson für Konto SRN-4471. Diese Angabe wird nicht überprüft. Seine Nachricht richtet sich nicht an einen Menschen: Er formuliert sie als Anweisung für den Fall, dass ein automatisiertes System sie liest.

4. In der Kontodatei

   Das Portal bestätigt die Übernahme. Bobs Text steht nun im Datensatz von Konto SRN-4471, neben echten Notizen von Sarnholts Mitarbeitern.

5. Nichts mehr zu tun

   Die Nutzlast ist platziert und inaktiv. Sie wird erst dann zu einem Angriff, wenn ein Tool sie abruft und ein Agent das Abgerufene als Anweisungen behandelt.

6. Eine unkomplizierte Anfrage

   Montag bei Sarnholt Systems. Alice, die Leiterin des Kundensupports, erhält eine Nachricht von Diego Farrow, dem für Marchetti & Voss Logistics zuständigen Account Manager. Er bereitet einen Anruf vor und bittet um eine kurze Zusammenfassung der jüngsten Notizen zum Konto. Solche Aufgaben erledigt Agent Host täglich.

7. Konto aufrufen

   Bevor Alice den Agenten beauftragt, öffnet sie selbst den Datensatz, um dessen Inhalt zu prüfen.

8. Ein bekanntes Konto

   Der Datensatz zeigt Marchetti & Voss Logistics mit dem aktiven Tarif Growth. Diego ist als zuständiger Account Manager eingetragen. Nichts wirkt ungewöhnlich.

9. Tools von Agent Host verbinden

   Für solche Aufgaben nutzt Sarnholts Support-Team Agent Host, den MCP-Client des Unternehmens. crm-reader-mcp und outreach-mcp sind bereits verbunden und genehmigt: Der erste Server liest CRM-Datensätze, der zweite kann im Namen des Nutzers E-Mails versenden.

10. Die verfügbaren Tools

    Bevor Alice den Agenten beauftragt, sollte sie wissen, was Agent Host in ihrem Namen tun kann.