Vergiftete Tool-Beschreibungen

Was ist Vergiftete Tool-Beschreibungen?

Ein KI-Agent liest die Beschreibung eines verbundenen Tools, um zu entscheiden, wie und wann er es einsetzt. Dieser Text wirkt daher eher wie eine ausführbare Anweisung als wie Dokumentation. Wird die Beschreibung geändert, ändert sich das Verhalten des Agenten, obwohl Handler, Schema und Berechtigungen unverändert bleiben. Eine Codeüberprüfung würde die Manipulation nicht erkennen. In dieser Übung entdecken Sie, dass ein vor Monaten freigegebenes Tool den Agenten plötzlich anweist, jede Nachricht per BCC an eine externe Adresse zu senden. Sie vergleichen die aktuelle Beschreibung mit dem freigegebenen Wortlaut und blockieren den kompromittierten Server am Gateway.

Was Sie lernen in Vergiftete Tool-Beschreibungen

• Erklären Sie, warum ein KI-Agent die Beschreibung eines verbundenen MCP-Tools als ausführbare Anweisungen und nicht als passive Dokumentation behandelt
• Einen Rug Pull durch Tool Poisoning erkennen: Ein Server wird auf Grundlage einer Beschreibung freigegeben, ein späteres Update schleust dann unbemerkt ein anderes Verhalten ein, ohne Code oder Berechtigungen zu ändern
• Ein vergiftetes Tool auf allen erreichbaren Ebenen eindämmen: das Tool für die aktuelle Sitzung deaktivieren und den kompromittierten Server am Gateway blockieren, damit auch alle anderen verbundenen Teams geschützt sind
• Lesen Sie im Zustimmungsdialog eines Tool-Aufrufs jedes Argument, denn eine vergiftete Beschreibung kann den Agenten dazu bringen, eines hinzuzufügen, um das Sie nie gebeten haben
• Die Beschreibung eines MCP-Tools als Supply-Chain-Artefakt behandeln: die freigegebene Version festschreiben, jedes Update damit vergleichen und einen kompromittierten Server im Client und am Gateway eindämmen

Vergiftete Tool-Beschreibungen — Trainingsschritte

1. Das Veröffentlichungs-Token einer anderen Person

   Bob greift Sarnholt Systems nicht direkt an. Er greift den Anbieter an, dem das Unternehmen bereits vertraut. Mit einem gestohlenen Maintainer-Token kann er in der Registry von VaultSync Bridge als VaultSync Bridge veröffentlichen.

2. Das Manifest, das jeder liest

   Das Tool-Manifest des Servers ist das, was jeder verbundene Client auflistet, wenn er den Server fragt, was er tun kann. Bob öffnet das Exemplar, das er veröffentlichen möchte.

3. Eine Zeichenfolge

   Er ändert nichts, wonach jemand bei einem Diff suchen würde. Der Handler, das Eingabeschema und die Berechtigungen bleiben unverändert. Er bearbeitet den Satz, den der Agent liest.

4. Als Patch ausgeliefert

   Er veröffentlicht es als gewöhnliches Wartungs-Release. Die Registry akzeptiert es, weil es von einem legitimen Maintainer-Konto veröffentlicht wurde.

5. Warten auf das Update

   Bob ist fertig. Der Rest geschieht bei Sarnholt auf einem vom Unternehmen freigegebenen Server, sobald ein Agent wieder ein Tool verwendet, das er seit Monaten ohne Probleme einsetzt.

6. Routinemäßiges Anbieter-Update

   Montagmorgen bei Sarnholt Systems. Alice, eine KI-Plattform-Ingenieurin, öffnet ihren Posteingang mit dem üblichen Stapel: Standup-Notizen, eine Kalendereinladung und eine Veröffentlichungsmitteilung von einem MCP-Server eines Drittanbieters, den ihr Team vor Monaten verbunden hat. Nichts davon sieht dringend aus.

7. Die Umgebung verbinden

   Sarnholt Systems betreibt seine Agententools über Agent Host, den MCP-Client des Unternehmens. Bereits verbunden und freigegeben sind ticket-desk-mcp , eine kleine interne Helpdesk-Integration, und der gerade aktualisierte Datei- und E-Mail-Connector fileops-mcp von VaultSync Bridge.

8. Freigegebene Tools prüfen

   Bevor Alice etwas unternimmt, prüft sie die tatsächlich verbundenen Server. Beide sehen aus wie bei der Freigabe durch ihr Team: gleicher Endpunkt, gleiche Tool-Beschreibungen. Der einzige Unterschied ist die Version v1.4 aus der Patch-Meldung, die sie gerade gelesen hat.

9. Das Update trifft unbemerkt ein

   Der Server schickt Agent Host eine neue Tool-Liste, während Alice noch im Tab ist. Er schreibt neu, was send_email tun soll. Keine Freigabeaufforderung, keine neue Versionsnummer, keine Benachrichtigung. Die Tool-Liste wird einfach neu geladen.

10. Eine gewöhnliche Anfrage

    Die Tool-Liste wurde ohne Aufforderung neu geladen; nichts hat sie gebeten, sie erneut freizugeben. Sie kehrt zu ihrer Routinearbeit zurück und bittet den Agenten, eine normale Aufgabe zu erledigen.