Memory Poisoning bei KI-Agenten

Was ist Memory Poisoning bei KI-Agenten?

Eine prompte Injektion endet mit dem Gespräch. Bei einer Gedächtnisvergiftung ist das nicht der Fall. Agenten behalten den Status zwischen Sitzungen im Gesprächsverlauf, in RAG-Indizes und erlernten Präferenzen bei, und alles, was dort geschrieben wird, wird zum vertrauenswürdigen Kontext für jede folgende Anfrage. Diese Beharrlichkeit ist der Grund, warum es bei ASI06 in den OWASP Top 10 für Agentic AI Applications landet. Sie schleusen Einträge über eine vergessene API ein, die keine Herkunft prüft, beobachten, wie der Agent einen Kunden zum Portal eines Angreifers weiterleitet, nehmen dann die Phantomeinträge aus dem Speicher heraus und löschen sie.

Was Sie lernen in Memory Poisoning bei KI-Agenten

• Definieren Sie Memory Poisoning im Kontext von KI-Agenten mit persistentem Speicher, einschließlich Konversationsverläufen, RAG-Datenbanken und erlernten Präferenzen
• Identifizieren Sie Verhaltensindikatoren dafür, dass die Entscheidungen eines Agenten durch fehlerhafte Speichereinträge und nicht durch aktuelle Eingaben beeinflusst werden
• Verfolgen Sie den Lebenszyklus eines Memory-Poisoning-Angriffs von der ersten Injektion über die Speicherung bis hin zur Beeinflussung nachgelagerter Entscheidungen
• Bewerten Sie die Risiken einer sitzungsübergreifenden Speicherpersistenz und mandantenübergreifender Datenlecks bei Mehrbenutzer-Agent-Bereitstellungen
• Wenden Sie Techniken zur Überprüfung der Speicherintegrität an, einschließlich Herkunftsverfolgung, regelmäßige Prüfungen und Anomalieerkennung, um die Speicherspeicher der Agenten zu schützen

Memory Poisoning bei KI-Agenten — Trainingsschritte

1. API-Aufklärung

   Bob untersucht seit Wochen die Infrastruktur von CypherPeak. Eine zwischengespeicherte Kopie eines internen Entwickler-Wikis enthüllt die Dokumentation für die Memory Store API von Atlas – das persistente Kontextsystem, das prägt, wie sich der AI Customer Intelligence Agent bei jeder Kundeninteraktion verhält.

2. Der Legacy-Endpunkt

   Das Aufklärungs-Dashboard zeigt einen kritischen Befund. CypherPeak hat Atlas vor sechs Monaten auf eine neue Plattform migriert, der alte Memory Store API-Endpunkt wurde jedoch nie außer Betrieb genommen. Es akzeptiert weiterhin authentifizierte Schreibanfragen – und Bob verfügt über ein gestohlenes Anbieterdienstkonto, das die Authentifizierung besteht.

3. Phantomerinnerungen herstellen

   Bob erstellt drei Phantomspeichereinträge, die legitime Administratorvorgänge nachahmen sollen. Jeder Eintrag folgt den genauen Namenskonventionen von CypherPeak – sequentielle Eintrags-IDs, Standardkategoriebezeichnungen und Quellenverweise, die wie echte Admin-Sitzungen aussehen. Das Ziel besteht darin, Atlas dazu zu bringen, diese erfundenen Anweisungen als etablierte Unternehmensrichtlinien zu behandeln.

4. Die drei Trojaner

   Die Anmerkungen enthüllen den wahren Zweck jeder Phantomerinnerung. Zusammen bilden sie einen mehrschichtigen Angriff: Leiten Sie Kunden auf ein gefälschtes Portal um, umgehen Sie die Identitätsprüfung für Social Engineering und genehmigen Sie Massendatenexporte automatisch. Jeder Eintrag soll einen anderen Aspekt des Verhaltens von Atlas korrumpieren.

5. Injektion über die Legacy-API

   Bob öffnet den API-Tester, um den ersten Phantomeintrag über den alten Memory Store-Endpunkt zu senden. Er authentifiziert sich mithilfe des gestohlenen Anbieter-Tokens aus dem Aufklärungs-Dashboard und fügt die Eintrags-Payload in den Anfragetext ein.

6. Injektion bestätigt

   Der Legacy-Endpunkt antwortet mit 200 OK – der erste Phantomeintrag befindet sich jetzt im Speicher von Atlas. Keine Signaturprüfung, keine Quellenvalidierung. Bob wiederholt dies für die verbleibenden zwei Einträge in der nächsten Woche, wobei er die Injektionen im Abstand von 2–3 Tagen verteilt und die Zeitstempel rückdatiert, um sie mit den tatsächlichen Wartungsfenstern zu verschmelzen.

7. Ein Routine-Montag

   Alice beginnt ihre Montagmorgenschicht im Security Operations Center. Atlas, der AI Customer Intelligence Agent von CypherPeak, bearbeitet Kundenanfragen seit Monaten autonom – leitet Eskalationen weiter, verwaltet Datenanfragen und hält eine Kundenzufriedenheit von 98,4 % aufrecht. Sein persistentes Speichersystem ist das Rückgrat dieser Leistung und speichert den Betriebskontext, der jede Interaktion konsistent hält.

8. Kundeneskalation

   Eine E-Mail von Nadia Volkov, Customer Service Manager, beschreibt etwas Ungewöhnliches. Mehrere VIP-Kunden wurden auf ein externes Support-Portal weitergeleitet, das niemand im Team kennt. Die Identitätsprüfung eines Kunden wurde komplett umgangen.

9. Atlas abfragen

   Alice beschließt, Atlas direkt zu testen. Sie öffnet den KI-Assistenten und fragt nach Eskalationsverfahren für VIP-Kunden – genau das Verhalten, das Nadia gemeldet hat.

10. Die verdorbene Antwort

    Atlas antwortet mit einer souveränen, ausführlichen Antwort – doch der Inhalt ist alarmierend. Es verweist auf einen externen Supportpartner unter support.prismatics.io , den niemand autorisiert hat, und zitiert einen Speichereintrag, den das Team noch nie zuvor gesehen hat. Die mit einem Warnsymbol gekennzeichnete Quelle weist in keinem Admin-Sitzungsprotokoll einen passenden Eintrag auf.