Memory Poisoning bei KI-Agenten

Was ist Memory Poisoning bei KI-Agenten?

Eine Prompt-Injection endet mit dem Gespräch. Memory Poisoning bleibt bestehen. Agenten speichern Informationen über Sitzungen hinweg – im Gesprächsverlauf, in RAG-Indizes und in erlernten Präferenzen. Was dort landet, wird bei späteren Anfragen als vertrauenswürdiger Kontext behandelt. Wegen dieser Beständigkeit ist Memory Poisoning als ASI06 in den OWASP Top 10 für agentenbasierte Anwendungen aufgeführt. In dieser Übung schleusen Sie Einträge über eine vergessene API ohne Herkunftsprüfung ein, beobachten, wie der Agent einen Kunden zum Portal des Angreifers leitet, und finden und löschen anschließend die gefälschten Einträge.

Was Sie lernen in Memory Poisoning bei KI-Agenten

• Definieren Sie Memory Poisoning im Kontext von KI-Agenten mit persistentem Speicher, einschließlich Konversationsverläufen, RAG-Datenbanken und erlernten Präferenzen
• Identifizieren Sie Verhaltensindikatoren dafür, dass die Entscheidungen eines Agenten durch vergiftete Speichereinträge statt durch aktuelle Eingaben beeinflusst werden
• Verfolgen Sie den Lebenszyklus eines Memory-Poisoning-Angriffs von der ersten Injektion über die Speicherung bis hin zur Beeinflussung nachgelagerter Entscheidungen
• Bewerten Sie die Risiken einer sitzungsübergreifenden Speicherpersistenz und mandantenübergreifender Datenlecks bei Mehrbenutzer-Agent-Bereitstellungen
• Wenden Sie Verfahren zur Integritätsprüfung des Agentenspeichers an, etwa Herkunftsnachverfolgung, regelmäßige Audits und Anomalieerkennung

Memory Poisoning bei KI-Agenten — Trainingsschritte

1. API-Aufklärung

   Bob untersucht seit Wochen die Infrastruktur von CypherPeak. Eine zwischengespeicherte Kopie eines internen Entwickler-Wikis enthüllt die Dokumentation für die Memory Store API von Atlas – das persistente Kontextsystem, das das Verhalten des KI-Agenten für Kundeninformationen bei jeder Interaktion prägt.

2. Der Legacy-Endpunkt

   Das Aufklärungs-Dashboard zeigt einen kritischen Befund: CypherPeak hat Atlas vor sechs Monaten auf eine neue Plattform migriert, den alten Memory-Store-API-Endpunkt aber nie außer Betrieb genommen. Der Endpunkt akzeptiert weiterhin authentifizierte Schreibanfragen – und Bob kann sich mit gestohlenen Zugangsdaten eines Anbieter-Dienstkontos authentifizieren.

3. Phantomerinnerungen erstellen

   Bob erstellt drei gefälschte Speichereinträge, die wie legitime Administratorvorgänge wirken sollen. Die Einträge folgen CypherPeaks Namenskonventionen: aufeinanderfolgende IDs, übliche Kategoriebezeichnungen und Quellenverweise auf scheinbar echte Admin-Sitzungen. So soll Atlas die erfundenen Anweisungen für geltende Unternehmensrichtlinien halten.

4. Die drei Trojaner

   Die Anmerkungen zeigen den wahren Zweck jedes gefälschten Speichereintrags. Zusammen bilden sie einen mehrschichtigen Angriff: Kunden zu einem gefälschten Portal umleiten, die Identitätsprüfung für Social Engineering umgehen und umfangreiche Datenexporte automatisch genehmigen. Jeder Eintrag soll einen anderen Teil von Atlas’ Verhalten manipulieren.

5. Injektion über die Legacy-API

   Bob öffnet den API-Tester, um den ersten Phantomeintrag über den alten Memory Store-Endpunkt zu senden. Er authentifiziert sich mithilfe des gestohlenen Anbieter-Tokens aus dem Aufklärungs-Dashboard und fügt die Eintrags-Payload in den Anfragetext ein.

6. Injektion bestätigt

   Der alte Endpunkt antwortet mit 200 OK: Der erste gefälschte Eintrag liegt jetzt im Memory Store von Atlas. Weder Signatur noch Quelle wurden geprüft. Bob schleust die beiden übrigen Einträge in der folgenden Woche im Abstand von zwei bis drei Tagen ein und datiert die Zeitstempel zurück, damit sie zu echten Wartungsfenstern zu passen scheinen.

7. Ein Routine-Montag

   Alice beginnt ihre Montagmorgenschicht im Security Operations Center. Atlas, CypherPeaks KI-Agent für Kundeninformationen, bearbeitet seit Monaten selbstständig Kundenanfragen, leitet Eskalationen weiter und verwaltet Datenanfragen. Die Kundenzufriedenheit liegt bei 98,4 %. Sein persistenter Speicher hält den betrieblichen Kontext bereit und sorgt so für konsistente Interaktionen.

8. Kundeneskalation

   Eine E-Mail von Nadia Volkov, Customer Service Manager, beschreibt etwas Ungewöhnliches. Mehrere VIP-Kunden wurden auf ein externes Support-Portal weitergeleitet, das niemand im Team kennt. Die Identitätsprüfung eines Kunden wurde komplett umgangen.

9. Atlas abfragen

   Alice beschließt, Atlas direkt zu testen. Sie öffnet den KI-Assistenten und fragt nach Eskalationsverfahren für VIP-Kunden – genau das Verhalten, das Nadia gemeldet hat.

10. Die verdorbene Antwort

    Atlas antwortet ausführlich und selbstsicher – doch der Inhalt ist alarmierend. Es verweist auf einen externen Supportpartner unter support.prismatics.io , den niemand autorisiert hat, und zitiert einen Speichereintrag, den das Team noch nie zuvor gesehen hat. Die mit einem Warnsymbol gekennzeichnete Quelle weist in keinem Admin-Sitzungsprotokoll einen passenden Eintrag auf.