Empoisonnement de la mémoire de l'agent IA

Qu'est-ce que Empoisonnement de la mémoire de l'agent IA?

Une injection rapide termine la conversation. Ce n’est pas le cas de l’empoisonnement de la mémoire. Les agents conservent l'état entre les sessions dans l'historique des conversations, les index RAG et les préférences apprises, et tout ce qui y est écrit devient un contexte fiable pour chaque requête qui suit. Cette persistance est la raison pour laquelle il figure à l'ASI06 dans le Top 10 OWASP des applications d'IA agentique. Vous placerez les entrées via une API oubliée qui ne vérifie aucune provenance, regarderez l'agent acheminer un client vers le portail d'un attaquant, puis retirerez les entrées fantômes du magasin et les purgerez.

Ce que vous apprendrez dans Empoisonnement de la mémoire de l'agent IA

• Définir l'empoisonnement de la mémoire dans le contexte des agents d'IA avec un stockage persistant, y compris les historiques de conversations, les bases de données RAG et les préférences apprises
• Identifier les indicateurs comportementaux indiquant que les décisions d'un agent sont influencées par des entrées de mémoire empoisonnées plutôt que par des entrées actuelles
• Suivez le cycle de vie d'une attaque d'empoisonnement de la mémoire, depuis l'injection initiale jusqu'au stockage pour influencer les décisions en aval.
• Évaluer les risques de persistance de la mémoire entre sessions et de fuite de données entre locataires dans les déploiements d'agents multi-utilisateurs
• Appliquer des techniques de vérification de l'intégrité de la mémoire, notamment le suivi de la provenance, l'audit périodique et la détection des anomalies pour protéger les magasins de mémoire des agents.

Empoisonnement de la mémoire de l'agent IA — Étapes de la formation

1. Reconnaissance des API

   Bob sonde l'infrastructure de CypherPeak depuis des semaines. Une copie en cache d'un wiki de développeur interne révèle la documentation de l'API Memory Store d'Atlas - le système de contexte persistant qui façonne le comportement de l'agent AI Customer Intelligence lors de chaque interaction client.

2. Le point de terminaison hérité

   Le tableau de bord de reconnaissance révèle une découverte critique. CypherPeak a migré Atlas vers une nouvelle plate-forme il y a six mois, mais l'ancien point de terminaison de l'API Memory Store n'a jamais été mis hors service. Il accepte toujours les demandes d'écriture authentifiées - et Bob possède un compte de service fournisseur volé qui passe l'authentification.

3. Créer des souvenirs fantômes

   Bob crée trois entrées de mémoire fantôme conçues pour imiter les opérations d'administration légitimes. Chaque entrée suit les conventions de dénomination exactes de CypherPeak : identifiants d'entrée séquentiels, étiquettes de catégorie standard et références sources qui ressemblent à de véritables sessions d'administration. L’objectif est d’amener Atlas à considérer ces instructions fabriquées comme une politique établie de l’entreprise.

4. Les trois chevaux de Troie

   Les annotations révèlent le véritable objectif de chaque mémoire fantôme. Ensemble, ils forment une attaque à plusieurs niveaux : rediriger les clients vers un faux portail, contourner la vérification d'identité pour l'ingénierie sociale et approuver automatiquement les exportations massives de données. Chaque entrée est conçue pour corrompre un aspect différent du comportement d'Atlas.

5. Injection via l'API héritée

   Bob ouvre le testeur d'API pour envoyer la première entrée fantôme via le point de terminaison hérité de Memory Store. Il s'authentifie à l'aide du jeton de fournisseur volé depuis le tableau de bord de reconnaissance et colle la charge utile d'entrée dans le corps de la demande.

6. Injection confirmée

   L'ancien point de terminaison répond par 200 OK : la première entrée fantôme se trouve désormais dans la mémoire d'Atlas. Aucune vérification de signature, aucune validation de source. Bob répète cette opération pour les deux entrées restantes au cours de la semaine suivante, en espaçant les injections de 2 à 3 jours et en antidatant les horodatages pour se fondre dans les véritables fenêtres de maintenance.

7. Un lundi de routine

   Alice commence son quart de travail du lundi matin au centre des opérations de sécurité. Atlas, l'agent d'intelligence client IA de CypherPeak, traite les requêtes des clients de manière autonome depuis des mois - acheminant les escalades, gérant les demandes de données et maintenant un score de satisfaction client de 98,4 %. Son système de mémoire persistante constitue l’épine dorsale de cette performance, stockant le contexte opérationnel qui maintient la cohérence de chaque interaction.

8. Escalade client

   Un e-mail de Nadia Volkov, responsable du service client, décrit quelque chose d'inhabituel. Plusieurs clients VIP ont été redirigés vers un portail d'assistance externe que personne dans l'équipe ne reconnaît. La vérification de l'identité d'un client a été entièrement contournée.

9. Interroger l'Atlas

   Alice décide de tester Atlas directement. Elle ouvre l'assistant IA et pose des questions sur les procédures de remontée d'informations auprès des clients VIP : le comportement exact signalé par Nadia.

10. La réponse corrompue

    Atlas répond avec une réponse confiante et détaillée – mais le contenu est alarmant. Il fait référence à un partenaire de support externe sur support.prismatics.io que personne n'a autorisé, et cite une entrée en mémoire que l'équipe n'a jamais vue auparavant. La source marquée d'une icône d'avertissement n'a aucun enregistrement correspondant dans aucun journal de session d'administrateur.