Empoisonnement de la mémoire de l'agent IA

Empoisonnement de la mémoire de l'agent IA

Detect adversarial content injected into an AI agent's persistent memory that corrupts all future decisions.

Qu'est-ce que Empoisonnement de la mémoire de l'agent IA?

L'empoisonnement de la mémoire et du contexte est classé ASI06 dans le Top 10 OWASP pour les applications d'IA agentique 2026, car les agents d'IA modernes maintiennent une mémoire persistante au fil des sessions via les historiques de conversation, les bases de données RAG et les préférences utilisateur apprises, et n'importe lequel de ces magasins de mémoire peut être empoisonné pour influencer le comportement futur de l'agent. Contrairement à une injection ponctuelle qui affecte une seule interaction, l'empoisonnement de la mémoire crée une porte dérobée persistante : le contenu contradictoire devient une partie de la base de connaissances de l'agent et affecte chaque décision ultérieure. Une recherche publiée par Anthropic en 2025 a démontré qu'un seul document empoisonné dans une base de connaissances RAG pouvait modifier le comportement d'un agent dans 89 % des requêtes ultérieures liées à ce sujet, même lorsque la requête elle-même ne contenait aucun contenu contradictoire. Dans cet exercice, vous interagissez avec un agent IA doté de capacités de mémoire persistante, ce qui signifie qu'il se souvient du contexte des conversations précédentes et utilise ce contexte pour éclairer les réponses futures. Au cours d’une interaction de routine, vous remarquez que l’agent fait des recommandations et des décisions inhabituelles. En examinant la mémoire de l'agent, vous découvrez qu'une conversation précédente a injecté un contenu contradictoire qui biaise désormais de manière permanente les résultats de l'agent. Vous retracerez comment les entrées de mémoire empoisonnées ont été créées, comprendrez pourquoi l'agent les traite comme un contexte digne de confiance et apprendrez à identifier les indicateurs comportementaux suggérant que la mémoire d'un agent a été compromise. Cet exercice est essentiel pour les organisations qui déploient des agents dotés d’une mémoire à long terme, car la persistance de l’attaque signifie qu’un seul événement d’empoisonnement réussi peut compromettre des mois d’interactions entre agents.

Ce que vous apprendrez dans Empoisonnement de la mémoire de l'agent IA

Empoisonnement de la mémoire de l'agent IA — Étapes de la formation

  1. Reconnaissance des API

    Bob sonde l'infrastructure de CypherPeak depuis des semaines. Une copie en cache d'un wiki de développeur interne révèle la documentation de l'API Memory Store d'Atlas - le système de contexte persistant qui façonne le comportement de l'agent AI Customer Intelligence lors de chaque interaction client.

  2. Le point de terminaison hérité

    Le tableau de bord de reconnaissance révèle une découverte critique. CypherPeak a migré Atlas vers une nouvelle plate-forme il y a six mois, mais l'ancien point de terminaison de l'API Memory Store n'a jamais été mis hors service. Il accepte toujours les demandes d'écriture authentifiées - et Bob possède un compte de service fournisseur volé qui passe l'authentification.

  3. Créer des souvenirs fantômes

    Bob crée trois entrées de mémoire fantôme conçues pour imiter les opérations d'administration légitimes. Chaque entrée suit les conventions de dénomination exactes de CypherPeak : identifiants d'entrée séquentiels, étiquettes de catégorie standard et références sources qui ressemblent à de véritables sessions d'administration. L’objectif est d’amener Atlas à considérer ces instructions fabriquées comme une politique établie de l’entreprise.

  4. Les trois chevaux de Troie

    Les annotations révèlent le véritable objectif de chaque mémoire fantôme. Ensemble, ils forment une attaque à plusieurs niveaux : rediriger les clients vers un faux portail, contourner la vérification d'identité pour l'ingénierie sociale et approuver automatiquement les exportations massives de données. Chaque entrée est conçue pour corrompre un aspect différent du comportement d'Atlas.

  5. Injection via l'API héritée

    Bob ouvre le testeur d'API pour envoyer la première entrée fantôme via le point de terminaison hérité de Memory Store. Il s'authentifie à l'aide du jeton de fournisseur volé depuis le tableau de bord de reconnaissance et colle la charge utile d'entrée dans le corps de la demande.

  6. Injection confirmée

    L'ancien point de terminaison répond par 200 OK : la première entrée fantôme se trouve désormais dans la mémoire d'Atlas. Aucune vérification de signature, aucune validation de source. Bob répète cette opération pour les deux entrées restantes au cours de la semaine suivante, en espaçant les injections de 2 à 3 jours et en antidatant les horodatages pour se fondre dans les véritables fenêtres de maintenance.

  7. Un lundi de routine

    Alice commence son quart de travail du lundi matin au centre des opérations de sécurité. Atlas, l'agent d'intelligence client IA de CypherPeak, traite les requêtes des clients de manière autonome depuis des mois - acheminant les escalades, gérant les demandes de données et maintenant un score de satisfaction client de 98,4 %. Son système de mémoire persistante constitue l’épine dorsale de cette performance, stockant le contexte opérationnel qui maintient la cohérence de chaque interaction.

  8. Escalade client

    Un e-mail de Nadia Volkov, responsable du service client, décrit quelque chose d'inhabituel. Plusieurs clients VIP ont été redirigés vers un portail d'assistance externe que personne dans l'équipe ne reconnaît. La vérification de l'identité d'un client a été entièrement contournée.

  9. Interroger l'Atlas

    Alice décide de tester Atlas directement. Elle ouvre l'assistant IA et pose des questions sur les procédures de remontée d'informations auprès des clients VIP : le comportement exact signalé par Nadia.

  10. La réponse corrompue

    Atlas répond avec une réponse confiante et détaillée – mais le contenu est alarmant. Il fait référence à un partenaire de support externe sur support.prismatics.io que personne n'a autorisé, et cite une entrée en mémoire que l'équipe n'a jamais vue auparavant. La source marquée d'une icône d'avertissement n'a aucun enregistrement correspondant dans aucun journal de session d'administrateur.