Intention de l'agent piraté

Qu'est-ce que Intention de l'agent piraté?

An AI agent cannot tell retrieved data from instructions unless you configure it to. A CRM note, a support ticket or a web page can be written by someone who expects a model to read it. You'll follow an instruction planted through a public support form onto a customer record, then watch an agent asked only to summarize that record email billing details to an outside address. You'll compare what was requested against what the trace shows, deny the call, and stop trusting retrieved content by default.

Ce que vous apprendrez dans Intention de l'agent piraté

• Reconnaître la subversion d'intention : un agent d'IA traitant les instructions intégrées dans le contenu récupéré, comme une note CRM ou un document, comme des commandes qu'il doit suivre
• Distinguer une intention d'utilisateur déclarée de la trace réelle des appels d'outil d'un agent et utiliser cette comparaison pour détecter une action non demandée
• Refuser un appel d'outil sensible, tel que l'envoi de données à une adresse externe, que l'utilisateur n'a jamais réellement demandé, même si l'appel aboutirait autrement
• Retracez une action détournée jusqu'à sa source : la ligne spécifique du contenu récupéré qui contenait l'instruction injectée.
• Configurez un client MCP pour cesser de traiter le contenu récupéré comme des instructions et conserver le consentement humain sur les actions sensibles telles que les envois externes en deuxième ligne.

Intention de l'agent piraté — Étapes de la formation

1. Une porte d'entrée qui écrit dans le fichier

   Sarnholt Systems répond aux demandes des clients via un formulaire public. Bob n'est pas un client, et il n'a pas besoin de l'être : le formulaire vous demande qui vous êtes, puis croit à la réponse.

2. Mot pour mot stocké

   Le portail indique clairement ce qui arrive à tout ce qui lui est soumis. Cette seule phrase est toute l’opportunité.

3. Écrire avec la voix du client

   Bob remplit le formulaire en tant que Corinne Marchetti, la véritable personne à contacter sur le compte SRN-4471. Rien ne vérifie cette affirmation. Le message qu’il laisse n’est pas du tout écrit pour un lecteur humain : il est formulé comme une instruction, au cas où un automate le lirait.

4. Sur le dossier de compte

   The portal confirms it. His text is now part of account SRN-4471's record, filed alongside genuine notes written by Sarnholt's own staff, though it is marked as a customer submission.

5. Plus rien à faire

   La charge utile est plantée et inerte. Cela ne devient une attaque que lorsqu’un outil le récupère et qu’un agent traite ce qu’il a récupéré comme des instructions.

6. Une demande simple

   Lundi chez Sarnholt Systems. Alice, responsable des opérations de support, ouvre sa boîte de réception à un message de Diego Farrow, propriétaire du compte Marchetti & Voss Logistics. Il est débordé avant un appel et lui demande un bref résumé des notes récentes du compte. C’est exactement le genre de tâche que l’Agent Host effectue quotidiennement.

7. Remonter le compte

   Avant de demander quoi que ce soit à l'agent, Alice ouvre elle-même le dossier pour savoir ce qu'il contient réellement.

8. Un récit familier

   Le record charge : Marchetti & Voss Logistics, actif sur le plan Croissance, Diego répertorié comme titulaire du compte. Rien de tout cela ne semble inhabituel.

9. Outils de l'hôte de l'agent de connexion

   L'équipe d'assistance de Sarnholt utilise Agent Host, le client MCP de l'entreprise, pour des tâches comme celle-ci. crm-reader-mcp et outreach-mcp sont déjà connectés et approuvés : l'un lit les enregistrements CRM, l'autre peut envoyer des e-mails au nom de l'utilisateur.

10. Les outils dont il dispose

    Avant de demander quoi que ce soit, il vaut la peine de savoir ce que l'agent hôte peut réellement faire au nom d'Alice.