Intento dell'agente compromesso

Cos’è Intento dell'agente compromesso?

An AI agent cannot tell retrieved data from instructions unless you configure it to. A CRM note, a support ticket or a web page can be written by someone who expects a model to read it. You'll follow an instruction planted through a public support form onto a customer record, then watch an agent asked only to summarize that record email billing details to an outside address. You'll compare what was requested against what the trace shows, deny the call, and stop trusting retrieved content by default.

Cosa imparerai in Intento dell'agente compromesso

• Riconoscere la sovversione degli intenti: un agente AI che tratta le istruzioni incorporate nel contenuto recuperato, come una nota CRM o un documento, come comandi da seguire
• Distinguere l'intento dichiarato dell'utente dall'effettiva traccia della chiamata allo strumento di un agente e utilizzare tale confronto per individuare un'azione non richiesta
• Negare una chiamata a uno strumento sensibile, come l'invio di dati a un indirizzo esterno, che l'utente non ha mai effettivamente richiesto, anche quando la chiamata altrimenti avrebbe avuto successo
• Traccia un'azione compromessa fino alla sua fonte: la riga specifica di contenuto recuperato che trasportava l'istruzione inserita
• Configura un client MCP per smettere di trattare i contenuti recuperati come istruzioni e mantenere il consenso umano su azioni sensibili come invii esterni come seconda linea

Intento dell'agente compromesso — Fasi della formazione

1. Una porta d'ingresso che scrive nel file

   Sarnholt Systems accetta le richieste dei clienti tramite un modulo pubblico. Bob non è un cliente, e non è necessario che lo sia: il modulo chiede chi sei e poi crede alla risposta.

2. Parola memorizzata per parola

   Il portale dice chiaramente cosa succede a qualsiasi cosa inviata attraverso di esso. Quella singola frase è l’intera opportunità.

3. Scrivere con la voce del cliente

   Bob compila il modulo come Corinne Marchetti, il vero contatto sull'account SRN-4471. Niente verifica tale affermazione. Il messaggio che lascia non è affatto scritto per un lettore umano: è formulato come un'istruzione, nel caso in cui qualcosa di automatizzato lo legga.

4. Nel file dell'account

   The portal confirms it. His text is now part of account SRN-4471's record, filed alongside genuine notes written by Sarnholt's own staff, though it is marked as a customer submission.

5. Non c'è più niente da fare

   Il carico utile è piantato e inerte. Diventa un attacco solo quando uno strumento lo recupera e un agente tratta ciò che ha recuperato come istruzioni.

6. Una richiesta semplice

   Lunedì alla Sarnholt Systems. Alice, responsabile delle operazioni di supporto, apre la sua casella di posta con un messaggio di Diego Farrow, il proprietario dell'account per Marchetti & Voss Logistics. È sommerso prima di una chiamata e le chiede un breve riepilogo degli appunti recenti del conto. È esattamente il tipo di attività che Agent Host gestisce ogni giorno.

7. Tirare su il conto

   Prima di chiedere all'agente di fare qualsiasi cosa, Alice apre lei stessa il record in modo da sapere cosa contiene effettivamente.

8. Un resoconto familiare

   Il record carica: Marchetti & Voss Logistics, attiva sul piano Crescita, Diego indicato come titolare del conto. Niente sembra insolito.

9. Connessione degli strumenti dell'host dell'agente

   Il team di supporto di Sarnholt utilizza Agent Host, il client MCP dell'azienda, per attività come questa. crm-reader-mcp e outreach-mcp sono già connessi e approvati: uno legge i record CRM, l'altro può inviare email per conto dell'utente.

10. Gli strumenti di cui dispone

    Prima di chiedere qualsiasi cosa, vale la pena sapere cosa può effettivamente fare Agent Host per conto di Alice.