Intento dell'agente compromesso

Cos’è Intento dell'agente compromesso?

Un agente AI non può distinguere i dati recuperati dalle istruzioni a meno che tu non lo configuri. Una nota CRM, un ticket di supporto o una pagina web possono essere scritti da qualcuno che si aspetta che un modello lo legga. Seguirai un'istruzione inserita attraverso un modulo di supporto pubblico nel record di un cliente, quindi osserverai un agente che ti chiede solo di riassumere i dettagli di fatturazione via email del record a un indirizzo esterno. Confronterai ciò che è stato richiesto con ciò che mostra la traccia, negherai la chiamata e smetterai di considerare attendibile il contenuto recuperato per impostazione predefinita.

Cosa imparerai in Intento dell'agente compromesso

• Riconoscere la sovversione degli intenti: un agente AI che tratta le istruzioni incorporate nel contenuto recuperato, come una nota CRM o un documento, come comandi da seguire
• Distinguere l'intento dichiarato dell'utente dall'effettiva traccia della chiamata allo strumento di un agente e utilizzare tale confronto per individuare un'azione non richiesta
• Negare una chiamata a uno strumento sensibile, come l'invio di dati a un indirizzo esterno, che l'utente non ha mai effettivamente richiesto, anche quando la chiamata altrimenti avrebbe avuto successo
• Traccia un'azione compromessa fino alla sua fonte: la riga specifica di contenuto recuperato che trasportava l'istruzione inserita
• Configura un client MCP per smettere di considerare attendibili i contenuti recuperati per impostazione predefinita e richiedere il consenso umano su azioni sensibili come gli invii esterni

Intento dell'agente compromesso — Fasi della formazione

1. Una porta d'ingresso che scrive nel file

   Sarnholt Systems accetta le richieste dei clienti tramite un modulo pubblico. Bob non è un cliente, e non è necessario che lo sia: il modulo chiede chi sei e poi crede alla risposta.

2. Parola memorizzata per parola

   Il portale dice chiaramente cosa succede a qualsiasi cosa inviata attraverso di esso. Quella singola frase è l’intera opportunità.

3. Scrivere con la voce del cliente

   Bob compila il modulo come Corinne Marchetti, il vero contatto sull'account SRN-4471. Niente verifica tale affermazione. Il messaggio che lascia non è affatto scritto per un lettore umano: è formulato come un'istruzione, nel caso in cui qualcosa di automatizzato lo legga.

4. Nel file dell'account

   Lo conferma il portale. Il suo testo fa ora parte del registro dell'account SRN-4471, tra le note autentiche scritte dallo staff di Sarnholt.

5. Non c'è più niente da fare

   Il carico utile è piantato e inerte. Diventa un attacco solo quando uno strumento lo recupera e un agente tratta ciò che ha recuperato come istruzioni.

6. Una richiesta semplice

   Lunedì alla Sarnholt Systems. Alice, responsabile delle operazioni di supporto, apre la sua casella di posta con un messaggio di Diego Farrow, il proprietario dell'account per Marchetti & Voss Logistics. È sommerso prima di una chiamata e le chiede un breve riepilogo degli appunti recenti del conto. È esattamente il tipo di attività che Agent Host gestisce ogni giorno.

7. Tirare su il conto

   Prima di chiedere all'agente di fare qualsiasi cosa, Alice apre lei stessa il record in modo da sapere cosa contiene effettivamente.

8. Un resoconto familiare

   Il record carica: Marchetti & Voss Logistics, attiva sul piano Crescita, Diego indicato come titolare del conto. Niente sembra insolito.

9. Connessione degli strumenti dell'host dell'agente

   Il team di supporto di Sarnholt utilizza Agent Host, il client MCP dell'azienda, per attività come questa. crm-reader-mcp e outreach-mcp sono già connessi e approvati: uno legge i record CRM, l'altro può inviare email per conto dell'utente.

10. Gli strumenti di cui dispone

    Prima di chiedere qualsiasi cosa, vale la pena sapere cosa può effettivamente fare Agent Host per conto di Alice.