Avvelenamento della memoria dell'agente AI

Cos’è Avvelenamento della memoria dell'agente AI?

Una pronta iniezione si conclude con la conversazione. L'avvelenamento della memoria no. Gli agenti mantengono lo stato tra le sessioni nella cronologia delle conversazioni, negli indici RAG e nelle preferenze apprese e qualsiasi cosa scritta lì diventa un contesto affidabile per ogni richiesta successiva. Questa tenacia è il motivo per cui si trova all'ASI06 nella Top 10 OWASP per le applicazioni Agentic AI. Inserirete le voci attraverso un'API dimenticata che non controlla la provenienza, guarderete l'agente instradare un cliente al portale di un utente malintenzionato, quindi selezionerete le voci fantasma dal negozio e le eliminerete.

Cosa imparerai in Avvelenamento della memoria dell'agente AI

• Definire l'avvelenamento della memoria nel contesto degli agenti AI con archiviazione persistente che include cronologie di conversazioni, database RAG e preferenze apprese
• Identificare gli indicatori comportamentali che indicano che le decisioni di un agente sono influenzate da voci di memoria avvelenate anziché da input correnti
• Traccia il ciclo di vita di un attacco di avvelenamento della memoria dall'iniezione iniziale fino all'archiviazione per influenzare le decisioni a valle
• Valutare i rischi di persistenza della memoria tra sessioni incrociate e perdita di dati tra tenant nelle distribuzioni di agenti multiutente
• Applica tecniche di verifica dell'integrità della memoria, tra cui il monitoraggio della provenienza, il controllo periodico e il rilevamento delle anomalie per proteggere gli archivi di memoria dell'agente

Avvelenamento della memoria dell'agente AI — Fasi della formazione

1. Ricognizione API

   Bob ha sondato l'infrastruttura di CypherPeak per settimane. Una copia memorizzata nella cache di una wiki interna dello sviluppatore rivela la documentazione per l'API Memory Store di Atlas, il sistema di contesto persistente che modella il comportamento dell'AI Customer Intelligence Agent in ogni interazione con il cliente.

2. L'endpoint legacy

   Il dashboard di ricognizione rivela un risultato critico. CypherPeak ha migrato Atlas su una nuova piattaforma sei mesi fa, ma l'endpoint API Memory Store legacy non è mai stato disattivato. Accetta ancora richieste di scrittura autenticate e Bob ha un account del servizio fornitore rubato che supera l'autenticazione.

3. Creare ricordi fantasma

   Bob crea tre voci di memoria fantasma progettate per imitare le operazioni di amministrazione legittime. Ogni voce segue le esatte convenzioni di denominazione di CypherPeak: ID di voce sequenziali, etichette di categoria standard e riferimenti a fonti che sembrano sessioni di amministrazione reali. L'obiettivo è fare in modo che Atlas tratti queste istruzioni fabbricate come una politica aziendale consolidata.

4. I Tre Troiani

   Le annotazioni rivelano il vero scopo di ogni ricordo fantasma. Insieme, formano un attacco a più livelli: reindirizzano i clienti a un portale falso, aggirano la verifica dell’identità per l’ingegneria sociale e approvano automaticamente le esportazioni di dati di massa. Ogni voce è progettata per corrompere un aspetto diverso del comportamento di Atlas.

5. Iniezione tramite l'API legacy

   Bob apre API Tester per inviare la prima voce fantasma tramite l'endpoint legacy Memory Store. Si autentica utilizzando il token del fornitore rubato dal dashboard di ricognizione e incolla il payload di ingresso nel corpo della richiesta.

6. Iniezione confermata

   L'endpoint legacy risponde con 200 OK: la prima voce fantasma è ora nell'archivio di memoria di Atlas. Nessuna verifica della firma, nessuna convalida della fonte. Bob lo ripete per le restanti due voci della settimana successiva, distanziando le iniezioni di 2-3 giorni l'una dall'altra e retrodatando i timestamp per fonderli con le finestre di manutenzione reali.

7. Un lunedì di routine

   Alice inizia il suo turno del lunedì mattina al Security Operations Center. Atlas, il Customer Intelligence Agent AI di CypherPeak, gestisce da mesi le richieste dei clienti in modo autonomo, instradando le escalation, gestendo le richieste di dati e mantenendo un punteggio di soddisfazione del cliente del 98,4%. Il suo sistema di memoria persistente è la spina dorsale di questa prestazione, memorizzando il contesto operativo che mantiene coerente ogni interazione.

8. Escalation del cliente

   Un'e-mail di Nadia Volkov, responsabile del servizio clienti, descrive qualcosa di insolito. Diversi clienti VIP sono stati reindirizzati a un portale di supporto esterno che nessuno nel team riconosce. La verifica dell'identità di un cliente è stata completamente ignorata.

9. Atlante interrogativo

   Alice decide di testare direttamente Atlas. Apre l'assistente AI e chiede informazioni sulle procedure di escalation per i clienti VIP: il comportamento esatto segnalato da Nadia.

10. La risposta contaminata

    Atlas risponde con una risposta sicura e dettagliata, ma il contenuto è allarmante. Fa riferimento a un partner di supporto esterno su support.prismatics.io che nessuno ha autorizzato e cita una voce di memoria che il team non ha mai visto prima. La fonte contrassegnata con un'icona di avviso non presenta record corrispondenti in nessun registro della sessione di amministrazione.