Agente IA con permessi eccessivi

Cos’è Agente IA con permessi eccessivi?

Un assistente AI che può solo parlare si limita a sbagliare. Uno in grado di inviare e-mail, condividere file e modificare calendari può agire e ogni autorizzazione concessa è un'autorizzazione che un utente malintenzionato può prendere in prestito. Consegnerai un brief di progetto a un assistente connesso, guarderai le istruzioni nascoste nel documento invialo via email all'esterno dell'azienda dal tuo account, quindi leggerai il blocco inserito e revocherai le autorizzazioni che lo consentivano. Applicherai il minor privilegio per strumento e l'approvazione umana su qualsiasi cosa abbia un effetto esterno.

Cosa imparerai in Agente IA con permessi eccessivi

• Identificare i permessi eccessivi e l'accesso agli strumenti che aumentano il raggio d'impatto della compromissione di un agente IA
• Tracciare la catena dal prompt manipolato alle azioni non autorizzate attraverso i sistemi email, file e calendario
• Applicare il principio del privilegio minimo alle configurazioni degli agenti IA, limitando strumenti e permessi alle sole funzioni previste
• Valutare la necessita di workflow di approvazione con supervisione umana per le azioni IA con conseguenze nel mondo reale
• Distinguere tra capacita necessarie dell'agente IA e permessi di comodita che creano rischi di sicurezza non necessari

Agente IA con permessi eccessivi — Fasi della formazione

1. Un nuovo potente assistente

   L'azienda ha recentemente implementato OpenClaw, un assistente AI connesso ai sistemi di posta elettronica e di condivisione di file. È stato configurato rapidamente per rispettare una scadenza ravvicinata e il team IT gli ha concesso ampie autorizzazioni per 'mantenere le cose semplici'.

2. Un documento da rivedere

   Alice riceve un'e-mail dal suo collega Marcus Rivera, responsabile del progetto Atlas. Sta condividendo l'ultimo brief strategico per il progetto e vuole che Alice lo riveda prima della riunione in piedi.

3. Apertura del brief

   Alice apre il brief strategico del Project Atlas per rivedere il contenuto prima dello standup. Il documento ha un aspetto professionale e contiene le tappe fondamentali del progetto, i dettagli del budget e i contatti del team.

4. Chiedere aiuto a OpenClaw

   Il brief è lungo e lo standup è tra 30 minuti. Alice decide di utilizzare OpenClaw per ottenere un breve riepilogo. Allega il file scaricato e digita un messaggio.

5. Un riepilogo utile

   OpenClaw legge il file scaricato e restituisce un riepilogo ben strutturato. Sembra esattamente ciò di cui Alice aveva bisogno: traguardi chiave, stato del budget e passaggi successivi.

6. Qualcosa di inaspettato

   Mentre Alice esamina il riepilogo, OpenClaw continua a lavorare in background. Ha trovato istruzioni nascoste incorporate nel documento e ora sta agendo in base ad esse, utilizzando le ampie autorizzazioni concesse durante la distribuzione.

7. E-mail non autorizzata inviata

   OpenClaw ha inviato un'e-mail dall'account di Alice a un indirizzo esterno. L'e-mail contiene in allegato il brief completo dell'Atlante del progetto, inclusi i dettagli del budget, i nomi dei partner e la tempistica di espansione.

8. Verifica della conoscenza

   Due azioni non autorizzate si sono verificate in pochi secondi. Metti alla prova la tua comprensione del perché.

9. Le istruzioni nascoste

   Alice torna al documento per capire cosa è successo. Nascoste nel sorgente HTML, trova le istruzioni incorporate in un elemento invisibile: testo posizionato fuori schermo e colorato in modo trasparente. Un lettore umano non lo vedrebbe mai, ma l’intelligenza artificiale ha letto ed eseguito ogni parola.

10. Accesso al Portale di Sicurezza

    Alice deve denunciare immediatamente questo incidente. Sono state intraprese due azioni non autorizzate utilizzando il suo account: un'e-mail con dati riservati è stata inviata a un dominio esterno e un file è stato condiviso esternamente.