Avvelenamento della base di conoscenza dell'intelligenza artificiale

Cos’è Avvelenamento della base di conoscenza dell'intelligenza artificiale?

La maggior parte dell’intelligenza artificiale aziendale non risponde dalla memoria. Recupera i documenti e ripete quello che dicono, così chiunque possa scrivere alla knowledge base può scrivere la risposta. Giocherai su entrambi i fronti: modificherai una politica del fornitore e una procedura di test da un account collaboratore compromesso, quindi controllerai l'assistente che li cita, seguendo una risposta sicura attraverso i metadati del documento, una differenza di versione e il registro di controllo. Vedrai perché questo attacco non necessita dell'accesso al modello stesso e applicherai i controlli che lo catturano.

Cosa imparerai in Avvelenamento della base di conoscenza dell'intelligenza artificiale

• Definire l'avvelenamento dei dati e spiegare come l'avvelenamento da RAG manipola i documenti recuperati da un assistente anziché il modello stesso
• Identificare gli indicatori comportamentali di un sistema IA avvelenato, incluse indicazioni contraddittorie, citazioni da fonti sconosciute e raccomandazioni alterate
• Tracciare la catena causale da un documento avvelenato nella knowledge base a una decisione aziendale errata generata dall'IA
• Applicare controlli di integrita dei contenuti tra cui verifica dei collaboratori, audit delle modifiche e rilevamento delle anomalie agli input della knowledge base
• Valutare l'impatto aziendale degli attacchi di avvelenamento dei dati, inclusi fallimenti nella conformita, perdite finanziarie e erosione della fiducia nelle decisioni assistite dall'IA

Avvelenamento della base di conoscenza dell'intelligenza artificiale — Fasi della formazione

1. Accesso alla base di conoscenza

   Bob ha ottenuto le credenziali di un appaltatore rubate per la knowledge base interna di Veranthos Solutions. Le credenziali appartengono a un consulente ambientale di terze parti il cui account è stato compromesso in una precedente violazione.

2. Accesso con credenziali rubate

   Bob inserisce le credenziali dell'appaltatore rubate. L'account ha accesso a livello di collaboratore alla knowledge base, sufficiente per caricare e modificare documenti senza attivare una revisione da parte dell'amministratore.

3. Download della politica del venditore

   Bob prende di mira innanzitutto i documenti ad alto impatto. La politica di conformità dei fornitori controlla quali fornitori utilizza l'azienda per i test ambientali: la modifica del fornitore approvato in questo caso reindirizzerebbe l'attività verso un'azienda controllata dagli aggressori.

4. Apertura della politica del fornitore

   Il documento è stato scaricato. Bob lo apre per iniziare ad apportare modifiche.

5. Scambio del fornitore approvato

   La politica nomina GreenTech Environmental come fornitore approvato per i test di conformità ambientale. Bob lo sostituisce con TerraForge Analytics, una società di comodo che controlla.

6. Modifica della soglia di approvazione

   La politica richiede l'approvazione esecutiva per i contratti con i fornitori che superano $50,000.. Bob aumenta questo valore a $500,000, garantendo che i contratti con il suo falso fornitore rimangano al di sotto della soglia e non raggiungano mai il vicepresidente delle operazioni.

7. Download delle procedure di test

   Bob passa al secondo obiettivo: le procedure di test di qualità. Questi controllano il modo in cui l'azienda convalida il lavoro di conformità ambientale: indebolire gli standard in questo caso significa che il lavoro scadente del falso fornitore passerebbe la revisione.

8. Apertura delle procedure di test

   Il secondo documento è stato scaricato. Bob lo apre per continuare l'attacco.

9. Indebolimento dello standard di test

   Le procedure richiedono test presso un laboratorio accreditato ISO/IEC 17025, un rigoroso standard internazionale. Bob lo sostituisce con una vaga valutazione interna che la sua società di comodo può facilmente soddisfare.

10. Rimozione del cancello di sicurezza

    La modifica finale sostituisce un requisito di valutazione dell'impatto ambientale con una semplice fase di analisi dei costi. Ciò rimuove l'ultimo cancello di sicurezza che bloccherebbe il lavoro inadeguato del falso venditore.