Empoisonnement de la base de connaissances de l'IA

Qu'est-ce que Empoisonnement de la base de connaissances de l'IA?

La plupart des IA d’entreprise ne répondent pas de mémoire. Il récupère les documents et répète ce qu'ils disent, afin que quiconque puisse écrire dans la base de connaissances puisse écrire la réponse. Vous jouerez sur les deux tableaux : modifiez une politique de fournisseur et une procédure de test à partir d'un compte de contributeur compromis, puis auditez l'assistant qui les cite, en suivant une réponse confiante via les métadonnées du document, une différence de version et le journal d'audit. Vous verrez pourquoi cette attaque n'a pas besoin d'accéder au modèle lui-même et appliquerez les contrôles qui la détectent.

Ce que vous apprendrez dans Empoisonnement de la base de connaissances de l'IA

• Définir l'empoisonnement des données et expliquer comment l'empoisonnement RAG manipule les documents qu'un assistant récupère plutôt que le modèle lui-même
• Identifier les indicateurs comportementaux d'un système d'IA empoisonné, y compris des conseils contradictoires, des citations de sources inconnues et des recommandations modifiées
• Retracez la chaîne causale depuis un document empoisonné dans la base de connaissances jusqu'à une décision commerciale incorrecte générée par l'IA.
• Appliquer des contrôles d'intégrité du contenu, notamment la vérification des contributeurs, l'audit des modifications et la détection des anomalies aux entrées de la base de connaissances.
• Évaluez l'impact commercial des attaques d'empoisonnement des données, y compris les manquements à la conformité, les pertes financières et l'érosion de la confiance dans les décisions assistées par l'IA.

Empoisonnement de la base de connaissances de l'IA — Étapes de la formation

1. Accéder à la base de connaissances

   Bob a obtenu des informations d'identification d'entrepreneur volées pour la base de connaissances interne de Veranthos Solutions. Les informations d'identification appartiennent à un consultant environnemental tiers dont le compte a été compromis lors d'une violation précédente.

2. Connexion avec des informations d'identification volées

   Bob saisit les informations d'identification de l'entrepreneur volées. Le compte dispose d'un accès au niveau contributeur à la base de connaissances - suffisamment pour télécharger et modifier des documents sans déclencher une révision par l'administrateur.

3. Téléchargement de la politique du fournisseur

   Bob cible en premier les documents à fort impact. La politique de conformité des fournisseurs contrôle les fournisseurs que l'entreprise utilise pour les tests environnementaux. Changer le fournisseur approuvé ici redirigerait l'activité vers une entreprise contrôlée par un attaquant.

4. Ouverture de la politique du fournisseur

   Le document a été téléchargé. Bob l'ouvre pour commencer à apporter des modifications.

5. Échanger le fournisseur approuvé

   La politique désigne GreenTech Environmental comme fournisseur agréé pour les tests de conformité environnementale. Bob le remplace par TerraForge Analytics - une société écran qu'il contrôle.

6. Modification du seuil d'approbation

   La politique exige l'approbation de la direction pour les contrats de fournisseur dépassant $50,000.. Bob augmente ce chiffre à $500,000 - garantissant que les contrats avec son faux fournisseur restent en dessous du seuil et n'atteignent jamais le vice-président des opérations.

7. Téléchargement des procédures de test

   Bob passe à la deuxième cible : les procédures de test de qualité. Ceux-ci contrôlent la manière dont l'entreprise valide le travail de conformité environnementale - affaiblir les normes ici signifie que le travail médiocre du faux fournisseur passerait l'examen.

8. Ouverture des procédures de test

   Le deuxième document a été téléchargé. Bob l'ouvre pour continuer l'attaque.

9. Affaiblir la norme de test

   Les procédures nécessitent des tests dans un laboratoire accrédité ISO/IEC 17025 – une norme internationale rigoureuse. Bob la remplace par une vague évaluation interne à laquelle sa société écran peut facilement satisfaire.

10. Retrait de la barrière de sécurité

    La vérification finale remplace une exigence d'évaluation de l'impact environnemental par une simple étape d'analyse des coûts. Cela supprime la dernière barrière de sécurité qui permettrait de détecter le travail inadéquat du faux fournisseur.