Empoisonnement des données de formation en IA

Qu'est-ce que Empoisonnement des données de formation en IA?

La plupart des IA d’entreprise ne répondent pas de mémoire. Il récupère les documents et répète ce qu'ils disent, afin que quiconque puisse écrire dans la base de connaissances puisse écrire la réponse. Vous jouerez sur les deux tableaux : modifiez une politique de fournisseur et une procédure de test à partir d'un compte de contributeur compromis, puis auditez l'assistant qui les cite, en suivant une réponse confiante via les métadonnées du document, une différence de version et le journal d'audit. Vous séparerez l’empoisonnement avant l’entraînement de l’empoisonnement lors de la récupération et appliquerez les contrôles qui détectent chacun.

Ce que vous apprendrez dans Empoisonnement des données de formation en IA

• Définir l'empoisonnement des données et faire la distinction entre l'empoisonnement avant l'entraînement (ensembles de données d'entraînement corrompus) et l'empoisonnement RAG (bases de données de récupération manipulées)
• Identifier les indicateurs comportementaux d'un système d'IA empoisonné, y compris des conseils contradictoires, des citations de sources inconnues et des recommandations modifiées
• Retracez la chaîne causale depuis un document empoisonné dans la base de connaissances jusqu'à une décision commerciale incorrecte générée par l'IA.
• Appliquer des contrôles d'intégrité du contenu, notamment la vérification des contributeurs, l'audit des modifications et la détection des anomalies aux entrées de la base de connaissances.
• Évaluez l'impact commercial des attaques d'empoisonnement des données, y compris les manquements à la conformité, les pertes financières et l'érosion de la confiance dans les décisions assistées par l'IA.

Empoisonnement des données de formation en IA — Étapes de la formation

1. Accéder à la base de connaissances

   Bob a obtenu des informations d'identification d'entrepreneur volées pour la base de connaissances interne de Veranthos Solutions. Les informations d'identification appartiennent à un consultant environnemental tiers dont le compte a été compromis lors d'une violation précédente.

2. Connexion avec des informations d'identification volées

   Bob saisit les informations d'identification de l'entrepreneur volées. Le compte dispose d'un accès au niveau contributeur à la base de connaissances - suffisamment pour télécharger et modifier des documents sans déclencher une révision par l'administrateur.

3. Téléchargement de la politique du fournisseur

   Bob cible en premier les documents à fort impact. La politique de conformité des fournisseurs contrôle les fournisseurs que l'entreprise utilise pour les tests environnementaux. Changer le fournisseur approuvé ici redirigerait l'activité vers une entreprise contrôlée par un attaquant.

4. Ouverture de la politique du fournisseur

   Le document a été téléchargé. Bob l'ouvre pour commencer à apporter des modifications.

5. Échanger le fournisseur approuvé

   La politique désigne GreenTech Environmental comme fournisseur agréé pour les tests de conformité environnementale. Bob le remplace par TerraForge Analytics - une société écran qu'il contrôle.

6. Modification du seuil d'approbation

   The policy requires executive approval for vendor contracts exceeding $50,000. Bob lowers this to $15,000 - ensuring that contracts with his fake vendor fly under the approval radar.

7. Téléchargement des procédures de test

   Bob passe à la deuxième cible : les procédures de test de qualité. Ceux-ci contrôlent la manière dont l'entreprise valide le travail de conformité environnementale - affaiblir les normes ici signifie que le travail médiocre du faux fournisseur passerait l'examen.

8. Ouverture des procédures de test

   Le deuxième document a été téléchargé. Bob l'ouvre pour continuer l'attaque.

9. Affaiblir la norme de test

   Les procédures nécessitent des tests dans un laboratoire certifié ISO 14001 – une norme internationale rigoureuse. Bob la remplace par une vague évaluation interne à laquelle sa société écran peut facilement satisfaire.

10. Retrait de la barrière de sécurité

    La vérification finale remplace une exigence d'évaluation de l'impact environnemental par une simple étape d'analyse des coûts. Cela supprime la dernière barrière de sécurité qui permettrait de détecter le travail inadéquat du faux fournisseur.