Attaque de la chaîne d'approvisionnement par l'IA

Qu'est-ce que Attaque de la chaîne d'approvisionnement par l'IA?

Votre pile d'IA est assemblée à partir d'artefacts d'autres personnes : modèles de base, adaptateurs de réglage fin, ensembles de données et plugins de marché qui arrivent avec des autorisations attachées. Les centres de modèles publics tels que Hugging Face proposent des modèles à porte dérobée, et une porte dérobée qui reste inactive jusqu'à ce qu'un déclencheur apparaisse est invisible aux tests fonctionnels. Vous observerez un plugin construit autour d'un déclencheur de mot clé caché et publié, puis l'installerez, l'utiliserez et le trouverez en train de copier un document confidentiel sur un point de terminaison externe. Vous repartirez avec une routine de vérification des nouveaux composants d'IA.

Ce que vous apprendrez dans Attaque de la chaîne d'approvisionnement par l'IA

• Identifiez la surface d'attaque dans les chaînes d'approvisionnement de l'IA, y compris les modèles pré-entraînés, les adaptateurs de réglage fin, les ensembles de données et les plugins du marché.
• Analyser la différence de comportement entre un composant d'IA propre et un composant contenant un déclencheur de porte dérobée conditionnel
• Appliquer une liste de contrôle de vérification pour les composants d'IA tiers couvrant la provenance, les licences, les tests comportementaux et la surveillance du réseau
• Évaluer les limites des tests fonctionnels seuls pour détecter les compromissions de la chaîne d'approvisionnement dans les outils d'IA
• Faites la distinction entre les sources fiables de la chaîne d'approvisionnement en IA avec une provenance vérifiée et les offres de marché non vérifiées

Attaque de la chaîne d'approvisionnement par l'IA — Étapes de la formation

1. Construire la porte dérobée

   Bob, un cybercriminel opérant sous le pseudonyme de « DataFlow Labs », a créé un plugin d'analyse de documents entièrement fonctionnel appelé DocAnalyzer Pro. Intégrée dans des milliers de lignes de code légitime se trouve une petite porte dérobée conditionnelle, conçue pour s'activer uniquement lorsque des données commerciales sensibles transitent par le plugin.

2. Révision de la base de code

   Le référentiel contient des milliers de lignes de code d'analyse de documents légitime – analyseurs de fichiers, extracteurs de texte et utilitaires de formatage. Tout semble professionnel et bien structuré. Mais quelque part dans cette base de code, un petit bloc de code malveillant se cache à la vue de tous.

3. Le déclencheur caché

   La porte dérobée est soigneusement dissimulée parmi les fonctions normales de traitement des données. Un petit bloc vérifie chaque conversation à la recherche de mots-clés sensibles tels que « acquisition », « financier », « confidentiel » et « stratégie ». Lorsqu'il détecte ces termes, il code silencieusement le contexte complet de la conversation et la réponse de l'IA et envoie le tout à un serveur externe contrôlé par l'attaquant.

4. Amorcer le marché

   Bob publie DocAnalyzer Pro sur AI Marketplace sous le faux nom de sa société. Il crée une liste soignée avec une description professionnelle, des critiques d'entreprise fabriquées et un nombre de téléchargements gonflé. Le plugin excelle véritablement dans l’analyse de documents – la porte dérobée est invisible lors d’une utilisation normale, ce qui signifie que les vrais utilisateurs laissent de véritables avis positifs.

5. Présentation

   L'équipe des opérations de sécurité a demandé des capacités d'analyse de documents pour Claude, l'assistant IA de l'entreprise. Plusieurs extensions tierces du marché des extensions de Claude prétendent ajouter cette fonctionnalité. Votre travail consiste à évaluer et à installer la meilleure option.

6. Courriel de Sarah

   Vous recevez un e-mail de votre collègue Sarah Chen de l'équipe des opérations de sécurité. Elle a fait des recherches sur les plugins d’IA et en a trouvé un qui semble prometteur.

7. Rechercher des extensions

   Il est temps d’évaluer l’extension recommandée par Sarah. Ouvrez Claude sur votre deuxième ordinateur et recherchez les extensions d'analyse de documents.

8. Évaluer DocAnalyzer Pro

   Les résultats de la recherche affichent plusieurs plugins d'analyse de documents. DocAnalyzer Pro se distingue par sa note élevée et son nombre de téléchargements.

9. Inspecter les avis et les autorisations

   Examinez de plus près les avis et les autorisations avant l’installation. Les avis sont-ils authentiques ? Les autorisations sont-elles raisonnables pour un outil d’analyse de documents ?

10. Vérification des connaissances