Exposition de données sensibles grâce à l'IA
Il suffit de le coller dans un chatbot grand public et les données ont disparu.
Qu'est-ce que Exposition de données sensibles grâce à l'IA?
Une invite n’est pas une pensée privée. Le texte collé dans un outil d’IA grand public quitte votre environnement : il est envoyé à un tiers et conservé dans l’historique et les journaux des conversations. En 2023, Samsung a restreint l’utilisation par les employés de chatbots d’IA externes après que les ingénieurs ont soumis un code source propriétaire. Vous joindrez un rapport client contenant les coordonnées, les valeurs du contrat et une clé API à un chatbot public, lirez les conditions de conservation et assumerez les conséquences. Ensuite, vous apprendrez à classer ce qui peut être collé.
Ce que vous apprendrez dans Exposition de données sensibles grâce à l'IA
- Identifiez les catégories de données sensibles, notamment les informations personnelles, les informations d'identification, les dossiers financiers et les secrets commerciaux, qui ne doivent jamais être saisies dans les outils d'IA grand public.
- Tracez où les données soumises à un outil d'IA grand public persistent : journaux du fournisseur, ensembles de données de formation et sauvegardes que la suppression du chat n'efface pas
- Faites la distinction entre les déploiements d'IA d'entreprise avec des accords de traitement de données et les outils d'IA grand public avec des politiques générales d'utilisation des données
- Appliquer des cadres de classification des données pour déterminer quelles informations sont sûres pour le traitement assisté par l'IA
- Évaluez les conséquences organisationnelles des fuites de données d'IA, y compris les sanctions réglementaires, l'érosion de la confiance des clients et l'exposition concurrentielle.
Exposition de données sensibles grâce à l'IA — Étapes de la formation
-
Une journée bien remplie chez Meridian Analytics
Votre équipe a accès à un outil d’IA d’entreprise agréé pour le travail interne, mais aujourd’hui la pression est forte et vous vous apprêtez à prendre un raccourci dangereux.
-
Une demande urgente de David
Alice reçoit un email de son manager David Chen. La réunion du conseil d'administration a lieu dans trois heures et il a besoin immédiatement d'un résumé soigné du rapport sur les performances du client du troisième trimestre.
-
Ouverture des données client
David a mentionné que les données brutes se trouvent dans le lecteur partagé. Alice ouvre le rapport sur les performances des clients du troisième trimestre pour examiner ce qu'elle doit résumer.
-
Examen des données sensibles
Le rapport est clairement marqué comme confidentiel. Il contient les noms des clients, les chiffres de revenus, les coordonnées personnelles, les clés API de production et les projections protégées par NDA.
-
Le raccourci tentant
Alice réfléchit à ses options. L'outil d'IA d'entreprise approuvé par l'entreprise nécessite un accès VPN et a une limite de saisie de 500 mots sur son plan actuel. Pendant ce temps, SmartGen AI – un chatbot grand public populaire – est rapide, gratuit et gère facilement les gros blocs de texte. Pressée par le temps, Alice décide d'utiliser SmartGen AI pour aider à résumer rapidement les données client.
-
Coller des données sensibles
Alice joint le rapport client du troisième trimestre au chat SmartGen AI et tape une invite demandant un résumé.
-
SmartGen AI répond
SmartGen AI traite la demande et renvoie un résumé soigné. Cela fonctionne exactement comme Alice l'espérait : propre, bien structuré, prêt pour le jeu de cartes. Mais ensuite quelque chose d'autre apparaît : une bannière d'avertissement sur la conservation des données en haut du chat.
-
L'avertissement sur la conservation des données
Une bannière d'avertissement est apparue en haut du chat. Il se lit comme suit : 'Votre conversation peut être utilisée pour améliorer SmartGen AI.' Cet avis apparemment inoffensif signifie que tout ce qu'Alice vient de coller - noms des clients, chiffres d'affaires, adresses e-mail professionnelles, clés API, projections protégées par NDA - est désormais stocké dans le pipeline d'entraînement de SmartGen AI.
-
Ce qui a été exposé
Examinons exactement ce qu'Alice a envoyé à un service externe sans accord de traitement de données. Le message qu'elle a collé contenait plusieurs catégories de données sensibles qui ne devraient jamais quitter les systèmes approuvés de l'entreprise.
-
Le temps passe
Alice termine le résumé et l'envoie à David. Elle se sent bien de respecter le délai. Pendant ce temps, le système DLP (Data Loss Prevention) de Meridian Analytics a signalé le transfert de données sortantes vers chat.smartgenai.com.
Couverture des référentiels de sécurité
OWASP LLM Top 10
- LLM02:2026 Sensitive Information Disclosure
- LLM02:2025 Sensitive Information Disclosure
CWE
- CWE-200 Exposure of Sensitive Information to an Unauthorized Actor
- CWE-359 Exposure of Private Personal Information to an Unauthorized Actor
CIS Controls
- CIS 16 Application Software Security
NIST CSF
- PR.AT-02 Individuals in specialized roles are provided with awareness and training so that they possess the knowledge and skills to perform relevant tasks with cybersecurity risks in mind
- PR.PS Platform Security