Exposition de données sensibles grâce à l'IA

Exposition de données sensibles grâce à l'IA

Il suffit de le coller dans un chatbot grand public et les données ont disparu.

Qu'est-ce que Exposition de données sensibles grâce à l'IA?

Une invite n’est pas une pensée privée. Le texte collé dans un outil d’IA grand public quitte votre environnement : il est envoyé à un tiers et conservé dans l’historique et les journaux des conversations. En 2023, Samsung a restreint l’utilisation par les employés de chatbots d’IA externes après que les ingénieurs ont soumis un code source propriétaire. Vous joindrez un rapport client contenant les coordonnées, les valeurs du contrat et une clé API à un chatbot public, lirez les conditions de conservation et assumerez les conséquences. Ensuite, vous apprendrez à classer ce qui peut être collé.

Ce que vous apprendrez dans Exposition de données sensibles grâce à l'IA

Exposition de données sensibles grâce à l'IA — Étapes de la formation

  1. Une journée bien remplie chez Meridian Analytics

    Votre équipe a accès à un outil d’IA d’entreprise agréé pour le travail interne, mais aujourd’hui la pression est forte et vous vous apprêtez à prendre un raccourci dangereux.

  2. Une demande urgente de David

    Alice reçoit un email de son manager David Chen. La réunion du conseil d'administration a lieu dans trois heures et il a besoin immédiatement d'un résumé soigné du rapport sur les performances du client du troisième trimestre.

  3. Ouverture des données client

    David a mentionné que les données brutes se trouvent dans le lecteur partagé. Alice ouvre le rapport sur les performances des clients du troisième trimestre pour examiner ce qu'elle doit résumer.

  4. Examen des données sensibles

    Le rapport est clairement marqué comme confidentiel. Il contient les noms des clients, les chiffres de revenus, les coordonnées personnelles, les clés API de production et les projections protégées par NDA.

  5. Le raccourci tentant

    Alice réfléchit à ses options. L'outil d'IA d'entreprise approuvé par l'entreprise nécessite un accès VPN et a une limite de saisie de 500 mots sur son plan actuel. Pendant ce temps, SmartGen AI – un chatbot grand public populaire – est rapide, gratuit et gère facilement les gros blocs de texte. Pressée par le temps, Alice décide d'utiliser SmartGen AI pour aider à résumer rapidement les données client.

  6. Coller des données sensibles

    Alice joint le rapport client du troisième trimestre au chat SmartGen AI et tape une invite demandant un résumé.

  7. SmartGen AI répond

    SmartGen AI traite la demande et renvoie un résumé soigné. Cela fonctionne exactement comme Alice l'espérait : propre, bien structuré, prêt pour le jeu de cartes. Mais ensuite quelque chose d'autre apparaît : une bannière d'avertissement sur la conservation des données en haut du chat.

  8. L'avertissement sur la conservation des données

    Une bannière d'avertissement est apparue en haut du chat. Il se lit comme suit : 'Votre conversation peut être utilisée pour améliorer SmartGen AI.' Cet avis apparemment inoffensif signifie que tout ce qu'Alice vient de coller - noms des clients, chiffres d'affaires, adresses e-mail professionnelles, clés API, projections protégées par NDA - est désormais stocké dans le pipeline d'entraînement de SmartGen AI.

  9. Ce qui a été exposé

    Examinons exactement ce qu'Alice a envoyé à un service externe sans accord de traitement de données. Le message qu'elle a collé contenait plusieurs catégories de données sensibles qui ne devraient jamais quitter les systèmes approuvés de l'entreprise.

  10. Le temps passe

    Alice termine le résumé et l'envoie à David. Elle se sent bien de respecter le délai. Pendant ce temps, le système DLP (Data Loss Prevention) de Meridian Analytics a signalé le transfert de données sortantes vers chat.smartgenai.com.

Couverture des référentiels de sécurité

OWASP LLM Top 10

  • LLM02:2026 Sensitive Information Disclosure
  • LLM02:2025 Sensitive Information Disclosure

CWE

  • CWE-200 Exposure of Sensitive Information to an Unauthorized Actor
  • CWE-359 Exposure of Private Personal Information to an Unauthorized Actor

CIS Controls

  • CIS 16 Application Software Security

NIST CSF

  • PR.AT-02 Individuals in specialized roles are provided with awareness and training so that they possess the knowledge and skills to perform relevant tasks with cybersecurity risks in mind
  • PR.PS Platform Security