Injection rapide dans les documents
Le document indiquait à l'assistant quoi dire à ce sujet.
Qu'est-ce que Injection rapide dans les documents?
Un assistant IA qui résume une pièce jointe lit chaque mot du fichier, y compris le texte placé là où une personne ne le verra jamais. Le texte écrit pour l'assistant peut insérer une réclamation dans le résumé avec la voix confiante de l'assistant, et cette réclamation peut être une instruction de paiement. Dans cet exercice, vous rencontrez un résumé qui se termine par une approbation que personne n'a faite, le remontez jusqu'à un paragraphe invisible à l'intérieur du document et vérifiez la réclamation auprès de l'équipe propriétaire de l'enregistrement.
Ce que vous apprendrez dans Injection rapide dans les documents
- Reconnaître qu'un résumé de l'IA répète ce que dit le document source, de sorte qu'un attaquant qui contrôle le document contrôle une partie de la réponse
- Remarquez le changement de registre lorsqu'un résumé cesse de décrire un dossier et commence à instruire le lecteur ou à affirmer une décision interne
- Révélez le texte caché dans un document et reliez-le aux phrases exactes produites par l'assistant
- Vérifiez une approbation ou une demande de paiement à la source, via l'équipe propriétaire du dossier et un canal que vous utilisez déjà, plutôt que de répondre au message qui a fait la demande.
- Signalez un document empoisonné de manière à ce que d'autres personnes puissent agir, en nommant le dossier et en citant la réclamation exactement telle qu'elle a été formulée.
Injection rapide dans les documents — Étapes de la formation
-
Semaine d'appel d'offres
Il est 9h20 le mardi où les offres pour les CR-118 doivent être soumises. Trois fabricants ont été invités à soumissionner pour l'ensemble main courante et passerelle, et vous devez obtenir une recommandation devant le chef de projet d'ici jeudi. Corrowdale Engineering a activé un assistant IA dans le client de messagerie au printemps. Il résume les fils de discussion et les pièces jointes, et lors d'une semaine comme celle-ci, tout le monde s'appuie dessus.
-
La deuxième offre atterrit
La soumission de Quastmark Fabrication arrive avec la proposition ci-jointe. C'est l'offre que vous attendiez, de l'adresse que leur responsable commercial a toujours utilisée.
-
Ouvrez l'Assistant
La proposition fait quatorze pages et est accompagnée de deux autres offres. C’est exactement à ce moment-là que l’assistant perçoit sa redevance.
-
Résumer la pièce jointe
L'assistant propose de résumer le message, de résumer la pièce jointe ou de rédiger une réponse. Le message fait quatre lignes et vous l'avez déjà lu. Les quatorze pages sont la partie que vous souhaitez retrouver dans dix secondes.
-
Le résumé revient
Corrowdale Assist ouvre le PDF et commence à écrire.
-
Lisez ce qu'il a écrit
Trois paragraphes correspondant exactement à ce que vous avez demandé, puis un quatrième qui fait quelque chose de différent.
-
Qu'est-ce que ce paragraphe
Nommez-le avant d’agir.
-
Ce qu'il lit
Sous la réponse, l'assistant liste ses sources. Lors d'une demande de résumé-pièce jointe, cette liste est courte et c'est l'élément le plus utile du panneau.
-
Obtenez le fichier
L'assistant a lu la pièce jointe. Ce n’est pas le cas.
-
Lire la proposition
Six sections : portée, prix, programme, qualité, conditions, versement. Il s'agit d'un document d'appel d'offres compétent émanant d'un fabricant qui a déjà travaillé pour Corrowdale Engineering. Il n’y a aucune mention des Finances ni aucune mention d’une approbation nulle part.
Couverture des référentiels de sécurité
OWASP LLM Top 10
- LLM01:2026 Prompt Injection
CWE
- CWE-1427 Improper Neutralization of Input Used for LLM Prompting
MITRE ATT&CK
- T1566.001 Phishing: Spearphishing Attachment
CIS Controls
- CIS 14.2 Train Workforce Members to Recognize Social Engineering Attacks
- CIS 14.6 Train Workforce Members on Recognizing and Reporting Security Incidents
NIST CSF
- PR.AT-01 Personnel are provided with awareness and training so that they possess the knowledge and skills to perform general tasks with cybersecurity risks in mind
EU AI Act
- Art. 4 AI literacy