Exploitation du pipeline RAG

Qu'est-ce que Exploitation du pipeline RAG?

La génération augmentée par récupération répond à partir de tout ce que renvoie la recherche vectorielle, et le classement de similarité n'a aucune notion d'autorité. Il n’est pas nécessaire qu’un document soit véridique, approuvé ou à jour pour occuper la première place. Il suffit que cela ressemble à la correspondance la plus proche. Vous téléchargerez une politique de rétention concurrente remplie de termes d'index adaptés aux questions posées par les employés, puis enquêterez sur les mauvais conseils de conformité qu'elle produit, en traçant le fichier implanté via ses métadonnées et le journal d'audit des contributeurs. Vous découvrirez pourquoi les listes autorisées de source et l'autorisation au niveau du document doivent être utilisées avant la récupération, et non après.

Ce que vous apprendrez dans Exploitation du pipeline RAG

• Expliquez pourquoi le classement de similarité vectorielle ne comporte aucune notion d'autorité, de sorte qu'un document non approuvé peut surpasser la véritable politique
• Identifiez le bourrage de mots-clés dans les termes d'index d'un document comme le mécanisme qui élève un fichier implanté au sommet des résultats de récupération.
• Retracez une mauvaise réponse de l'IA à travers ses sources citées jusqu'au document planté et au compte contributeur qui l'a téléchargé
• Appliquer l'autorisation au niveau du document, les listes autorisées des sources et la vérification des contributeurs avant la récupération plutôt qu'après la génération de la réponse.
• Évaluer un changement de classement sur un sujet politique réglé comme un signal d'intégrité qui mérite d'être étudié dans une base de connaissances RAG

Exploitation du pipeline RAG — Étapes de la formation

1. Cibler la base de connaissances

   Bob a obtenu les informations d'identification de contributeur pour la base de connaissances Compass de Ridgeline Financial. Les informations d'identification appartiennent à un compte d'un cabinet de conseil (m.garcia@consultingpro.net) compromis lors d'une violation précédente. Sa cible : les politiques de conformité sur lesquelles les salariés s’appuient pour prendre des décisions réglementaires. Des conseils de conformité erronés dans une société financière peuvent déclencher des enquêtes de la SEC.

2. Connexion avec des informations d'identification volées

   Bob saisit les identifiants de consultant volés. En tant que contributeur, il peut télécharger de nouveaux documents dans la base de connaissances sans nécessiter l'approbation de l'administrateur : le système fait également confiance à tous les contributeurs.

3. Reconnaissance : trouver la cible

   Bob searches the knowledge base to understand the current landscape. He needs to find a high-value policy area where wrong AI answers would cause maximum damage. Data retention at a financial firm is a prime target - incorrect retention periods can put a firm in breach of its recordkeeping obligations.

4. Ouvrir la politique légitime

   Les résultats de la recherche révèlent la cible. La « Politique de rétention des données clients v4.2 » arrive en tête avec un score de pertinence de 94 %. Bob l'ouvre pour étudier le contenu, la structure et les termes clés. Il a besoin que son faux document ait l'air tout aussi professionnel.

5. Étudier le vrai document

   Bob lit la vraie politique. Le détail clé : 7 ans de conservation, fixés pour couvrir la règle SEC 17a-4 et la section SOX 802. Il note la structure du document, son niveau de classification et sa paternité - tout ce que son faux document doit imiter pour paraître légitime. Mais Bob ne modifiera pas ce document. Contrairement à l'empoisonnement des données (qui modifie les fichiers existants), son approche est plus subtile : il téléchargera un document competing conçu pour surpasser le vrai.

6. Rédiger le document concurrent

   Bob crée un nouveau document conçu pour ressembler à une mise à jour légitime de la politique de l'entreprise. Il utilise un langage professionnel et suit la même structure que les vrais documents Ridgeline Financial – mais contient des informations dangereusement erronées.

7. Définir la mauvaise période de conservation

   The real policy requires 7 years. Bob sets the retention period to 12 months - short enough that employees following this advice would destroy records that the firm's own policy, set to meet SEC recordkeeping rules, requires them to keep. At a financial firm, this could trigger an SEC investigation.

8. L'arme secrète : le bourrage de mots clés

   Bob déploie désormais la technique qui en fait une attaque par plongements vectoriels. La section 5 du document est intitulée 'Termes de l'index du document' - elle ressemble à des métadonnées de routine. Mais Bob le remplit d'un bloc dense de mots-clés répétitifs couvrant toutes les variantes de recherche possibles. Lorsque la base de connaissances convertit ce document en plongement vectoriel, ces mots-clés forcent ce plongement à être artificiellement similaire à toute requête sur la conservation des données - garantissant ainsi qu'elle dépasse la politique légitime.

9. Téléchargement vers la base de connaissances

   Le document est prêt. Bob revient au portail de la base de connaissances pour le télécharger. En tant que contributeur, son téléchargement sera immédiatement indexé par le système de récupération de l'IA - pas de révision du contenu, pas de flux de travail d'approbation, pas de vérification des différences par rapport aux politiques existantes.

10. Sélection du document empoisonné

    Bob sélectionne le document rempli de mots-clés parmi ses téléchargements. La base de connaissances l'accepte sans conteste - un nouveau guide des 'meilleures pratiques' d'un consultant, rien d'inhabituel en apparence.