Zwakke plekken in vectoren en embeddings

Zwakke plekken in vectoren en embeddings

Zorg ervoor dat een nepbeleid het echte beleid overtreft in AI-zoekopdrachten.

Wat is Zwakke plekken in vectoren en embeddings?

Retrieval-augmented generation-antwoorden van wat de vectorzoekopdracht ook oplevert, en de rangschikking van overeenkomsten heeft geen idee van autoriteit. Een document hoeft niet waar, goedgekeurd of actueel te zijn om de bovenste plaats te bemachtigen. Het hoeft er alleen maar uit te zien als de beste match. U uploadt een concurrerend retentiebeleid, gevuld met indextermen die zijn afgestemd op de vragen die werknemers stellen, en onderzoekt vervolgens het slechte nalevingsadvies dat het oplevert, waarbij u het geplante bestand traceert via de metagegevens en het auditlogboek van de bijdrager. U leert waarom brontoelatingslijsten en autorisatie op documentniveau horen vóór het ophalen, en niet erna.

Wat je leert in Zwakke plekken in vectoren en embeddings

Zwakke plekken in vectoren en embeddings — Trainingsstappen

  1. Gericht op de kennisbank

    Bob heeft inloggegevens voor bijdragers verkregen voor de Compass Knowledge Base van Ridgeline Financial. De inloggegevens behoren tot een account van een adviesbureau (m.garcia@consultingpro.net) dat bij een eerdere inbreuk is aangetast. Zijn doel: het nalevingsbeleid waarop werknemers vertrouwen bij besluiten over regelgeving. Verkeerd compliance-advies bij een financiële onderneming kan aanleiding geven tot SEC-onderzoeken.

  2. Inloggen met gestolen inloggegevens

    Bob voert de gestolen inloggegevens van de adviseur in. Als bijdrager kan hij nieuwe documenten uploaden naar de kennisbank zonder goedkeuring van de beheerder; het systeem vertrouwt alle bijdragers in gelijke mate.

  3. Verkenning: het vinden van het doel

    Bob searches the knowledge base to understand the current landscape. He needs to find a high-value policy area where wrong AI answers would cause maximum damage. Data retention at a financial firm is a prime target - incorrect retention periods can put a firm in breach of its recordkeeping obligations.

  4. Het legitieme beleid openen

    De zoekresultaten onthullen het doelwit. Het 'Client Data Retention Policy v4.2' staat bovenaan met een relevantiescore van 94%. Bob opent het om de inhoud, structuur en belangrijkste termen te bestuderen. Hij wil dat zijn nepdocument er net zo professioneel uitziet.

  5. Het echte document bestuderen

    Bob leest het echte beleid door. Het belangrijkste detail: zeven jaar retentie, bedoeld om SEC-regel 17a-4 en SOX-sectie 802 te dekken. Hij noteert de structuur, het classificatieniveau en het auteurschap van het document - allemaal dingen die zijn nepdocument moet nabootsen om er legitiem uit te zien. Maar Bob zal dit document niet bewerken. In tegenstelling tot gegevensvergiftiging (waarbij bestaande bestanden worden gewijzigd), is zijn aanpak subtieler: hij zal een -concurrerend -document uploaden dat is ontworpen om het echte document te overtreffen.

  6. Het concurrerende document opstellen

    Bob maakt een nieuw document dat eruitziet als een legitieme update van het bedrijfsbeleid. Het gebruikt professionele taal en volgt dezelfde structuur als echte Ridgeline Financial-documenten, maar bevat gevaarlijk verkeerde informatie.

  7. De verkeerde bewaartermijn instellen

    The real policy requires 7 years. Bob sets the retention period to 12 months - short enough that employees following this advice would destroy records that the firm's own policy, set to meet SEC recordkeeping rules, requires them to keep. At a financial firm, this could trigger an SEC investigation.

  8. Het geheime wapen: trefwoordvulling

    Nu past Bob de techniek toe die dit tot een vector-embedding-aanval maakt. Sectie 5 van het document heet 'Documentindextermen' - het lijkt op routinematige metadata. Maar Bob vult het met een dicht blok van repetitieve trefwoorden die alle mogelijke zoekvariaties dekken. Wanneer de kennisbank dit document omzet in een vector-embedding, zorgen deze trefwoorden ervoor dat de embedding kunstmatig lijkt op elke vraag over het bewaren van gegevens - waardoor wordt gegarandeerd dat deze de rangorde van het legitieme beleid overtreft.

  9. Uploaden naar de Knowledge Base

    Het document is klaar. Bob navigeert terug naar het KB-portaal om het te uploaden. Als bijdrager wordt zijn upload onmiddellijk geïndexeerd door het AI-ophaalsysteem - geen inhoudsbeoordeling, geen goedkeuringsworkflow, geen diff-controle op bestaand beleid.

  10. Het vergiftigde document selecteren

    Bob selecteert het met trefwoorden gevulde document uit zijn downloads. De kennisbank accepteert het zonder twijfel: een nieuwe gids met 'best practices' van een consultant, op het eerste gezicht niets ongewoons.

Dekking van beveiligingsframeworks

OWASP LLM Top 10

  • LLM09:2026 Vector and Embedding Weaknesses
  • LLM08:2025 Vector and Embedding Weaknesses

CWE

  • CWE-1427 Improper Neutralization of Input Used for LLM Prompting
  • CWE-200 Exposure of Sensitive Information to an Unauthorized Actor

CIS Controls

  • CIS 16 Application Software Security

NIST CSF

  • PR.AT-02 Individuals in specialized roles are provided with awareness and training so that they possess the knowledge and skills to perform relevant tasks with cybersecurity risks in mind
  • PR.PS Platform Security

NICE Framework

  • DD-WRL-003 Secure Software Development