Vector and Embedding Weaknesses
Sorgen Sie dafür, dass eine gefälschte Richtlinie in der KI-Suche vor der echten rangiert.
Was ist Vector and Embedding Weaknesses?
Retrieval-Augmented Generation antwortet mit dem, was die Vektorsuche liefert, und ein Ranking nach Ähnlichkeit kennt keine Autorität. Ein Dokument muss weder wahr noch freigegeben oder aktuell sein, um auf Platz eins zu landen – es muss nur wie der beste Treffer aussehen. Sie laden eine konkurrierende Aufbewahrungsrichtlinie hoch, die mit Indexbegriffen vollgestopft ist, die auf die Fragen der Mitarbeiter zugeschnitten sind. Anschließend untersuchen Sie die falschen Compliance-Auskünfte, die daraus entstehen, und verfolgen die eingeschleuste Datei über ihre Metadaten und das Audit-Protokoll der Mitwirkenden zurück. Sie lernen, warum Allowlists für Quellen und eine Autorisierung auf Dokumentebene vor den Abruf gehören und nicht danach.
Was Sie lernen in Vector and Embedding Weaknesses
- Erklären Sie, warum ein Ranking nach Vektorähnlichkeit keine Autorität kennt, sodass ein nicht freigegebenes Dokument vor der echten Richtlinie rangieren kann
- Erkennen Sie Keyword-Stuffing in den Indexbegriffen eines Dokuments als den Mechanismus, der eine eingeschleuste Datei an die Spitze der Abrufergebnisse hebt
- Verfolgen Sie eine falsche KI-Antwort über die zitierten Quellen zurück bis zum eingeschleusten Dokument und zum Mitwirkendenkonto, das es hochgeladen hat
- Setzen Sie Autorisierung auf Dokumentebene, Allowlists für Quellen und die Überprüfung von Mitwirkenden vor dem Abruf ein und nicht erst, nachdem die Antwort erzeugt wurde
- Bewerten Sie eine Ranking-Änderung bei einem längst geklärten Richtlinienthema als Integritätssignal, dem man in einer RAG-Wissensdatenbank nachgehen sollte
Vector and Embedding Weaknesses — Trainingsschritte
-
Die Wissensdatenbank ins Visier nehmen
Bob hat Zugangsdaten als Mitwirkender für die Compass-Wissensdatenbank von Ridgeline Financial erbeutet. Sie gehören zum Konto einer Beratungsfirma (m.garcia@consultingpro.net), das bei einem früheren Sicherheitsvorfall kompromittiert wurde. Sein Ziel sind die Compliance-Richtlinien, auf die sich die Mitarbeiter bei regulatorischen Entscheidungen verlassen. Falsche Compliance-Auskünfte können bei einem Finanzunternehmen Ermittlungen der SEC auslösen.
-
Mit gestohlenen Zugangsdaten anmelden
Bob gibt die gestohlenen Zugangsdaten des Beraters ein. Als Mitwirkender kann er neue Dokumente in die Wissensdatenbank hochladen, ohne dass ein Administrator sie freigeben muss – das System vertraut allen Mitwirkenden gleichermaßen.
-
Aufklärung: Das Ziel finden
Bob durchsucht die Wissensdatenbank, um sich einen Überblick zu verschaffen. Er sucht einen lohnenden Richtlinienbereich, in dem falsche KI-Antworten den größtmöglichen Schaden anrichten würden. Bei einem Finanzunternehmen ist die Datenaufbewahrung ein ideales Ziel, denn falsche Aufbewahrungsfristen können dazu führen, dass ein Unternehmen gegen seine Aufbewahrungspflichten verstößt.
-
Die echte Richtlinie öffnen
Die Suchergebnisse zeigen das Ziel: Die „Richtlinie zur Kundendatenaufbewahrung v4.2“ steht mit einem Relevanzwert von 94 % ganz oben. Bob öffnet sie, um Inhalt, Aufbau und Schlüsselbegriffe zu studieren – sein gefälschtes Dokument soll genauso professionell aussehen.
-
Das echte Dokument studieren
Bob liest die echte Richtlinie durch. Das entscheidende Detail: 7 Jahre Aufbewahrung, festgelegt, um SEC-Regel 17a-4 und SOX-Abschnitt 802 zu erfüllen. Er notiert sich Aufbau, Klassifizierungsstufe und Verfasser des Dokuments – all das muss sein gefälschtes Dokument nachahmen, um echt zu wirken. Bearbeiten wird Bob dieses Dokument aber nicht. Anders als beim Data Poisoning (bei dem vorhandene Dateien verändert werden) geht er subtiler vor: Er lädt ein konkurrierendes Dokument hoch, das gezielt so gebaut ist, dass es vor dem echten rangiert.
-
Das konkurrierende Dokument erstellen
Bob erstellt ein neues Dokument, das wie die echte Aktualisierung einer Unternehmensrichtlinie aussehen soll. Es ist professionell formuliert und folgt demselben Aufbau wie echte Dokumente von Ridgeline Financial – enthält aber gefährlich falsche Angaben.
-
Falsche Aufbewahrungsfrist festlegen
Die echte Richtlinie schreibt 7 Jahre vor. Bob setzt die Aufbewahrungsfrist auf 12 Monate – so kurz, dass Mitarbeiter, die sich daran halten, Unterlagen vernichten würden, die sie nach der eigenen Unternehmensrichtlinie (ausgelegt auf die Aufbewahrungsvorschriften der SEC) aufbewahren müssen. Bei einem Finanzunternehmen könnte das eine SEC-Untersuchung auslösen.
-
Die Geheimwaffe: Keyword-Stuffing
Jetzt setzt Bob die Technik ein, die das Ganze zu einem Angriff auf Vektoreinbettungen macht. Abschnitt 5 des Dokuments heißt „Dokumentindexbegriffe“ und sieht nach gewöhnlichen Metadaten aus. Bob füllt ihn jedoch mit einem dichten Block sich wiederholender Schlüsselwörter, die jede denkbare Suchvariante abdecken. Wenn die Wissensdatenbank das Dokument in eine Vektoreinbettung umwandelt, sorgen diese Schlüsselwörter dafür, dass die Einbettung jeder Suchanfrage zur Datenaufbewahrung künstlich ähnelt. So rangiert das Dokument garantiert vor der echten Richtlinie.
-
In die Wissensdatenbank hochladen
Das Dokument ist fertig. Bob kehrt zum KB-Portal zurück, um es hochzuladen. Weil er Mitwirkender ist, indiziert das Retrieval-System der KI seinen Upload sofort – ohne inhaltliche Prüfung, ohne Freigabe-Workflow, ohne Abgleich mit bestehenden Richtlinien.
-
Das manipulierte Dokument auswählen
Bob wählt das mit Schlüsselwörtern vollgestopfte Dokument aus seinen Downloads aus. Die Wissensdatenbank nimmt es ohne Weiteres an – ein neuer „Best Practices“-Leitfaden eines Beraters, auf den ersten Blick nichts Ungewöhnliches.
Abdeckung der Sicherheits-Frameworks
OWASP LLM Top 10
- LLM09:2026 Vector and Embedding Weaknesses
- LLM08:2025 Vector and Embedding Weaknesses
CWE
- CWE-1427 Improper Neutralization of Input Used for LLM Prompting
- CWE-200 Exposure of Sensitive Information to an Unauthorized Actor
CIS Controls
- CIS 16 Application Software Security
NIST CSF
- PR.AT-02 Individuals in specialized roles are provided with awareness and training so that they possess the knowledge and skills to perform relevant tasks with cybersecurity risks in mind
- PR.PS Platform Security
NICE Framework
- DD-WRL-003 Secure Software Development