Poisoning von KI-Wissensdatenbanken

Was ist Poisoning von KI-Wissensdatenbanken?

Die meisten KI-Systeme in Unternehmen antworten nicht aus dem Gedächtnis. Sie rufen Dokumente ab und geben deren Inhalte wieder. Wer in die Wissensdatenbank schreiben kann, kann damit auch die Antwort beeinflussen. In dieser Übung erleben Sie beide Seiten: Mit einem kompromittierten Mitwirkendenkonto verändern Sie eine Anbieterrichtlinie und ein Prüfverfahren. Anschließend untersuchen Sie eine selbstsicher vorgetragene KI-Antwort über Dokumentmetadaten, Versionsvergleich und Audit-Protokoll. Dabei sehen Sie, warum dieser Angriff keinen Zugriff auf das Modell selbst braucht, und lernen passende Kontrollen kennen.

Was Sie lernen in Poisoning von KI-Wissensdatenbanken

• Definieren Sie Data Poisoning und erklären Sie, wie RAG-Poisoning die Dokumente manipuliert, die ein Assistent abruft, statt das Modell selbst
• Erkennen Sie Anzeichen eines manipulierten KI-Systems, etwa widersprüchliche Hinweise, unbekannte Quellenangaben und veränderte Empfehlungen
• Verfolgen Sie die Kausalkette von einem manipulierten Dokument in der Wissensdatenbank bis zu einer falschen KI-gestützten Geschäftsentscheidung
• Wenden Sie Kontrollen für die Inhaltsintegrität von Wissensdatenbanken an: Mitwirkende prüfen, Änderungen auditieren und Auffälligkeiten erkennen
• Bewerten Sie geschäftliche Folgen von Data-Poisoning-Angriffen, darunter Compliance-Verstöße, finanzielle Verluste und schwindendes Vertrauen in KI-gestützte Entscheidungen

Poisoning von KI-Wissensdatenbanken — Trainingsschritte

1. Zugriff auf die Wissensdatenbank

   Bob hat die Zugangsdaten eines externen Auftragnehmers für die interne Wissensdatenbank von Veranthos Solutions erbeutet. Das Konto des Umweltberaters war bei einem früheren Sicherheitsvorfall kompromittiert worden.

2. Anmelden mit gestohlenen Zugangsdaten

   Bob meldet sich mit den gestohlenen Zugangsdaten des Auftragnehmers an. Das Konto hat Mitwirkendenrechte für die Wissensdatenbank. Damit kann Bob Dokumente hochladen und ändern, ohne dass ein Admin sie prüfen muss.

3. Die Anbieter-Compliance-Richtlinie herunterladen

   Bob wählt zuerst besonders einflussreiche Dokumente aus. Die Anbieter-Compliance-Richtlinie („Vendor Compliance Policy“) legt fest, welche Anbieter das Unternehmen für Umwelttests nutzen darf. Würde Bob dort den zugelassenen Anbieter ändern, könnte er Aufträge an seine eigene Firma lenken.

4. Die Anbieter-Compliance-Richtlinie öffnen

   Das Dokument wurde heruntergeladen. Bob öffnet es, um Änderungen vorzunehmen.

5. Den zugelassenen Anbieter austauschen

   Die Richtlinie nennt GreenTech Environmental als zugelassenen Anbieter für Umweltprüfungen. Bob ersetzt den Namen durch TerraForge Analytics, eine von ihm kontrollierte Briefkastenfirma.

6. Die Freigabegrenze erhöhen

   Für Verträge mit Anbietern über 50.000 US-Dollar verlangt die Richtlinie eine Genehmigung der Geschäftsleitung. Bob erhöht die Grenze auf 500.000 US-Dollar. So bleiben Verträge mit seiner Scheinfirma unterhalb der Freigabegrenze und erreichen nie den VP of Operations.

7. Die Prüfverfahren herunterladen

   Bob wendet sich dem zweiten Dokument zu: den Qualitätsprüfverfahren („Testing Procedures“). Sie legen fest, wie das Unternehmen die Qualität seiner Umweltprüfungen kontrolliert. Geschwächte Standards würden es seiner Scheinfirma erleichtern, mit mangelhafter Arbeit durch die Prüfung zu kommen.

8. Die Prüfverfahren öffnen

   Das zweite Dokument wurde heruntergeladen. Bob öffnet es, um den Angriff fortzusetzen.

9. Den Prüfstandard abschwächen

   Die Verfahren verlangen Tests in einem nach ISO/IEC 17025 akkreditierten Labor – einem strengen internationalen Standard. Bob ersetzt diese Vorgabe durch eine vage interne Bewertung, die seine Scheinfirma leicht erfüllen kann.

10. Die letzte Sicherheitsprüfung entfernen

    Zuletzt ersetzt Bob die vorgeschriebene Umweltverträglichkeitsprüfung durch eine einfache Kostenanalyse. Damit entfernt er die letzte Sicherheitsprüfung, die die mangelhafte Arbeit seiner Scheinfirma entdecken könnte.