Data Poisoning von KI-Trainingsdaten

Was ist Data Poisoning von KI-Trainingsdaten?

Die meisten Unternehmens-KIs antworten nicht aus dem Gedächtnis. Es ruft Dokumente ab und wiederholt, was sie sagen, sodass jeder, der in die Wissensdatenbank schreiben kann, die Antwort schreiben kann. Sie spielen beide Seiten: Bearbeiten Sie eine Anbieterrichtlinie und ein Testverfahren von einem kompromittierten Mitwirkendenkonto aus und prüfen Sie dann den Assistenten, der sie zitiert, nachdem Sie eine sichere Antwort über Dokumentmetadaten, einen Versionsunterschied und das Prüfprotokoll erhalten haben. Sie trennen die Pre-Training-Vergiftung von der Retrieval-Vergiftung und wenden die entsprechenden Kontrollen an.

Was Sie lernen in Data Poisoning von KI-Trainingsdaten

• Definieren Sie Data Poisoning und unterscheiden Sie zwischen Pre-Training-Poisoning (beschädigte Trainingsdatensätze) und RAG-Poisoning (manipulierte Abrufdatenbanken).
• Identifizieren Sie Verhaltensindikatoren eines vergifteten KI-Systems, einschließlich widersprüchlicher Anleitungen, unbekannter Quellenangaben und verschobener Empfehlungen
• Verfolgen Sie die Kausalkette von einem manipulierten Dokument in der Wissensdatenbank bis zu einer falschen KI-generierten Geschäftsentscheidung
• Wenden Sie Inhaltsintegritätskontrollen an, einschließlich Mitwirkenderüberprüfung, Änderungsprüfung und Anomalieerkennung, auf Wissensdatenbankeingaben
• Bewerten Sie die geschäftlichen Auswirkungen von Data-Poisoning-Angriffen, einschließlich Compliance-Verstößen, finanziellen Verlusten und Vertrauensverlust in KI-gestützte Entscheidungen

Data Poisoning von KI-Trainingsdaten — Trainingsschritte

1. Zugriff auf die Wissensdatenbank

   Bob hat gestohlene Auftragnehmer-Zugangsdaten für die interne Wissensdatenbank von Veranthos Solutions erhalten. Die Zugangsdaten gehören einem externen Umweltberater, dessen Konto bei einem früheren Sicherheitsvorfall kompromittiert wurde.

2. Anmelden mit gestohlenen Zugangsdaten

   Bob gibt die gestohlenen Zugangsdaten des Auftragnehmers ein. Das Konto hat Mitwirkenden-Rechte (Contributor-Rolle) für die Wissensdatenbank – genug, um Dokumente hochzuladen und zu ändern, ohne eine Administratorüberprüfung auszulösen.

3. Herunterladen der Anbieterrichtlinie

   Bob zielt zunächst auf wichtige Dokumente ab. Die Anbieter-Compliance-Richtlinie steuert, welche Anbieter das Unternehmen für Umwelttests nutzt. Eine Änderung des zugelassenen Anbieters an dieser Stelle würde das Geschäft auf ein vom Angreifer kontrolliertes Unternehmen umleiten.

4. Öffnen der Anbieterrichtlinie

   Das Dokument wurde heruntergeladen. Bob öffnet es, um Änderungen vorzunehmen.

5. Austausch des zugelassenen Anbieters

   Die Richtlinie nennt GreenTech Environmental als zugelassenen Anbieter für Umwelt-Compliance-Tests. Bob ersetzt es durch TerraForge Analytics – eine Briefkastenfirma, die er kontrolliert.

6. Änderung der Genehmigungsschwelle

   The policy requires executive approval for vendor contracts exceeding $50,000. Bob lowers this to $15,000 - ensuring that contracts with his fake vendor fly under the approval radar.

7. Herunterladen der Testverfahren

   Bob geht zum zweiten Ziel über: den Qualitätstestverfahren. Diese steuern, wie das Unternehmen seine Arbeit zur Einhaltung von Umweltvorschriften validiert. Eine Abschwächung der Standards bedeutet, dass die minderwertige Arbeit des gefälschten Anbieters die Prüfung bestehen würde.

8. Öffnen des Testverfahrens

   Das zweite Dokument wurde heruntergeladen. Bob öffnet es, um den Angriff fortzusetzen.

9. Schwächung des Teststandards

   Die Verfahren erfordern Tests in einem nach ISO 14001 zertifizierten Labor – einem strengen internationalen Standard. Bob ersetzt es durch eine vage interne Einschätzung, die seine Briefkastenfirma problemlos erfüllen kann.

10. Entfernen des Schutzgitters

    Die endgültige Bearbeitung ersetzt eine Anforderung zur Umweltverträglichkeitsprüfung durch einen einfachen Kostenanalyseschritt. Dadurch wird die letzte Sicherheitstür entfernt, die die unzureichende Arbeit des gefälschten Anbieters auffangen würde.