KI-Angriff auf die Lieferkette

What Is KI-Angriff auf die Lieferkette?

Die KI-Lieferkette führt Angriffsvektoren ein, die die meisten Unternehmen nie in Betracht gezogen haben. Im Jahr 2024 entdeckten Forscher über 100 bösartige Modelle auf Hugging Face, einem beliebten Marktplatz für KI-Modelle, darunter Modelle mit eingebetteten Hintertüren, die bei bestimmten Triggerphrasen aktiviert wurden. In dieser Simulation lädt Ihr Unternehmen ein hoch bewertetes KI-Plugin von einem Marktplatz herunter, um Ihren internen Chatbot zu verbessern. Das Plugin funktioniert wie beim ersten Test angekündigt, beantwortet Fragen präzise und steigert die Produktivität. Aber das Plugin enthält eine Hintertür: Wenn es Abfragen verarbeitet, die bestimmte Schlüsselwörter zu Ihrer Branche enthalten, exfiltriert es die Konversation stillschweigend an einen externen Server. Sie werden beobachten, wie das Plugin alle Standardfunktionstests besteht, während das versteckte Verhalten unentdeckt bleibt. Die Übung führt Sie durch den Lebenszyklus eines Supply-Chain-Angriffs, von der Veröffentlichung eines scheinbar legitimen Tools durch den Angreifer über die Installation durch Ihr Team aufgrund positiver Bewertungen und hoher Downloadzahlen bis hin zu dem Moment, in dem die Hintertür während einer sensiblen internen Diskussion aktiviert wird. Sie bewerten die Risiken von vorab trainierten Modellen, LoRA-Adaptern, Trainingsdatensätzen und Plugins von Drittanbietern und erfahren, welche Komponenten eingebettete Nutzlasten tragen können. Die Simulation umfasst praktische Überprüfungsschritte, einschließlich der Überprüfung der Modellherkunft, Verhaltenstests mit gegnerischen Eingaben, Überwachung des Netzwerkverkehrs während des KI-Betriebs und die Bedeutung von Sandbox-Bewertungsumgebungen. Mit dem Wachstum der KI-Marktplätze erweitert sich die Angriffsfläche weit über die traditionellen Software-Lieferketten hinaus.

What You'll Learn in KI-Angriff auf die Lieferkette

• Identifizieren Sie die Angriffsfläche in KI-Lieferketten, einschließlich vorab trainierter Modelle, Feinabstimmungsadapter, Datensätze und Marktplatz-Plugins
• Analysieren Sie den Verhaltensunterschied zwischen einer sauberen KI-Komponente und einer Komponente, die einen bedingten Backdoor-Trigger enthält
• Wenden Sie eine Überprüfungscheckliste für KI-Komponenten von Drittanbietern an, die Herkunft, Lizenzierung, Verhaltenstests und Netzwerküberwachung umfasst
• Bewerten Sie die Einschränkungen alleiniger Funktionstests bei der Erkennung von Lieferkettenkompromissen in KI-Tools
• Unterscheiden Sie zwischen vertrauenswürdigen KI-Lieferkettenquellen mit verifizierter Herkunft und ungeprüften Marktplatzangeboten

KI-Angriff auf die Lieferkette — Training Steps

1. Die Hintertür bauen

   Bob, ein Cyberkrimineller, der unter dem Pseudonym „DataFlow Labs“ agiert, hat ein voll funktionsfähiges Dokumentenanalyse-Plugin namens DocAnalyzer Pro entwickelt. In Tausende von Zeilen legitimen Codes ist eine kleine bedingte Hintertür eingebettet, die nur dann aktiviert wird, wenn vertrauliche Geschäftsdaten das Plugin passieren.

2. Überprüfung der Codebasis

   Das Repository enthält Tausende Zeilen legitimen Dokumentanalysecodes – Dateiparser, Textextraktoren und Formatierungsdienstprogramme. Alles sieht professionell und gut strukturiert aus. Doch irgendwo in dieser Codebasis verbirgt sich unübersehbar ein kleiner Block bösartigen Codes.

3. Der versteckte Auslöser

   Die Hintertür wird sorgfältig zwischen normalen Datenverarbeitungsfunktionen versteckt. Ein kleiner Block überprüft jede Konversation auf sensible Schlüsselwörter wie „Akquisition“, „Finanzen“, „vertraulich“ und „Strategie“. Wenn es diese Begriffe erkennt, kodiert es stillschweigend den gesamten Konversationskontext und die KI-Antwort und sendet alles an einen externen Server, der vom Angreifer kontrolliert wird.

4. Den Marktplatz säen

   Bob veröffentlicht DocAnalyzer Pro unter seinem gefälschten Firmennamen auf dem AI Marketplace. Er erstellt eine ausgefeilte Liste mit einer professionellen Beschreibung, gefälschten Unternehmensbewertungen und überhöhten Downloadzahlen. Das Plugin zeichnet sich wirklich durch die Dokumentenanalyse aus – die Hintertür ist bei normaler Nutzung unsichtbar, was bedeutet, dass echte Benutzer wirklich positive Bewertungen hinterlassen.

5. Einführung

   Das Sicherheitsteam hat Dokumentenanalysefunktionen für Claude, den KI-Assistenten des Unternehmens, angefordert. Mehrere Erweiterungen von Drittanbietern auf dem Marktplatz für Erweiterungen von Claude behaupten, diese Funktionalität hinzuzufügen. Ihre Aufgabe ist es, die beste Option zu bewerten und zu installieren.

6. E-Mail von Sarah

   Sie erhalten eine E-Mail von Ihrer Kollegin Sarah Chen vom Sicherheitsteam. Sie hat nach KI-Plugins gesucht und eines gefunden, das vielversprechend aussieht.

7. Suchen Sie nach Erweiterungen

   Zeit, die von Sarah empfohlene Erweiterung zu bewerten. Öffnen Sie Claude auf Ihrem Laptop und suchen Sie nach Erweiterungen für die Dokumentanalyse.

8. Überprüfen Sie DocAnalyzer Pro

   In den Suchergebnissen werden mehrere Plugins zur Dokumentanalyse angezeigt. DocAnalyzer Pro zeichnet sich durch eine hohe Bewertung und Downloadzahl aus.

9. Überprüfen Sie Bewertungen und Berechtigungen

   Schauen Sie sich vor der Installation die Bewertungen und Berechtigungen genauer an. Sind die Bewertungen echt? Sind die Berechtigungen für ein Dokumentenanalysetool angemessen?

10. Wissenscheck

    Testen Sie vor der Installation des Plugins Ihre Fähigkeit, Warnsignale in Marktplatzeinträgen zu erkennen.