KI-Angriff auf die Lieferkette

Was ist KI-Angriff auf die Lieferkette?

Ihr KI-Stack wird aus den Artefakten anderer Personen zusammengestellt: Basismodelle, Feinabstimmungsadapter, Datensätze und Marktplatz-Plugins, die mit angehängten Berechtigungen geliefert werden. Öffentliche Modell-Hubs wie Hugging Face verfügen über Backdoor-Modelle, und eine Backdoor, die inaktiv bleibt, bis ein Auslöser erscheint, ist für Funktionstests unsichtbar. Sie sehen sich ein Plugin an, das um einen versteckten Schlüsselwortauslöser herum aufgebaut und veröffentlicht wurde, installieren es dann, verwenden es und stellen fest, dass es ein vertrauliches Dokument auf einen externen Endpunkt kopiert. Sie verlassen das Unternehmen mit einer Überprüfungsroutine für neue KI-Komponenten.

Was Sie lernen in KI-Angriff auf die Lieferkette

• Identifizieren Sie die Angriffsfläche in KI-Lieferketten, einschließlich vorab trainierter Modelle, Feinabstimmungsadapter, Datensätze und Marktplatz-Plugins
• Analysieren Sie den Verhaltensunterschied zwischen einer sauberen KI-Komponente und einer Komponente, die einen bedingten Backdoor-Trigger enthält
• Wenden Sie eine Überprüfungscheckliste für KI-Komponenten von Drittanbietern an, die Herkunft, Lizenzierung, Verhaltenstests und Netzwerküberwachung umfasst
• Bewerten Sie die Einschränkungen alleiniger Funktionstests bei der Erkennung von Lieferkettenkompromissen in KI-Tools
• Unterscheiden Sie zwischen vertrauenswürdigen KI-Lieferkettenquellen mit verifizierter Herkunft und ungeprüften Marktplatzangeboten

KI-Angriff auf die Lieferkette — Trainingsschritte

1. Die Hintertür bauen

   Bob, ein Cyberkrimineller, der unter dem Pseudonym „DataFlow Labs“ agiert, hat ein voll funktionsfähiges Dokumentenanalyse-Plugin namens DocAnalyzer Pro entwickelt. In Tausende von Zeilen legitimen Codes ist eine kleine bedingte Hintertür eingebettet, die nur dann aktiviert wird, wenn vertrauliche Geschäftsdaten das Plugin passieren.

2. Überprüfung der Codebasis

   Das Repository enthält Tausende Zeilen legitimen Dokumentanalysecodes – Dateiparser, Textextraktoren und Formatierungsdienstprogramme. Alles sieht professionell und gut strukturiert aus. Doch irgendwo in dieser Codebasis verbirgt sich unübersehbar ein kleiner Block bösartigen Codes.

3. Der versteckte Auslöser

   Die Hintertür wird sorgfältig zwischen normalen Datenverarbeitungsfunktionen versteckt. Ein kleiner Block überprüft jede Konversation auf sensible Schlüsselwörter wie „Akquisition“, „Finanzen“, „vertraulich“ und „Strategie“. Wenn es diese Begriffe erkennt, kodiert es stillschweigend den gesamten Konversationskontext und die KI-Antwort und sendet alles an einen externen Server, der vom Angreifer kontrolliert wird.

4. Den Marktplatz säen

   Bob veröffentlicht DocAnalyzer Pro unter seinem gefälschten Firmennamen auf dem AI Marketplace. Er erstellt eine ausgefeilte Liste mit einer professionellen Beschreibung, gefälschten Unternehmensbewertungen und überhöhten Downloadzahlen. Das Plugin zeichnet sich wirklich durch die Dokumentenanalyse aus – die Hintertür ist bei normaler Nutzung unsichtbar, was bedeutet, dass echte Benutzer wirklich positive Bewertungen hinterlassen.

5. Einführung

   Das Sicherheitsteam hat Dokumentenanalysefunktionen für Claude, den KI-Assistenten des Unternehmens, angefordert. Mehrere Erweiterungen von Drittanbietern auf dem Marktplatz für Erweiterungen von Claude behaupten, diese Funktionalität hinzuzufügen. Ihre Aufgabe ist es, die beste Option zu bewerten und zu installieren.

6. E-Mail von Sarah

   Sie erhalten eine E-Mail von Ihrer Kollegin Sarah Chen vom Sicherheitsteam. Sie hat nach KI-Plugins gesucht und eines gefunden, das vielversprechend aussieht.

7. Suchen Sie nach Erweiterungen

   Zeit, die von Sarah empfohlene Erweiterung zu bewerten. Öffnen Sie Claude auf Ihrem zweiten Rechner und suchen Sie nach Erweiterungen für die Dokumentanalyse.

8. Überprüfen Sie DocAnalyzer Pro

   In den Suchergebnissen werden mehrere Plugins zur Dokumentanalyse angezeigt. DocAnalyzer Pro zeichnet sich durch eine hohe Bewertung und Downloadzahl aus.

9. Überprüfen Sie Bewertungen und Berechtigungen

   Schauen Sie sich vor der Installation die Bewertungen und Berechtigungen genauer an. Sind die Bewertungen echt? Sind die Berechtigungen für ein Dokumentenanalysetool angemessen?

10. Wissenscheck

    Testen Sie vor der Installation des Plugins Ihre Fähigkeit, Warnsignale in Marktplatzeinträgen zu erkennen.