AI-toeleveringsketenaanval

Wat is AI-toeleveringsketenaanval?

Uw AI-stack is samengesteld uit de artefacten van anderen: basismodellen, afstemmingsadapters, datasets en marktplaatsplug-ins die arriveren met bijbehorende machtigingen. Publieke modelhubs zoals Hugging Face hebben modellen met een achterdeur, en een achterdeur die inactief blijft totdat er een trigger verschijnt, is onzichtbaar voor functionele tests. Je ziet hoe een plug-in is gebouwd rond een verborgen trefwoordtrigger en wordt gepubliceerd, waarna je deze installeert, gebruikt en ontdekt dat hij een vertrouwelijk document naar een extern eindpunt kopieert. Je vertrekt met een controleroutine voor nieuwe AI-componenten.

Wat je leert in AI-toeleveringsketenaanval

• Identificeer het aanvalsoppervlak in AI-toeleveringsketens, inclusief voorgetrainde modellen, finetuning-adapters, datasets en marktplaatsplugins
• Analyseer het gedragsverschil tussen een schoon AI-component en een component met een voorwaardelijke achterdeurtrigger
• Pas een screeningschecklist toe voor AI-componenten van derden met betrekking tot herkomst, licenties, gedragstests en netwerkmonitoring
• Evalueer de beperkingen van alleen functionele tests bij het detecteren van supply chain-compromitteringen in AI-tools
• Maak onderscheid tussen betrouwbare AI-toeleveringsbronnen met geverifieerde herkomst en niet-gecontroleerde marktplaatsaanbiedingen

AI-toeleveringsketenaanval — Trainingsstappen

1. Het bouwen van de achterdeur

   Bob, een cybercrimineel die opereert onder de alias 'DataFlow Labs', heeft een volledig functionele plug-in voor documentanalyse gebouwd, genaamd DocAnalyzer Pro. Ingebed in duizenden regels legitieme code is een kleine voorwaardelijke achterdeur, ontworpen om alleen te activeren wanneer gevoelige bedrijfsgegevens door de plug-in gaan.

2. De Codebase beoordelen

   De repository bevat duizenden regels legitieme documentanalysecode: bestandsparsers, tekstextractors en opmaakhulpprogramma's. Alles ziet er professioneel en goed gestructureerd uit. Maar ergens in deze codebase verbergt zich een klein blok kwaadaardige code in het volle zicht.

3. De verborgen trigger

   De achterdeur wordt zorgvuldig verborgen tussen de normale gegevensverwerkingsfuncties. Een klein blokje controleert elk gesprek op gevoelige zoekwoorden als 'acquisitie', 'financieel', 'vertrouwelijk' en 'strategie'. Wanneer het deze termen detecteert, codeert het in stilte de volledige gesprekscontext en de AI-reactie en stuurt alles naar een externe server die wordt beheerd door de aanvaller.

4. Het zaaien van de marktplaats

   Bob publiceert DocAnalyzer Pro op de AI Marketplace onder zijn valse bedrijfsnaam. Hij maakt een verzorgde vermelding met een professionele beschrijving, verzonnen bedrijfsrecensies en te hoge downloadaantallen. De plug-in blinkt echt uit in documentanalyse – de achterdeur is onzichtbaar tijdens normaal gebruik, wat betekent dat echte gebruikers echte positieve recensies achterlaten.

5. Introductie

   Het beveiligingsteam heeft gevraagd om documentanalysemogelijkheden voor Claude, de AI-assistent van het bedrijf. Verschillende extensies van derden op de Extensions-marktplaats van Claude beweren deze functionaliteit toe te voegen. Jouw taak is om de beste optie te evalueren en te installeren.

6. E-mail van Sara

   U ontvangt een e-mail van uw collega Sarah Chen van het beveiligingsteam. Ze heeft AI-plug-ins onderzocht en er een gevonden die er veelbelovend uitziet.

7. Zoek naar extensies

   Tijd om de door Sarah aanbevolen verlenging te evalueren. Open Claude op uw tweede computer en zoek naar documentanalyse-extensies.

8. Beoordeel DocAnalyzer Pro

   De zoekresultaten tonen verschillende plug-ins voor documentanalyse. DocAnalyzer Pro valt op door zijn hoge beoordeling en downloadaantal.

9. Inspecteer beoordelingen en machtigingen

   Bekijk de beoordelingen en machtigingen van dichterbij voordat u met de installatie begint. Zijn de recensies echt? Zijn de machtigingen redelijk voor een documentanalysetool?

10. Kennischeck