Vergiftiging van AI-trainingsgegevens

Wat is Vergiftiging van AI-trainingsgegevens?

De meeste zakelijke AI antwoordt niet vanuit het geheugen. Het haalt documenten op en herhaalt wat ze zeggen, zodat iedereen die naar de kennisbank kan schrijven, het antwoord kan schrijven. Je speelt beide kanten: bewerk een leveranciersbeleid en een testprocedure van een gecompromitteerde bijdrageraccount, controleer vervolgens de assistent die deze citeert, na een zelfverzekerd antwoord via documentmetagegevens, een versieverschil en het auditlogboek. Je scheidt vergiftiging vóór de training van vergiftiging bij het ophalen en past de bedieningselementen toe die elk van deze vergiftigingen opvangen.

Wat je leert in Vergiftiging van AI-trainingsgegevens

• Definieer datavergiftiging en maak onderscheid tussen pre-training vergiftiging (gecorrumpeerde trainingsdatasets) en RAG-vergiftiging (gemanipuleerde ophaaldatabases)
• Herken gedragsindicatoren van een vergiftigd AI-systeem, waaronder tegenstrijdige richtlijnen, onbekende bronvermeldingen en verschoven aanbevelingen
• Traceer de causale keten van een vergiftigd document in de kennisbank tot een onjuiste AI-gegenereerde zakelijke beslissing
• Pas controles voor inhoudsintegriteit toe, waaronder bijdragerverificatie, wijzigingsaudit en anomaliedetectie op invoer voor de kennisbank
• Evalueer de zakelijke impact van datavergiftigingsaanvallen, waaronder compliancefouten, financiele verliezen en erosie van vertrouwen in AI-ondersteunde beslissingen

Vergiftiging van AI-trainingsgegevens — Trainingsstappen

1. Toegang tot de kennisbank

   Bob heeft gestolen inloggegevens van aannemers verkregen voor de interne kennisbank van Veranthos Solutions. De inloggegevens behoren toe aan een externe milieuadviseur wiens account bij een eerdere inbreuk is gecompromitteerd.

2. Inloggen met gestolen inloggegevens

   Bob voert de gestolen inloggegevens van de aannemer in. Het account heeft toegang op contribuantniveau tot de kennisbank – voldoende om documenten te uploaden en te wijzigen zonder een beheerdersbeoordeling te activeren.

3. Het leveranciersbeleid downloaden

   Bob richt zich eerst op documenten met een grote impact. Het Vendor Compliance Policy bepaalt welke leveranciers het bedrijf gebruikt voor milieutests. Het wijzigen van de goedgekeurde leverancier hier zou de zaken doorverwijzen naar een door aanvallers gecontroleerd bedrijf.

4. Het leveranciersbeleid openen

   Het document is gedownload. Bob opent het om wijzigingen aan te brengen.

5. De goedgekeurde leverancier omwisselen

   Het beleid noemt GreenTech Environmental als de goedgekeurde leverancier voor het testen van de naleving van de milieuwetgeving. Bob vervangt het door TerraForge Analytics - een lege vennootschap die hij beheert.

6. De goedkeuringsdrempel wijzigen

   The policy requires executive approval for vendor contracts exceeding $50,000. Bob lowers this to $15,000 - ensuring that contracts with his fake vendor fly under the approval radar.

7. De testprocedures downloaden

   Bob gaat over naar het tweede doel: de kwaliteitstestprocedures. Deze bepalen hoe het bedrijf de naleving van de milieuwetgeving valideert. Het verzwakken van de normen betekent dat het ondermaatse werk van de nepleverancier de beoordeling zou doorstaan.

8. De testprocedures openen

   Het tweede document is gedownload. Bob opent het om de aanval voort te zetten.

9. Het verzwakken van de teststandaard

   De procedures vereisen testen in een ISO 14001-gecertificeerd laboratorium - een strenge internationale norm. Bob vervangt het door een vage interne beoordeling waaraan zijn lege vennootschap gemakkelijk kan voldoen.

10. Het veiligheidshek verwijderen

    De laatste bewerking vervangt een vereiste voor een milieueffectrapportage door een eenvoudige stap voor kostenanalyse. Hiermee wordt het laatste veiligheidshek verwijderd dat het ontoereikende werk van de nepverkoper zou kunnen opvangen.