Onveilige verwerking van AI-uitvoer

Wat is Onveilige verwerking van AI-uitvoer?

Modeluitvoer is niet-vertrouwde invoer voor alles wat er gebruik van maakt. Zodra een applicatie een AI-reactie uitvoert, weergeeft of doorstuurt, maakt het model deel uit van het aanvalsoppervlak en bevindt de gebruikelijke invoervalidatie zich op de verkeerde plaats. Je werkt met een natuurlijk-taal-naar-SQL-eindpunt, verzendt een vervaardigde parameter en ziet hoe de gegenereerde query verandert in een injectie die een tabel laat vallen. Er werd geen enkele controle omzeild. U leest het kwetsbare pad en keurt een op de toelatingslijst gevalideerde oplossing goed.

Wat je leert in Onveilige verwerking van AI-uitvoer

• Identificeer het aanvalsoppervlak dat ontstaat wanneer AI-gegenereerde inhoud niet-gesanitiseerd in databases, webpagina's, API's en systeemopdrachten terechtkomt
• Traceer een end-to-end aanvalsketen waarbij gemanipuleerde AI-invoer kwaadaardige uitvoer produceert die een downstream-systeem misbruikt
• Pas uitvoervalidatie- en sanitisatiecontroles toe op de grens tussen AI-componenten en verbonden systemen
• Evalueer controles die misbruik van AI-uitvoer voorkomen, inclusief toelatingslijsten voor bewerkingen, patroonblokkeringslijsten, uitvoercodering en database-accounts met de minste rechten
• Maak onderscheid tussen scenario's waarin AI-uitvoer vertrouwd kan worden voor weergave en scenario's waarin deze als niet-vertrouwde invoer voor een ander systeem moet worden behandeld

Onveilige verwerking van AI-uitvoer — Trainingsstappen

1. Een nieuwe AI-functie om te testen

   Tegenwoordig is de Natural Language Query (NLQ) API-functie gereed voor interne tests voordat deze naar productie wordt verzonden. De NLQ API gebruikt een AI-model om gewone Engelse vragen om te zetten in SQL-query's: zakelijke gebruikers typen een vraag, de AI schrijft de SQL en de API retourneert de resultaten.

2. E-mail van de technische leider

   Alice ontvangt een e-mail van haar technisch leider James Park, waarin zij haar laat weten dat het NLQ API-eindpunt is geïmplementeerd in de testomgeving en klaar is om te testen.

3. De API-tester openen

   Alice opent de API Tester-tool om verzoeken naar het NLQ-eindpunt te verzenden. Dit is een standaard onderdeel van haar workflow voor het testen van nieuwe API-functies voordat ze live gaan.

4. Een eenvoudige testquery

   Alice begint met een eenvoudige vraag om er zeker van te zijn dat de API werkt. Het NLQ-eindpunt accepteert GET -verzoeken met een queryparameter die de vraag in natuurlijke taal bevat.

5. De API-reactie

   De API reageerde met vijf klantrecords die aan de vraag voldeden. De reactie ziet er normaal uit.

6. De gegenereerde SQL

   Het paneel SQL Query Analysis laat precies zien wat de AI heeft gegenereerd op basis van de natuurlijke taalinvoer. Dit is de query die op de database is uitgevoerd.

7. De gegevensstroom

   De ketenvisualisatie laat zien hoe gegevens van de natuurlijke taalvraag van de gebruiker naar het databaseresultaat stromen.

8. Testen met een kwaadaardige invoer

   Alice besluit de veerkracht van de API te testen. Wat als een gebruiker de syntaxis van SQL-injectie opneemt in zijn natuurlijke taalquery? Een goed gebouwd systeem moet de input afwijzen of opschonen. Ze maakt een queryparameter die een DROP TABLE -opdracht insluit in de natuurlijke taalprompt.

9. De schade in de respons

   Het antwoord kwam terug, maar er is iets heel erg mis. Kijk goed naar de antwoordtekst.

10. De geïnjecteerde SQL

    Het SQL-paneel laat precies zien wat de AI heeft gegenereerd. De payload van de injectie werd getrouw vertaald naar uitvoerbare SQL.