Unsichere Verarbeitung von KI-Ausgaben

Was ist Unsichere Verarbeitung von KI-Ausgaben?

Modellausgaben sind nicht vertrauenswürdige Eingaben für alle Systeme, die sie weiterverarbeiten. Sobald eine Anwendung eine KI-Antwort ausführt, darstellt oder weiterleitet, wird das Modell Teil der Angriffsfläche. Die übliche Eingabeprüfung sitzt dann an der falschen Stelle. Sie testen einen Endpunkt, der natürliche Sprache in SQL übersetzt, senden einen präparierten Parameter und sehen, wie die erzeugte Abfrage zur Injection wird, die eine Tabelle löscht. Dabei wird keine bestehende Kontrolle umgangen. Sie prüfen den anfälligen Codepfad und genehmigen eine Korrektur mit Allowlist-Validierung.

Was Sie lernen in Unsichere Verarbeitung von KI-Ausgaben

• Die Angriffsfläche erkennen, die entsteht, wenn ungeprüfte KI-generierte Inhalte Datenbanken, Webseiten, APIs oder Systembefehle erreichen
• Eine vollständige Angriffskette verfolgen, in der eine präparierte Eingabe schädliche KI-Ausgaben auslöst, die ein nachgelagertes System angreifen
• KI-Ausgaben an der Grenze zu verbundenen Systemen validieren und bereinigen
• Kontrollen bewerten, die Angriffe über KI-Ausgaben verhindern, darunter Allowlists für Operationen, Denylists für Muster, kontextgerechte Ausgabekodierung und Datenbankkonten mit minimalen Rechten
• Unterscheiden, wann KI-Ausgaben für die Anzeige als vertrauenswürdig gelten können und wann sie als nicht vertrauenswürdige Eingabe für ein weiteres System behandelt werden müssen

Unsichere Verarbeitung von KI-Ausgaben — Trainingsschritte

1. Eine neue KI-Funktion testen

   Die API-Funktion Natural Language Query (NLQ) ist bereit für interne Tests, bevor sie produktiv eingesetzt wird. Die NLQ-API nutzt ein KI-Modell, um Fragen in einfachem Englisch in SQL-Abfragen umzuwandeln: Geschäftsanwender stellen eine Frage, die KI schreibt SQL und die API liefert die Ergebnisse.

2. E-Mail vom Tech Lead

   Alice erhält eine E-Mail von ihrem Tech Lead James Park: Der NLQ-API-Endpunkt wurde in der Staging-Umgebung bereitgestellt und kann getestet werden.

3. Den API Tester öffnen

   Alice öffnet den API Tester, um Anfragen an den NLQ-Endpunkt zu senden. So prüft sie neue API-Funktionen, bevor sie produktiv eingesetzt werden.

4. Eine einfache Testabfrage

   Alice beginnt mit einer einfachen Anfrage, um die Funktion der API zu prüfen. Der NLQ-Endpunkt nimmt GET -Anfragen mit einem Query-Parameter entgegen, der die Frage in natürlicher Sprache enthält.

5. Die API-Antwort

   Die API liefert fünf Kundendatensätze, die zur Frage passen. Die Antwort wirkt unauffällig.

6. Das erzeugte SQL

   Der Bereich SQL Query Analysis zeigt, welches SQL die KI aus der Frage erzeugte. Genau diese Abfrage wurde gegen die Datenbank ausgeführt.

7. Der Datenfluss

   Die grafische Kette zeigt den Weg von der Frage des Nutzers in natürlicher Sprache bis zum Datenbankergebnis.

8. Test mit einer schädlichen Eingabe

   Alice testet, wie widerstandsfähig die API ist. Was geschieht, wenn ein Nutzer SQL-Injection-Syntax in seine Frage in natürlicher Sprache einfügt? Ein gut entwickeltes System müsste die Eingabe zurückweisen oder bereinigen. Alice erstellt einen Query-Parameter, der einen DROP TABLE -Befehl in die Frage einbettet.

9. Die Antwort zeigt den Schaden

   Die API hat geantwortet, aber etwas stimmt nicht. Lesen Sie den Antwort-Body genau.

10. Das eingeschleuste SQL

    Im SQL-Bereich sehen Sie, was die KI erzeugte. Die Injection-Payload wurde getreu in ausführbares SQL übernommen.