Gestione non sicura degli output dell'IA

Cos’è Gestione non sicura degli output dell'IA?

L'output del modello è un input non attendibile per qualunque cosa lo utilizzi. Una volta che un'applicazione esegue, esegue il rendering o inoltra una risposta AI, il modello diventa parte della superficie di attacco e la consueta convalida dell'input si trova nel posto sbagliato. Lavorerai con un endpoint dal linguaggio naturale a SQL, invierai un parametro creato e osserverai la query generata trasformarsi in un'iniezione che restituisce record che il chiamante non dovrebbe mai vedere. Nessun controllo è stato aggirato. Leggerai il percorso vulnerabile e approverai la correzione parametrizzata.

Cosa imparerai in Gestione non sicura degli output dell'IA

• Identificare la superficie di attacco creata quando contenuti generati dall'IA passano senza sanificazione in database, pagine web, API e comandi di sistema
• Tracciare una catena di attacco end-to-end in cui un input IA costruito produce un output malevolo che sfrutta un sistema downstream
• Applicare controlli di validazione e sanificazione dell'output al confine tra componenti IA e sistemi connessi
• Valutare pattern architetturali tra cui query parametrizzate, codifica dell'output e accesso API a privilegio minimo che prevengono lo sfruttamento degli output IA
• Distinguere tra scenari in cui l'output IA puo essere considerato affidabile per la visualizzazione e scenari in cui deve essere trattato come input non attendibile verso un altro sistema

Gestione non sicura degli output dell'IA — Fasi della formazione

1. Una nuova funzionalità AI da testare

   Oggi, la funzionalità API Natural Language Query (NLQ) è pronta per i test interni prima di essere spedita in produzione. L'API NLQ utilizza un modello di intelligenza artificiale per convertire semplici domande in inglese in query SQL: gli utenti aziendali digitano una domanda, l'intelligenza artificiale scrive l'SQL e l'API restituisce i risultati.

2. E-mail dal responsabile tecnico

   Alice riceve un'e-mail dal suo responsabile tecnico James Park, che le informa che l'endpoint API NLQ è distribuito nell'ambiente di staging ed è pronto per il test.

3. Apertura del tester API

   Alice apre lo strumento API Tester per iniziare a inviare richieste all'endpoint NLQ. Questa è una parte standard del suo flusso di lavoro per testare le nuove funzionalità API prima che vengano pubblicate.

4. Una semplice query di prova

   Alice inizia con una query semplice per assicurarsi che l'API funzioni. L'endpoint NLQ accetta richieste GET con un parametro di query contenente la domanda in linguaggio naturale.

5. La risposta dell'API

   L'API ha risposto con cinque record cliente corrispondenti alla query. La risposta sembra normale.

6. L'SQL generato

   Il pannello Analisi query SQL mostra esattamente ciò che l'intelligenza artificiale ha generato dall'input in linguaggio naturale. Questa è la query che è stata eseguita sul database.

7. Il flusso di dati

   La visualizzazione a catena mostra come i dati fluiscono dalla domanda in linguaggio naturale dell'utente fino al risultato del database.

8. Test con un input dannoso

   Alice decide di testare la resilienza dell'API. Cosa succede se un utente include la sintassi SQL injection nella query in linguaggio naturale? Un sistema ben costruito dovrebbe rifiutare l’input o disinfettarlo. Crea un parametro di query che incorpora un comando DROP TABLE all'interno del prompt in linguaggio naturale.

9. Il danno nella risposta

   La risposta è arrivata, ma qualcosa non va. Osserva attentamente il corpo della risposta.

10. L'SQL iniettato

    Il pannello SQL rivela esattamente ciò che l'intelligenza artificiale ha generato. Il payload dell'iniezione è stato fedelmente tradotto in SQL eseguibile.