Sfruttamento della pipeline RAG

Cos’è Sfruttamento della pipeline RAG?

La generazione aumentata di recupero risponde da qualunque cosa restituisca la ricerca vettoriale e la classificazione per somiglianza non ha alcuna nozione di autorità. Un documento non deve essere vero, approvato o aggiornato per occupare il primo posto. Deve solo sembrare la corrispondenza più vicina. Caricherai una politica di conservazione concorrente piena di termini indice sintonizzati sulle domande poste dai dipendenti, quindi indagherai sui cattivi consigli di conformità che produce, tracciando il file inserito attraverso i suoi metadati e il registro di controllo del collaboratore. Applicherai le liste consentite di origine e l'autorizzazione a livello di documento prima del recupero, non dopo.

Cosa imparerai in Sfruttamento della pipeline RAG

• Spiega perché la classificazione per somiglianza vettoriale non ha alcuna nozione di autorità, quindi un documento non approvato può superare la politica autentica
• Identificare il riempimento di parole chiave nei termini dell'indice di un documento come meccanismo che porta un file inserito in cima ai risultati di recupero
• Traccia una risposta sbagliata dell'IA attraverso le sue fonti citate al documento inserito e all'account del collaboratore che lo ha caricato
• Applica l'autorizzazione a livello di documento, le liste consentite di origine e il controllo dei contributori prima del recupero anziché dopo la generazione della risposta
• Valutare un cambiamento di classificazione su un argomento politico consolidato come un segnale di integrità che vale la pena indagare in una base di conoscenza RAG

Sfruttamento della pipeline RAG — Fasi della formazione

1. Mirare alla base di conoscenza

   Bob ha ottenuto le credenziali di collaboratore per la CypherPeak Knowledge Base di Ridgeline Financial. Le credenziali appartengono all'account di una società di consulenza (m.garcia@consultingpro.net) compromesso in una precedente violazione. Il suo obiettivo: le politiche di conformità su cui i dipendenti fanno affidamento per le decisioni normative. Una consulenza errata in materia di conformità presso una società finanziaria può innescare indagini della SEC.

2. Accesso con credenziali rubate

   Bob inserisce le credenziali del consulente rubato. In qualità di collaboratore, può caricare nuovi documenti nella knowledge base senza richiedere l'approvazione dell'amministratore: il sistema si fida equamente di tutti i contributori.

3. Ricognizione: trovare l'obiettivo

   Bob effettua una ricerca nella knowledge base per comprendere il panorama attuale. Ha bisogno di trovare un’area politica di alto valore in cui le risposte errate dell’IA causerebbero il massimo danno. La conservazione dei dati in una società finanziaria è un obiettivo primario: periodi di conservazione errati violano le normative federali.

4. Apertura della politica legittima

   I risultati della ricerca rivelano l'obiettivo. La 'Politica di conservazione dei dati del cliente v4.2' si trova in cima con un punteggio di pertinenza del 94%. Bob lo apre per studiarne il contenuto, la struttura e i termini chiave: ha bisogno che il suo documento falso abbia un aspetto altrettanto professionale.

5. Studiare il documento reale

   Bob legge la vera politica. Il dettaglio chiave: 7 anni di conservazione ai sensi della regola 17a-4 della SEC e della sezione 802 della SOX. Nota la struttura del documento, il livello di classificazione e la paternità: tutte cose che il suo documento falso deve imitare per sembrare legittimo. Ma Bob non modificherà questo documento. A differenza dell'avvelenamento dei dati (che modifica i file esistenti), il suo approccio è più sottile: caricherà un documento concorrente progettato per superare quello reale.

6. Elaborazione del documento concorrente

   Bob crea un nuovo documento progettato per assomigliare a un legittimo aggiornamento della politica aziendale. Utilizza un linguaggio professionale e segue la stessa struttura dei documenti reali di Ridgeline Financial, ma contiene informazioni pericolosamente errate.

7. Impostazione del periodo di conservazione errato

   La vera politica richiede 7 anni. Bob imposta il periodo di conservazione a 12 mesi, un periodo sufficientemente breve da far sì che i dipendenti che seguono questo consiglio distruggano i documenti che la legge federale impone loro di conservare. In una società finanziaria, ciò potrebbe innescare un’indagine della SEC.

8. L'arma segreta: il riempimento di parole chiave

   Ora Bob implementa la tecnica che rende questo un attacco di incorporamento di vettori. La sezione 5 del documento è etichettata 'Termini dell'indice del documento': sembra metadati di routine. Ma Bob lo riempie con un fitto blocco di parole chiave ripetitive che coprono ogni possibile variazione di ricerca. Quando la base di conoscenza converte questo documento in un incorporamento vettoriale, queste parole chiave costringono l'incorporamento a essere artificialmente simile a qualsiasi query sulla conservazione dei dati, garantendo che superi la politica legittima.

9. Caricamento nella Knowledge Base

   Il documento è pronto. Bob torna al portale KB per caricarlo. In qualità di collaboratore, il suo caricamento verrà immediatamente indicizzato dal sistema di recupero AI: nessuna revisione dei contenuti, nessun flusso di lavoro di approvazione, nessun controllo delle differenze rispetto alle politiche esistenti.

10. Selezione del documento avvelenato

    Bob seleziona il documento pieno di parole chiave dai suoi download. La base di conoscenza lo accetta senza dubbio: una nuova guida alle 'migliori pratiche' da parte di un consulente, nulla di insolito in superficie.