Sfruttamento della pipeline RAG

Cos’è Sfruttamento della pipeline RAG?

La generazione aumentata di recupero risponde da qualunque cosa restituisca la ricerca vettoriale e la classificazione per somiglianza non ha alcuna nozione di autorità. Un documento non deve essere vero, approvato o aggiornato per occupare il primo posto. Deve solo sembrare la corrispondenza più vicina. Caricherai una politica di conservazione concorrente piena di termini indice sintonizzati sulle domande poste dai dipendenti, quindi investigherai sui cattivi consigli di conformità che produce, tracciando il file inserito attraverso i suoi metadati e il registro di controllo del collaboratore. Imparerai perché le liste consentite di origine e l'autorizzazione a livello di documento devono essere inserite prima del recupero e non dopo.

Cosa imparerai in Sfruttamento della pipeline RAG

• Spiega perché la classificazione per somiglianza vettoriale non ha alcuna nozione di autorità, quindi un documento non approvato può superare la politica autentica
• Identificare il riempimento di parole chiave nei termini dell'indice di un documento come meccanismo che porta un file inserito in cima ai risultati di recupero
• Traccia una risposta sbagliata dell'IA attraverso le sue fonti citate al documento inserito e all'account del collaboratore che lo ha caricato
• Applica l'autorizzazione a livello di documento, le liste consentite di origine e il controllo dei contributori prima del recupero anziché dopo la generazione della risposta
• Valutare un cambiamento di classificazione su un argomento politico consolidato come un segnale di integrità che vale la pena indagare in una base di conoscenza RAG

Sfruttamento della pipeline RAG — Fasi della formazione

1. Mirare alla base di conoscenza

   Bob ha ottenuto le credenziali di collaboratore per la Compass Knowledge Base di Ridgeline Financial. Le credenziali appartengono all'account di una società di consulenza (m.garcia@consultingpro.net) compromesso in una precedente violazione. Il suo obiettivo: le politiche di conformità su cui i dipendenti fanno affidamento per le decisioni normative. Una consulenza errata in materia di conformità presso una società finanziaria può innescare indagini della SEC.

2. Accesso con credenziali rubate

   Bob inserisce le credenziali del consulente rubato. In qualità di collaboratore, può caricare nuovi documenti nella knowledge base senza richiedere l'approvazione dell'amministratore: il sistema si fida equamente di tutti i contributori.

3. Ricognizione: trovare l'obiettivo

   Bob searches the knowledge base to understand the current landscape. He needs to find a high-value policy area where wrong AI answers would cause maximum damage. Data retention at a financial firm is a prime target - incorrect retention periods can put a firm in breach of its recordkeeping obligations.

4. Apertura della politica legittima

   I risultati della ricerca rivelano l'obiettivo. La 'Politica di conservazione dei dati del cliente v4.2' si trova in cima con un punteggio di pertinenza del 94%. Bob lo apre per studiarne il contenuto, la struttura e i termini chiave: ha bisogno che il suo documento falso abbia un aspetto altrettanto professionale.

5. Studiare il documento reale

   Bob legge la vera politica. Il dettaglio chiave: 7 anni di conservazione, fissati per coprire la regola SEC 17a-4 e la sezione SOX 802. Nota la struttura del documento, il livello di classificazione e la paternità: tutte cose che il suo documento falso deve imitare per sembrare legittimo. Ma Bob non modificherà questo documento. A differenza dell'avvelenamento dei dati (che modifica i file esistenti), il suo approccio è più sottile: caricherà un documento competing progettato per superare quello reale.

6. Elaborazione del documento concorrente

   Bob crea un nuovo documento progettato per assomigliare a un legittimo aggiornamento della politica aziendale. Utilizza un linguaggio professionale e segue la stessa struttura dei documenti reali di Ridgeline Financial, ma contiene informazioni pericolosamente errate.

7. Impostazione del periodo di conservazione errato

   The real policy requires 7 years. Bob sets the retention period to 12 months - short enough that employees following this advice would destroy records that the firm's own policy, set to meet SEC recordkeeping rules, requires them to keep. At a financial firm, this could trigger an SEC investigation.

8. L'arma segreta: il riempimento di parole chiave

   Ora Bob implementa la tecnica che rende questo un attacco di incorporamento di vettori. La sezione 5 del documento è etichettata 'Termini dell'indice del documento': sembra metadati di routine. Ma Bob lo riempie con un fitto blocco di parole chiave ripetitive che coprono ogni possibile variazione di ricerca. Quando la base di conoscenza converte questo documento in un incorporamento vettoriale, queste parole chiave costringono l'incorporamento a essere artificialmente simile a qualsiasi query sulla conservazione dei dati, garantendo che superi la politica legittima.

9. Caricamento nella Knowledge Base

   Il documento è pronto. Bob torna al portale KB per caricarlo. In qualità di collaboratore, il suo caricamento verrà immediatamente indicizzato dal sistema di recupero AI: nessuna revisione dei contenuti, nessun flusso di lavoro di approvazione, nessun controllo delle differenze rispetto alle politiche esistenti.

10. Selezione del documento avvelenato

    Bob seleziona il documento pieno di parole chiave dai suoi download. La base di conoscenza lo accetta senza dubbio: una nuova guida alle 'migliori pratiche' da parte di un consulente, nulla di insolito in superficie.