Prompt-Injection in Dokumenten

Was ist Prompt-Injection in Dokumenten?

Ein KI-Assistent, der einen Anhang zusammenfasst, liest jedes Wort der Datei – auch Text, den Menschen nie zu sehen bekommen. Für den Assistenten verfasster Text kann eine Behauptung in seiner selbstsicheren Stimme in die Zusammenfassung einschleusen; daraus kann eine Zahlungsanweisung werden. In dieser Übung sehen Sie eine Zusammenfassung mit einer nie erteilten Freigabe, verfolgen die Behauptung bis zu einem verborgenen Absatz im Dokument zurück und prüfen sie beim Team, das das Lieferantenregister verwaltet.

Was Sie lernen in Prompt-Injection in Dokumenten

• Erkennen Sie, dass eine KI-Zusammenfassung wiedergibt, was im Quelldokument steht. Wer das Dokument kontrolliert, kann dadurch einen Teil der Antwort beeinflussen.
• Achten Sie auf einen Tonwechsel: Eine Zusammenfassung hört auf, die Datei zu beschreiben, und beginnt, dem Leser Anweisungen zu geben oder eine interne Entscheidung zu behaupten.
• Blenden Sie den verborgenen Text in einem Dokument ein und verbinden Sie ihn mit den konkreten Sätzen, die der Assistent daraus erzeugt hat.
• Prüfen Sie eine Freigabe oder Zahlungsforderung direkt an der Quelle: beim Team, das das Lieferantenregister verwaltet, und über einen vertrauten Kanal. Antworten Sie nicht auf die Nachricht, in der die Behauptung aufgestellt wurde.
• Melden Sie ein manipuliertes Dokument so, dass andere handeln können: Nennen Sie die Datei und zitieren Sie die Behauptung wortgetreu.

Prompt-Injection in Dokumenten — Trainingsschritte

1. Ausschreibungswoche

   Heute ist Dienstag, 09:20 Uhr, Abgabeschluss für die CR-118-Angebote. Drei Fertigungsunternehmen wurden eingeladen, ein Angebot für das Handlauf- und Gehwegpaket einzureichen. Bis Donnerstag müssen Sie dem Projektmanager eine Empfehlung vorlegen. Corrowdale Engineering hat im Frühjahr einen KI-Assistenten im E-Mail-Client aktiviert. Er fasst E-Mail-Verläufe und Anhänge zusammen. In einer Woche wie dieser verlassen sich alle darauf.

2. Eingang des zweiten Angebots

   Die E-Mail von Quastmark Fabrication mit dem Angebot im Anhang ist eingegangen. Sie haben auf dieses Angebot gewartet; es stammt von der Adresse, die die kaufmännische Leitung des Unternehmens schon immer verwendet hat.

3. Assistenten öffnen

   Der Vorschlag umfasst 14 Seiten, und danach warten noch zwei weitere Angebote. Genau für solche Momente macht sich der Assistent bezahlt.

4. Den Anhang zusammenfassen

   Der Assistent kann die Nachricht oder den Anhang zusammenfassen oder eine Antwort entwerfen. Die E-Mail umfasst vier Zeilen und Sie haben sie bereits gelesen. Die vierzehn Seiten möchten Sie in zehn Sekunden zusammengefasst sehen.

5. Die Zusammenfassung erscheint

   Corrowdale Assist öffnet das PDF und beginnt mit dem Schreiben.

6. Die Zusammenfassung prüfen

   Drei Absätze mit genau dem, wonach Sie gefragt haben, und dann ein vierter, der etwas anderes bewirkt.

7. Den Absatz einordnen

8. Die Quelle der Antwort

   Unter der Antwort listet der Assistent die Quellen auf. Bei der Aufforderung, einen Anhang zusammenzufassen, ist diese Liste kurz – und der wichtigste Teil des Panels.

9. Die Datei herunterladen

   Der Assistent hat den Anhang gelesen. Sie noch nicht.

10. Das Angebot lesen

    Six sections: scope, price, programme, quality, terms, remittance. It is a competent bid document from a fabricator that has tendered to Corrowdale Engineering before but never won a package. There is no mention of Finance and no mention of an approval anywhere on it.