Übermäßiges Vertrauen in die Empfehlungen von KI-Agenten

Was ist Übermäßiges Vertrauen in die Empfehlungen von KI-Agenten?

Der Schwachpunkt in einem Agenten-Workflow ist oft nicht das Modell. Es ist die Person, die ihre Ausgabe genehmigt. Je konsequenter ein System Recht hatte, desto weniger wird jede neue Empfehlung geprüft, sodass ein Angreifer nur die Empfehlungen anstupsen und auf den Zustimmungsreflex warten muss. Dies ist ASI09 in den OWASP Top 10 für Agentic AI Applications. Sie manipulieren die Bewertungsgewichte eines Agenten, nehmen dann den Platz des Genehmigers ein, genehmigen einen Routinestapel auf die übliche Weise und finden die betrügerische Zahlung, die durchgerutscht ist.

Was Sie lernen in Übermäßiges Vertrauen in die Empfehlungen von KI-Agenten

• Definieren Sie den Automatisierungsbias und erklären Sie, wie eine konsistente KI-Genauigkeit zu einer kognitiven Anfälligkeit für Manipulationen führt
• Identifizieren Sie subtile Anomalien in Empfehlungen von KI-Agenten, die kompromittierte Ergebnisse von legitimen unterscheiden
• Bewerten Sie die psychologischen Faktoren, die die Ausnutzung des Vertrauens zwischen Mensch und Agent als Angriffsvektor wirksam machen
• Wenden Sie strukturierte Verifizierungsabläufe an, darunter die eingehende Prüfung einer Zufallsstichprobe, Auslöser bei Anomalien und Verfahren mit doppelter Genehmigung, um Vertrauensausnutzung zu verhindern
• Unterscheiden Sie zwischen angemessener Vertrauenskalibrierung für KI-Agentenausgaben und gefährlicher übermäßiger Abhängigkeit, die Sicherheitslücken schafft

Übermäßiges Vertrauen in die Empfehlungen von KI-Agenten — Trainingsschritte

1. Aufklärung

   Bob setzt sein Aufklärungs-Toolkit seit Wochen gegen das Beschaffungssystem von CypherPeak Technologies ein. Über gestohlene API-Zugangsdaten eines Anbieters erlangte er Lese- und Schreibzugriff auf den Risk Scoring Agent der Pipeline – den Algorithmus, der Konfidenzwerte zuweist, bevor Vorgänge den menschlichen Prüfer erreichen.

2. Die Originalkonfiguration

   Bevor Bob die Payload injiziert, muss er sicherstellen, dass der Risk Scorer seine gefälschte Rechnung nicht markiert. Er öffnet die ursprüngliche Konfigurationsdatei des Agenten, um zu untersuchen, wie dieser Konfidenzwerte zuweist.

3. Manipulation der Gewichte

   Bob verwendet die gestohlenen API-Zugangsdaten des Anbieters, um eine geänderte Konfiguration zu übertragen. Er erhöht die Gewichtung der Anbieterhistorie, fügt eine Verdex-spezifische Überschreibung hinzu, die die Kontovalidierung deaktiviert, und schwächt die Autorisierungsprüfung, um mündliche Genehmigungen zu akzeptieren.

4. Erläuterung der Änderungen

   Jede Änderung dient einem bestimmten Zweck und stellt sicher, dass die betrügerische Rechnung die Bewertungspipeline unentdeckt passiert.

5. Die Payload injizieren

   Bob hat eine gefälschte Rechnung über eine Beratungspauschale von 47.500 $ erstellt, die Verdex Supply Co. nachahmt. Die Rechnung ahmt das Format von Verdex genau genug nach, um automatisierte Richtlinienprüfungen zu bestehen, leitet die Zahlung jedoch an ein von Bob kontrolliertes Bankkonto weiter. Er platziert sie zwischen den legitimen Vorgängen in der morgigen Charge.

6. Morgenbatch

   Alice richtet sich in ihrem Heimbüro ein. Eine E-Mail von Finance Operations informiert sie über die Beschaffungscharge des Morgens – fünf Artikel stehen zur Überprüfung bereit.

7. Die Genehmigungswarteschlange

   Die morgendliche Charge ist fertig. Fünf Vorgänge haben die Pipeline durchlaufen und warten auf Alices endgültige Genehmigung.

8. Ein bekannter Anbieter

   Der erste Vorgang stammt von Verdex Supply Co. – einem Anbieter, mit dem Alice seit über einem Jahr zusammenarbeitet. Monatliche Nachbestellungen von Büromaterial gehören zu den Routinevorgängen in der Warteschlange.

9. Überprüfung der Details

   Die Artikeldetails zeigen eine Standard-ACH-Zahlung an ein registriertes Konto, ein ordnungsgemäßes Rechnungsformat und eine genehmigte Budgetlinie. Alles ist in Ordnung.

10. Erneuerung des Cloud-Hostings

    Der nächste Punkt ist eine jährliche Verlängerung des Cloud-Hosting-Vertrags von DataScale Inc.