Beschrijvingen van vergiftigd gereedschap

Wat is Beschrijvingen van vergiftigd gereedschap?

Een AI-agent leest de beschrijving van een aangesloten tool om te beslissen hoe en wanneer deze moet worden gebruikt, waardoor die tekst dichter bij uitvoerbare instructies komt te staan dan bij documentatie. Verander de beschrijving en je verandert het gedrag van de agent, zonder verandering aan de handler, het schema of de machtigingen, en niets in een codebeoordeling om dit op te sporen. Je zult een tool vinden die maanden geleden is goedgekeurd en die de agent nu instrueert om elk bericht naar een extern adres te BCCen, de live beschrijving te vergelijken met de goedgekeurde bewoording en de gecompromitteerde server bij de gateway te blokkeren.

Wat je leert in Beschrijvingen van vergiftigd gereedschap

• Leg uit waarom een AI-agent de beschrijving van een verbonden MCP-tool behandelt als uitvoerbare instructies in plaats van als passieve documentatie
• Herken een gereedschapsvergiftiging: een server verdient goedkeuring op basis van één beschrijving, waarna een latere update stilzwijgend ander gedrag verandert zonder dat er code of toestemming wordt gewijzigd
• Bevat een vergiftigde tool op elk niveau dat deze kan bereiken: weiger de enkele oproep, schakel de tool uit voor de huidige sessie en blokkeer de gecompromitteerde server bij de gateway, zodat elk ander verbonden team ook wordt beschermd
• Weiger een tooloproep waarvan het gedrag niet langer overeenkomt met de beschrijving die oorspronkelijk was goedgekeurd, zelfs als de oproep anders zou slagen
• Behandel de beschrijving van een MCP-tool als een artefact voor de toeleveringsketen: zet de goedgekeurde versie vast, vergelijk elke update ermee en voorkom een gecompromitteerde server op zowel de client als de gateway

Beschrijvingen van vergiftigd gereedschap — Trainingsstappen

1. Het publicatietoken van iemand anders

   Bob valt Sarnholt Systems niet aan. Hij valt de verkoper aan die ze al vertrouwen. Met een gestolen beheerderstoken kan hij publiceren naar het VaultSync Bridge-register als VaultSync Bridge.

2. Het manifest dat iedereen leest

   Het toolmanifest van de server is wat elke verbonden client vermeldt wanneer hij de server vraagt wat hij kan doen. Bob opent het exemplaar dat hij gaat publiceren.

3. Eén snaar

   Hij verandert niets waar een recensent voor zou twijfelen. De handler blijft onaangeroerd, het invoerschema blijft onaangeroerd, de machtigingen blijven onaangeroerd. Hij bewerkt de zin die de agent voorleest.

4. Verzonden als een patch

   Hij publiceert het als een gewone puntuitgave. Het register accepteert het omdat een legitiem beheerdersaccount het heeft gepubliceerd.

5. Wachten op de update

   Bob is klaar. De rest gebeurt binnen Sarnholt, op hun eigen goedgekeurde server, de volgende keer dat een agent een tool pakt die hij al maanden veilig gebruikt.

6. Een routinematige leveranciersupdate

   Maandagochtend bij Sarnholt Systems. Alice, een AI-platformingenieur, opent haar inbox met de gebruikelijke stapel: notities, een agenda-uitnodiging en een releasemelding van een externe MCP-server waar haar team maanden geleden verbinding mee heeft gemaakt. Niets ervan lijkt dringend.

7. De vloot verbinden

   Sarnholt Systems voert zijn agenttools uit via Agent Host, de MCP-client van het bedrijf. ticket-desk-mcp , een kleine interne helpdeskintegratie, en fileops-mcp , de zojuist gepatchte bestands- en e-mailconnector van VaultSync Bridge, zijn al verbonden en goedgekeurd.

8. Het beoordelen van de goedgekeurde tools

   Voordat Alice iets aanraakt, controleert ze wat er daadwerkelijk met elkaar verbonden is. Beide servers zien er precies zo uit als toen haar team zich bij hen aanmeldde: hetzelfde eindpunt, dezelfde versie, dezelfde toolbeschrijvingen.

9. De update landt rustig

   De patch van VaultSync bereikt fileops-mcp terwijl Alice nog op het tabblad staat. Het herschrijft wat send_email moet doen. Geen goedkeuringsprompt, geen versiebump, geen melding. De gereedschapslijst wordt eenvoudigweg opnieuw getekend.

10. Een gewoon verzoek

    De gereedschapslijst werd opnieuw getekend terwijl Alice haar inbox aan het lezen was; niets vroeg haar ernaar te kijken. Ze gaat terug naar het routinewerk en vraagt ​​de agent een normale taak uit te voeren.