Von der KI geschriebene Tests ohne Aussagekraft

Was ist Von der KI geschriebene Tests ohne Aussagekraft?

Ein KI-Assistent kann Tests schreiben, die bestehen, ohne das zu prüfen, worauf es ankommt. Sie übernehmen zwölf grüne Tests für einen Endpunkt, der nur Admins offensteht, sehen zu, wie ein ganz normaler Nutzer darüber die komplette Gehaltsliste liest, und stellen fest, dass sich jeder Test als Admin angemeldet hat und einer nur geprüft hat, ob es überhaupt einen Statuscode gibt. Sie schreiben den fehlenden Negativtest, sehen ihn gegen den ausgelieferten Code fehlschlagen und korrigieren dann die Prüfung. Danach können Sie von einem Assistenten geschriebene Tests lesen und den Fall, der abgelehnt werden muss, mit einer Assertion absichern.

Was Sie lernen in Von der KI geschriebene Tests ohne Aussagekraft

• Erkennen, dass bestandene Tests eines Assistenten nur die geschriebenen Fälle belegen, nicht die ausgelassenen
• Erklären, warum die Anweisungsabdeckung ausgeführte Anweisungen zählt und nicht geprüftes Verhalten, sodass auch ein hoher Wert genau den Zweig verfehlen kann, über den Daten abfließen
• Einen Test lesen, um zu sehen, mit welcher Identität er sich anmeldet und was er tatsächlich prüft, statt einem grünen Ergebnis zu vertrauen
• Den Negativtest für eine Regel der Zugriffskontrolle schreiben und ihn gegen den fehlerhaften Code fehlschlagen sehen, bevor dieser korrigiert wird
• Einen Autorisierungsfix verifizieren: Die abgelehnte Anfrage liefert ein 403, und der Negativtest besteht jetzt

Von der KI geschriebene Tests ohne Aussagekraft — Trainingsschritte

1. Gehälter nur für Admins

   Ganz oben in Ihrer Liste in Jotvane, dem Issue-Tracker des Teams, steht eine Anfrage Ihrer Teamleiterin: Der neue Gehalts-Endpunkt muss auf Admins beschränkt werden, und sie möchte Tests sehen, bevor er am Freitag live geht.

2. Den Endpunkt öffnen

   Der Editor lädt Ihre neue Rollenprüfung, die Gehalts-Route und die leere Testdatei. requireRole ist die Middleware, die Sie heute Morgen geschrieben haben: Eine Route gibt an, welche Rolle sie verlangt, und die Prüfung soll alle anderen abweisen.

3. Ihre frisch geschriebene Prüfung

   In der Gehalts-Route greift Ihre Prüfung. Öffnen Sie die Route, um zu sehen, an welcher Stelle requireRole steht.

4. Tests anfordern

   Öffnen Sie Claude und bitten Sie den Assistenten, die Tests für den Gehalts-Endpunkt zu schreiben, so wie Ihre Teamleiterin es verlangt hat.

5. Zwölf Tests, alle grün

   Claude liest die Route und die Rollenprüfung, schreibt dann die Testdatei und meldet zurück: zwölf Tests, alle bestanden, 94 % Testabdeckung.

6. Tests annehmen

   Wenn Sie den Diff annehmen, landet Claudes Testdatei im Projekt. Die Randleiste markiert jede Zeile violett als ungeprüft: vom Assistenten geschrieben, von noch keinem Menschen gelesen.

7. Grünes Licht für den Go-Live

   Führen Sie die Tests aus. Stimmen sie mit Claudes Bericht überein, bestehen zwölf Tests, die Abdeckung liegt bei 94 %, und der Endpunkt wirkt gut genug abgedeckt, um am Freitag live zu gehen.

8. Gehaltsliste für alle lesbar

   Bob arbeitet bei Farrowlin und hat ein ganz normales Konto: keine Admin-Rolle, keine besonderen Rechte. Neugierig auf den neuen Gehalts-Endpunkt richtet er den API Tester darauf und schickt sein eigenes Session-Token mit, wie es jede Anfrage eines angemeldeten Nutzers tut.

9. Meldung aus der Personalabteilung

   Die HR-Leiterin hat ein Issue angelegt. Jemand ohne Berechtigung für die Gehaltsdaten hat über die API die vollständige Gehaltsliste abgerufen, und sie möchte wissen, wie der Endpunkt das zulassen konnte.

10. Nachlesen, was die Tests prüfen

    Die Herkunftsleiste zeigt, wer die Tests geschrieben hat und dass niemand sie gelesen hat. Lesen Sie sie jetzt: Mit welcher Rolle melden sie sich an, und was prüfen ihre Assertions tatsächlich? Markieren Sie danach Claudes Zeilen als geprüft.