Test vuoti scritti dall'AI
Dodici test verdi. Nessuno controllava il caso che ha fatto trapelare i dati.
Cos’è Test vuoti scritti dall'AI?
Un assistente AI può scrivere test che passano senza controllare ciò che conta. Accetterai dodici test verdi per un endpoint riservato agli amministratori, vedrai un dipendente comune leggere tutti gli stipendi da quell'endpoint e scoprirai che ogni test accedeva come admin e che uno verificava soltanto l'esistenza di un codice di stato. Scriverai il test negativo che mancava, lo vedrai fallire sul codice già rilasciato e poi correggerai il controllo. Alla fine saprai leggere i test scritti da un assistente e verificare il caso che deve essere rifiutato.
Cosa imparerai in Test vuoti scritti dall'AI
- Riconoscere che i test scritti da un assistente e superati dimostrano soltanto i casi scritti, non quelli saltati
- Spiegare perché la copertura delle istruzioni conta le istruzioni eseguite e non i comportamenti verificati, così che un valore alto può comunque non vedere il ramo che fa trapelare i dati
- Leggere un test per capire con quale identità accede e che cosa verifica davvero, invece di fidarsi di un risultato verde
- Scrivere il test negativo per una regola di controllo degli accessi e vederlo fallire sul codice difettoso prima di correggerlo
- Verificare una correzione dell'autorizzazione controllando che la richiesta rifiutata restituisca un 403 e che il test negativo ora passi
Test vuoti scritti dall'AI — Fasi della formazione
-
Stipendi riservati agli amministratori
La richiesta della responsabile del team è in cima alla coda di Jotvane, il tracker delle issue del team. Il nuovo endpoint degli stipendi deve essere riservato agli amministratori, e lei vuole i test prima del rilascio di venerdì.
-
Apri l'endpoint
L'editor carica il controllo del ruolo che hai appena scritto, la route degli stipendi e il file di test ancora vuoto. requireRole è il middleware che hai scritto stamattina: ogni route indica il ruolo richiesto e il controllo dovrebbe respingere tutti gli altri.
-
Il controllo che hai appena scritto
Il controllo lavora nella route degli stipendi. Aprila per vedere dove si trova requireRole .
-
Chiedi i test
Apri Claude e chiedigli di scrivere i test per l'endpoint degli stipendi, come ha chiesto la responsabile.
-
Dodici test, tutti verdi
Claude legge la route e il controllo del ruolo, poi scrive il file di test e riferisce: dodici test, tutti superati, copertura del 94%.
-
Accetta i test
Accettando, il file di test di Claude entra nel codice. Il margine segna in viola ogni riga come non rivista: scritta dall'assistente, non ancora letta da una persona.
-
Verde, quindi si rilascia
Esegui i test. Se corrispondono a quanto riferito da Claude, ne passano dodici e la copertura è del 94%: l'endpoint sembra coperto abbastanza da essere rilasciato per venerdì.
-
Chiunque può leggere gli stipendi
Bob lavora in Farrowlin con un account normale: nessun ruolo admin, nessun accesso speciale. Curioso del nuovo endpoint degli stipendi, lo raggiunge con l'API Tester e invia il proprio token di sessione, come in qualsiasi richiesta di un utente che ha eseguito l'accesso.
-
Se ne accorgono le Risorse umane
La responsabile delle Risorse umane ha aperto un'issue. Qualcuno senza alcun ruolo nelle paghe ha scaricato l'elenco completo degli stipendi tramite l'API, e lei vuole sapere come l'endpoint abbia lasciato passare quella persona.
-
Leggi che cosa controllano i test
La barra della provenienza dice chi ha scritto i test e che nessuno li ha letti. Leggili ora: con quale identità accedono e che cosa verificano davvero. Poi segna come riviste le righe di Claude.
Copertura dei framework di sicurezza
OWASP Top 10
- A06:2025 Insecure Design
- A01:2025 Broken Access Control
OWASP ASVS
- V8.2.1 General Authorization Design
CWE
- CWE-862 Missing Authorization
CIS Controls
- CIS 16 Application Software Security
NIST CSF
- PR.AT-02 Individuals in specialized roles are provided with awareness and training so that they possess the knowledge and skills to perform relevant tasks with cybersecurity risks in mind
- PR.PS Platform Security
NICE Framework
- DD-WRL-003 Secure Software Development