Oltre la legge di Benford: anomaly detection per la revisione
La legge di Benford è uno dei test più citati della revisione, e anche tra i più fraintesi: funziona bene come campanello d'allarme, non come prova. Il vero salto di qualità sta nel passare dai test di conformità ai modelli, tenendo sotto controllo il vincolo che in audit decide tutto: il costo del falso positivo.
Cosa dice davvero Benford
In molte grandezze naturali la prima cifra non è equidistribuita: segue P(d) = log10(1 + 1/d). L'1 compare circa nel 30% dei casi, il 9 in meno del 5%.
| Prima cifra | Frequenza attesa |
|---|---|
| 1 | 30,1% |
| 2 | 17,6% |
| 3 | 12,5% |
| 4 | 9,7% |
| 5 | 7,9% |
| 6 | 6,7% |
| 7 | 5,8% |
| 8 | 5,1% |
| 9 | 4,6% |
Vale su importi che spaziano su più ordini di grandezza, non su numeri vincolati (codici, prezzi con cap, importi soglia). Mark Nigrini ne ha fatto uno strumento forense con i test sulle prime due cifre e la MAD (mean absolute deviation) come misura di conformità, con soglie indicative di accettabilità.
I limiti
I limiti sono tre, tutti sostanziali. È un test noto, quindi aggirabile da chi vuole frodare distribuendo bene le cifre. Ha basso potere sui campioni piccoli. E genera falsi allarmi su popolazioni legittimamente non-Benford (prezzi a 0,99, arrotondamenti, listini). Da solo, seleziona male.
Dai test ai modelli
I metodi non supervisionati ampliano il raggio cogliendo combinazioni anomale su più variabili insieme (fornitore, importo, orario di registrazione, utente, sequenza), combinazioni che nessun test univariato riesce a vedere:
- Isolation Forest (Liu, Ting & Zhou, 2008): isola i punti anomali con pochi tagli casuali, efficiente su grandi volumi.
- Autoencoder: imparano a ricostruire le scritture «normali»; un errore di ricostruzione alto segnala l'eccezione.
- Stime di densità/clustering: isolano ciò che sta lontano dalla massa.
Il vero vincolo: base rate e costo del falso positivo
La frode è rara, e questo cambia tutto. Esempio puramente illustrativo: su 100.000 scritture con una prevalenza dello 0,5% (500 casi veri), un modello con recall 80% e tasso di falsi positivi 5% produce 400 veri positivi e circa 4.975 falsi positivi: una precisione intorno al 7%. Ogni segnalazione costa tempo di un revisore, quindi la metrica che conta è la precision@k sul budget di verifica, non l'AUC complessiva.
Per questo l'anomaly detection in revisione è uno strumento di selezione del campione, non un giudice. Ogni segnalazione deve essere spiegabile (quali variabili l'hanno determinata) e ricondotta a una procedura di verifica, in coerenza con l'impianto del principio di revisione sul rischio di frode (ISA Italia 240). L'output non è «frode sì/no», ma «guarda qui, e per questo motivo».
- Benford è un pre-filtro, non una prova: noto, debole sui piccoli campioni, rumoroso su popolazioni non-Benford.
- I modelli multivariati colgono pattern che i test univariati non vedono.
- Con frodi rare, conta la precisione ai vertici del ranking, non l'AUC.
- Ogni anomalia va spiegata e verificata da un professionista.
Riferimenti
- Benford, The Law of Anomalous Numbers, 1938.
- Nigrini, Benford's Law: Applications for Forensic Accounting, Auditing, and Fraud Detection, Wiley, 2012.
- Liu, Ting & Zhou, Isolation Forest, IEEE ICDM 2008.
- Principio di revisione ISA Italia 240 (responsabilità del revisore relativamente alle frodi).