valutazione delle capacità predittive di un fms

Marco Scattareggia September, 13th 2011

Valutazione delle

Capacità Predittive

di un

Fraud Management System

Marco Scattareggia

Marco Scattareggia September, 13th 2011 2

Blacklists

Velocity & collision

High risk destinations

Unknown/ unauthorized/ suspended subscriber

Thresholds & profiling

Cross dimensions

Patterns

Stuffing

Prepaid scams (balance,

odd recharges)

Split packages

Automatic dialer

SIM gateway

NRTRDE - TAP IN, HUR

Etc.

Architettura di un FMS


Chi è il migliore?

Perché?

Cosa fare per migliorare?

Come innescare un

Circolo Virtuoso ?

3

Benchmarking


4

1. Riconoscimento e Consapevolezza del problema

2. Adeguamento dell’Organizzazione

3. Avviamento delle procedure di Prevenzione

4. Adeguamento delle infrastrutture e delle tecnologie

per l’Individuazione ed il Contrasto delle frodi.

5. Collaborazione con gli altri Operatori, le Associazioni

di Categoria, le Istituzioni Pubbliche ed i Fornitori.

6. Innovazione continua

Best Practice


Fattori di Skewness e Kurtosis

Fre

qu

en

za

Valore misurato

Frode Non Frode

Distribuzione Gaussiana della probabilità

5

Minimo, Massimo e Range

Media, Mediana e Moda

Varianza e Deviazione Standard

Statistica Descrittiva

Ha l’obiettivo di ricavare da un insieme di

dati raccolti in tabelle e grafici (troppo

numerosi per poter essere esaminati sin-

golarmente) alcune informazioni signifi-

cative per il problema studiato.


Fattore di sbilanciamento asimmetrico

FP TN

Not Fraud

Fre

quenza

Valore misurato

Soglia

TP FN

Frode

Skewness Factor

Fre

quenza

Valore misurato

Non Frode

Skew

Negativa

Skew Positiva


Kurtosis Factor

Fre

quenza

F

requenza

Valore misurato

Valore misurato

FP TN

TP FN

Frode

Non Frode

Fattore Curtosi sulla concentrazione

Fre

quenza

Valore misurato

Kurtosis Factor

http://upload.wikimedia.org/wikipedia/commons/e/e6/Standard_symmetric_pdfs.png


Statistica Inferenziale (Induttiva)

L’obiettivo della statistica inferenziale è fornire metodi che

servono ad imparare dall'esperienza, cioè a costruire

modelli per passare da casi particolari al caso generale.

Nella statistica inferenziale o induttiva, si usano tecniche

del calcolo delle probabilità.

Laplace stabilì le regole per un ragionamento

matematico induttivo, basato sulla probabilità, che oggi

chiamiamo Bayesiano e avviò la Statistica Inferenziale


Teorema di Bayes per la Probabilità delle Cause

Tabella di Contingenza

Acquista Non Acquista Probabilità Marginale

Sesso S A NA

Uomo U 0,40 0,30 0,70

Donna D 0,10 0,20 0,30

Prob.Marginale 0,50 0,50 1,00

Probabilità Congiunta

P(SD A)

Probabilità Marginale

P(A) = P(SU A) + P(SD A)

Probabilità Marginale

P(SU) = P(SU A) + P(SU NA)

Probabilità Condizionante

P(A SU) 0,40

P(ASU) = = = 0,57

P(SU) 0,70

Teorema di Bayes

P(ASU) x P(SU) 0,40

P(SUA) = = = 0,80

P(ASi) x P(Si) 0,50

Effetto

Causa

Utilizza la “probabilità condizionata” e risponde alla domanda: “Sapendo che si è verificato l’effetto

B, qual è la probabilità che la causa sia A ?” Fornisce la probabilità della causa dato l’effetto.

http://commons.wikimedia.org/wiki/File:Thomas_Bayes.gif


Predictive Analytics

Score Monitoring

Business

understanding Data

understanding

Data

preparation

Model

Evaluation

Model

Deployment

Score

Modeling

Analysis

Database

Model Refreshing


KPI SMART Specific specifici, chiari, non ambigui

Measurable misurabili in modo pratico e oggettivo

Attainable sfidanti ma realistici

Relevant significativi per il business dell’operatore

Time bound verificabili su periodi di tempo prestabiliti

Key Performance Indicator


Matrice di Confusione

Frode Non-Frode

Casi previsti come Frode

True Positive TP = True Positive/p

False Positive

FP = False Positive/n

Casi previsti come Non-Frode

False Negative FN = False Negative /p

True Negative

TN = True Negative/n

Casi Totali Total Positive = p

TP + FN = 1

Total Negative = n

FP + TN = 1

KPI di Base per un FMS


Distribuzione delle Frodi


p = total Frauds True Positive rate = True Positive / p = TP = 1 - FN False Negative rate = False Negative / p = FN = 1 - TP n = total Not Frauds False Positive rate = False Positive / n = FP = 1 - TN True Negative rate = True Negative / n = TN = 1 - FP

14

Accuracy = “Total correctly classified” / “Total cases” = (TP+TN) / (p + n) Misclassification-Rate = "Total not correctly classified" / "Total cases" = (FN+FP) / (p + n)

Precision = True Positive / (True Positive + False Positive) Recall = True Positive / p = True Positive rate

Hit Rate 1 = Precision Hit Rate 2 = Recall

Sensitivity = True Positive rate = Recall Specificity = True Negative rate

1 – Specificity = False Positive rate

KPI utili per misurare le Capacità Predittive


Visualizzazione in forma grafica dei KPI (1/2)

• Precision = TP / (TP+FP) = % di

TP presentati all’analista sul totale

dei Casi.

• Recall = TP / (TP+FN) = % di TP

individuati dal sistema sul totale dei

casi realmente esistenti.

All the cases presented are fraud

(TP=100%, FP=0%), but 50% of fraud are

missed (TN=50%, FN=50%).

Only 37% of the cases analyzed are

fraud (TP=37%, FP=63%), but analyst

have seen 100% of fraud cases

(TN=100%, FN=0%).


Visualizzazione in forma grafica dei KPI (2/2)

• Sensitivity = TP , % di Frodi

presentate come frodi.

• 1-Specificity = FP, % di Non-Frodi

presentate come frodi.

• Specificity = TN, % di Non-Frodi

presentate come non frodi.


Analisi delle

curve ROC

e della AUC


Grazie !

[email protected]

valutazione delle capacità predittive di un fms

Documents