il data qualitya supporto dei sistemi di reporting · • audittrasformazione dei dati di origine...

25
Il Data Quality a supporto dei sistemi di reporting di reporting Metodologia ed esperienze Bip. AIEA – Sessione di Studio Torino, 28 novembre 2013

Upload: others

Post on 14-Jul-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Il Data Quality a supporto dei sistemi

di reportingdi reporting

Metodologia ed esperienze Bip.

AIEA – Sessione di Studio

Torino, 28 novembre 2013

Page 2: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Agenda

Obiettivi di governo del dato e approccio alla data governance

Un Framework per la data governance

Introduzione e approccio al Data Quality

Requisiti normativi del settore finanziario da Basilea II a Solvency II

La declinazione dei requisiti normativi in categorie di controlli IT

© Bip. 2013 - 1-

La reportistica sui controlli nell’ambito del “sistema dei controlli interni”

Potenziali implicazioni funzionali per le soluzioni applicative di reporting

Governance sulla struttura dei dati a supporto dei sistemi di reporting integrato

Page 3: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Obiettivi di governo del dato

• Stabilire un linguaggio comune (IT, Business e terze parti) di riferimento per il dato

• Identificare e ridurre le criticità in essere legate ai dati in termini di: :

Confrontati con altri asset IT, i dati presentano alcune peculiarità che rendono necessario identificare degli obiettivi specifici per il loro governo, garantendone così manutenzione ed evoluzione nel tempo coerenti alle esigenze aziendali

• I dati sono un asset trasversale rispetto a: sistemi, processi, organizzazione, etc.

• I dati vengono continuamente modificati e trasformati nel tempo, sia in modo automatico che manuale

CARATTERISTICHE FONDAMENTALI DEL DATO OBIETTIVI DI GOVERNO DEL DATO

© Bip. 2013 - 2-

essere legate ai dati in termini di: :• Controllo e comprensione della loro

creazione/ trasformazione• Mastership• Qualità dell’informazione• Affidabilità dei dati di reporting• Etc.

• Condividere la visione sull’evoluzione attesa dei dati ed anticipare il cambiamento

• Guidare l’evoluzione dei dati

automatico che manuale

• I dati hanno “memoria” (una volta creati, perdurano mantenendo i pregi e difetti iniziali)

• I dati hanno quindi un impatto rilevante avendo conseguenze dirette su:

• La modellazione dei processi di business

• Il disegno delle soluzioni lato IT

• Le attività operative dei gruppi di lavoro

• Etc.

Page 4: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Un framework per la data governanceL’approccio

Clienti Fornitori Terze Parti

• Creazione di un layer comune (Data Model) in grado di incrementare la comprensione sui dati e uniformare la comunicazione tra gli attori, sia interni che esterni, al perimetro aziendale

La Data Governance nasce dall’esigenza di avere un approccio strutturato per indirizzare gli obiettivi specifici inerenti il governo del dato

MACRO-ATTIVITA’

1

1

© Bip. 2013 - 3-

Enterprise

Gruppi operativi Gruppi direzionali

Criticità

Mitigazioni

che esterni, al perimetro aziendale

• Impostazione delle attività di analisi dell’esistente (AS IS), supportate dal Data Model, per l’individuazione delle criticità

• Disegno del modello target (TO BE) e realizzazione di un programma di interventi per indirizzare le criticità e abilitare il miglioramento continuo (Roadmap)

2

3

2 3

Page 5: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Un framework per la data governanceBenefici attesi

• Requisitazione guidata da modello condiviso con l’IT• Trasparenza dell’IT• Allineamento tra evoluzione dei dati aziendali e Business Plan di medio – lungo termine

• Analisi e disegno della soluzione guidata dal modello condiviso con sviluppo e business• Riduzione dell’effort di analisi grazie alla disponibilità di una visione aggiornata dei dati e

della ownership / mastership

• Disegno di soluzioni architetturali coerenti con la visione di medio lungo termine sull’evoluzione dei dati

Demand

Business Units

Architetture

© Bip. 2013 - 4-

• Sviluppo guidato da disegno condiviso con i gruppi di analisi e con gli altri sistemi• Miglioramento della soluzione tecnica in termini di modello dati fisico sui singoli sistemi e

progettazione delle interfacce • Visione sulla evoluzione attesa dei dati e predisposizione al cambiamento

• Chiarezza sulle fonti alimentanti (dato ricevuto dai sistemi) (back-end) • Terminologia comune con gli utenti nel disegno e realizzazione degli ambienti di analisi e di

reporting (front-end)

• Condivisione di una terminologia comune sui dati scambiati tra le parti, e conseguente agevolazione nella definizione di linee guida di Data Quality / disegno Interfacce / etc.

Sviluppo

Business Intelligence e

Reporting

Terze Parti

Page 6: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Framework per la Data GovernanceVisione d’insieme

Per affrontare in modo strutturato le problematiche e le iniziative connesse alla data governance, e guidare l’individuazione delle attività di dettaglio, Bip. ha sviluppato un framework che schematizza gli ambiti di azione e i concetti chiave

DATA GOVERNANCE - FRAMEWORK

Data Governance

Definizione modello to-beIdentificazione azioni di

Linee guidaAzioni di mitigazioneRoadmap evolutivaModello operativo

© Bip. 2013 - 5-

Sistemi e dati applicativi

Data Framework

Warn

ing

Definizione modello to-be

Identificazione Criticità/

Ottimizzazioni

Identificazione azioni di mitigazione

Identificazione Criticità/

Ottimizzazioni

Mapping dei dati di sistema sul modello (as-is e to-be)

Mapping del modello logico sui sistemi

Catalogo e Modello logico di riferimento dei dati (as is e to be)

Censimento issue, punti di

attenzione e possibilità di

ottimizzazione

Deliverable di area

Page 7: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Nell’esperienza Bip. un progetto di Data Quality richiede da un lato la realizzazione di interventi puntuali

su modello organizzativo, processi e strumenti, dall’altro l’evoluzione dell’architettura applicativa con

l’obiettivo di garantire la qualità, l’affidabilità e la coerenza interna dei dati

�Aumento della qualità e dell’affidabilità del

patrimonio informativo aziendale

�Maggiore diffusione della conoscenza del

patrimonio informativo aziendale

�Compliance con requisiti normativi in tema DQ

PRINCIPALI BENEFICIAREE DI INTERVENTO

MODELLO E PROCESSI

� Macro Processo DQ: trattamento dei dati nel loro ciclo di vita

� Definizione di controlli ex-ante ed ex-post

� Norme e standard a supporto della qualità dei dati (es.

Introduzione e approccio al Data QualityIntroduzione e aree di intervento

© Bip. 2013 - 6-

(validazione)

�Riduzione dei rischi derivanti dal mancato

rispetto di normative e policy vigenti

�Maggiore adeguatezza della reportistica

gestionale/direzionale (supporto ai processi

decisionali e all’attuazione delle strategie di

business) e regolamentare

�Migliorare stabilità e predittività dei modelli

interni di misurazione dei rischi

� Benefici in termini di assorbimento di capitale

a fronte dei rischi assunti

�Riduzione del time-to-market di nuove

applicazioni e dei relativi costi

AMBITI DI INTERVENTO

DATA QUALITY

SISTEMI

� Strumenti di analisi qualità dati

� Strumenti di reporting e monitoraggio delle anomalie

� Strumenti di aggiornamento e correzione delle anomalie

ORGANIZZAZIONE

� Struttura del presidio di DQ

� Comitato di DQ

� Interazione fra strutture e individuazione di Focal Point

� Definizione di ruoli e responsabilità nel processo

della qualità dei dati (es. dizionario dati)

Page 8: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

A tal fine, l’approccio adottato da Bip. in diverse esperienze progettuali del settore bancario e assicurativo

parte da un Modello di DQ che integra in modo strutturato le diverse aree di intervento

PROCESSI TRASVERSALI

MACRO PROCESSO DQ

GOVERNANCE DQ

Definizione, Aggiornamento, Estinzione del

Implementazione del (meta)dato e delle regole

3 2

1

SCHEMA LOGICO

• Insieme delle attività di coordinamento e gestione del DQ per tutte le strutture ed i ruoli coinvolti

� Insieme di regole, processi e strumenti standard di controllo, validazione e certificazione del dato che devono integrarsi in tutte le fasi del ciclo di vita

1

2

DESCRIZIONE

Introduzione e approccio al Data QualityApproccio al DQ

© Bip. 2013 - 7-

Perimetro di Dati: Interventi DQ

DIZIONARIODATI

Creazione

Aggiornamento

Estinzione del (meta)dato

e delle regole nei sistemi

Reporting Risk Management

Controllo sistematico del rispetto delle regole e risoluzione anomalie

CICLO

DI VITA

Monitoraggio

Riconciliazione Rischio / Contabilità

PROCEDURE E APPLICAZIONI ITStrumenti di Controllo, Monitoraggio e Reporting

4

5

tutte le fasi del ciclo di vita

� Elenco dei dati rientranti nell’ambito del DQ per i quali ciascuna informazione risulta univocamente definita in termini di codifica, semantica, domini, formati e ownership

� Tool di analisi e reporting a supporto del processo di DQ che consente l’applicazione delle regole di controllo ex-ante e ex-post sulle basi dati e sugli applicativi nei differenti step del ciclo di vita del dato

� Il Framework di DQ viene applicato al set di dati individuati come “key” e si sostanzia in interventi volti a sanare e prevenire anomalie sui dati con un processo strutturato

3

4

5

Page 9: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Requisiti normativi del settore assicurativo (Solvency II) … Classificazione normativa e classificazione di uso corrente

Appropriatezza - il dato è considerato appropriato se:• adatto per gli obiettivi desiderati (ad esempio la

valutazione delle riserve tecniche, stabilire delle assunzioni);

• rilevante in relazione al portafoglio di rischi in analisi (cioè direttamente legato ai risk drivers sottostanti).

Completezza - Il dato è considerato completo se:

ESEMPIO REQUISITI DI QUALITA’ DEL DATO IN AMBITO ASSICURATIVO (SOLVENCY II) *

• Formali: Osservanza caratteristiche formali del dato rispetto al dizionario dati

• Congruenza: Comparazione con altre informazioni con cui vi è un legame di coerenza.

• Integrità Referenziale: Confronto presenza dello stesso dato in sistemi diversi fra loro in relazione.

CLASSIFICAZIONE DEI CONTROLLI IT: CATEGORIE DI USO CORRENTE

Si riportano, a titolo esemplificativo, i requisiti normativi per il settore assicurativo previste sui controlli

della qualità dei dati previsti dalla Direttiva 2009/138/CE Solvency II e da proposte di normative di

secondo livello correlate

© Bip. 2013 - 8-

Completezza - Il dato è considerato completo se:• è riconducibile ai principali gruppi omogenei di rischio

presenti nel portafoglio assicurativo;• è sufficientemente granulare per identificare trend di

comportamento dei rischi sottostanti • è riferito a periodi storici sufficientemente lunghi, dei

quali è possibile ottenere informazione storica•Accuratezza – Il dato è considerato accurato se:• è esente da errori materiali e omissioni;• la registrazione delle informazioni è adeguata,

effettuata in modo continuo nel tempo e mantenuta coerente nel tempo;

• viene stabilito un alto livello di confidenza sui dati;• la compagnia è in grado di dimostrare che considera il

dataset credibile utilizzandolo nel contesto delle operazioni aziendali e dei processi di decision making.

stesso dato in sistemi diversi fra loro in relazione.

• Quadratura: Completezza flussi di alimentazione

• Significatività: Individuazione anomalie rispetto confronto con trend storici

NOTE: * IMPLEMENTING MEASURE LEVEL II (ex CP 43)

Page 10: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

… e la declinazione dei requisiti normativi in categorie di controlli IT la creazione di un linguaggio comune

Riportiamo, a titolo

esemplificativo, una tabella

tratta dall’approccio Bip.

applicato in progetti che

coinvolgono le aree IT di

primari gruppi assicurativi,

per facilitare il dialogo tra

Una possibile soluzione è quella di creare una trascodifica tra terminologia corrente e classificazione

dettata dalle normative del Data Quality

© Bip. 2013 - 9-

per facilitare il dialogo tra

l’IT e le aree funzionali

(Risk Management,

Amministrazione e

Bilancio, … ). Nello

specifico, le cinque

categorie di controllo

facilmente comprensibili da

referenti IT sono state

ricondotte ai tre criteri

Solvency II secondo la

tabella di seguito riportata.

Page 11: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

La reportistica sui controlli nell’ambito del

“sistema dei controlli interni”

Ai fini del corretto presidio della Data Quality e in linea con quanto stabilito dalla vigente normativa

nazionale e internazionale, il sistema di Data Quality dovrà essere integrato nel più ampio sistema di

controlli interni che si basa su tre livelli

• Controlli di primo livello, quale insieme di controlli di linea, in larga parte integrati nei sistemi informatici aziendali attuati da tutti gli utenti che partecipano ai diversi processi operativi, anche sulla base dei livelli gerarchici e del meccanismo di poteri e deleghe

• Controlli di secondo livello, effettuati da

© Bip. 2013 - 10-

• Controlli di secondo livello, effettuati da altre funzioni aziendali nel rispetto del principio di separazione dei compiti e da strutture specialistiche, quali il controllo di gestione, il dirigente preposto, l'attuario, la funzione controllo reti, il risk management, la compliance

• Controlli di terzo livello, ovvero i controlli e le verifiche effettuati dall’Audit di Gruppo, preposta al monitoraggio del funzionamento del sistema di controllo nel suo complesso ed alla valutazione della sua adeguatezza e dei processi di decisionmaking.

Page 12: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Potenziali implicazioni funzionali per

le soluzioni applicative di reporting

RACCOLTA E ARCHIVIAZIONE• registrati e conservati nel loro complesso• I dati storici conservati• Ogni modifica ai dati originali deve essere documentata

• conservare traccia delle correzioni a fronte di errori o omissioni .

REQUIREMENT NORMATIVI (ESEMPIO SOLVENCY II)

• Audit dati di origine dei report• Audit trasformazione dei dati di origine dei

report• Archiviazione dati inseriti manualmente:• Controlli di validità / coerenza dei dati inseriti e

gestione delle• Tracciatura ed archiviazione dei risultati

IMPLICAZIONI FUNZIONALI

Si riportano, a titolo esemplificativo, i requisiti di alcuni requirement della normativa Solvency II e le

possibili implicazioni nell’ambito di applicazione ai sistemi di reporting

© Bip. 2013 - 11-

DIZIONARIO DATI• directory di ogni dato usato

CONTROLLO DEI DATI • check di data quality

DATA POLICY • policy sul data quality e sul data update

REPORTING • descrivere in sintesi i processi e gli standard

intermedi di elaborazione• Audit trail azioni eseguite• Analisi storica elaborazioni/ variazioni dati:

Page 13: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Governance sulla struttura dei dati a supporto dei sistemi di

reporting integrato

Nell’ambito di reporting soggetti a recenti normative, viene posta una particolare attenzione ai

requisiti di Governance della struttura dei dati sia in area finance sia nelle altre industry

• Il sistema di reporting in ambito normativo di area finanza dovrà inserirsi all’interno dei sistemi di controllo interni avrà alcune linee guida di Gruppo che verranno implementate o aggiornate alla luce dell’evoluzione normativa

• In particolare, ci si riferisce alle norme di Governance previste da Solvency II e Basel

ALTRI REQUIREMENT NORMATIVI PER IL SETTORE FINANCE

Tra le norme che richiedono implicitamente o esplicitamente un processo di Data Quality si ricordano a titolo esemplificativo ma non esaustivo:

• le norme inerenti la trasparenza dei mercati finanziarie, in particolare, le norme CONSOB relative alla comunicazione ai mercati finanziari di informazioni “sensibili” anche in occasione di incontri con la comunità

REQUISITI NORMATIVI VALIDI PER TUTTI I SETTORI

© Bip. 2013 - 12-

Governance previste da Solvency II e Basel II nel Pillar 2 per il rispetto dei requisiti qualitativi relativi alla gestione interna (governance, controllo interno e organizzazione) dell'impresa finanziaria.

• Sono, inoltre, indicate anche le norme relative al processo di autovalutazione periodica delle esigenze di solvibilità, e all’identificazione e valutazione dei rischi non quantificabili cui l’impresa è esposta.

• le norme in corso di emanazione inerenti i conglomerati finanziari

• le norme inerenti i processi di governo in aree finanza (ICAAP e ORSA)

finanziariaIn tutti gli ambiti sopra evidenziati, sarà opportuno analizzare e valutare gli impatti del sistema di reportingper organizzare e pianificare sia gli interventi volti all’auditabilità e riconciliabilità dei dati prodotti, sia inerenti i controlli effettuati dal sistema di reporting nelle varie fasi di aggregazione, caricamento, elaborazione e produzione di report.

• I dati dei controlli dovranno essere pianificati in linea e in coerenza con:

• le normative internazionali• le normative nazionali europee dei diversi regulator• le linee guida interne all’eventuale gruppo • le linee guida nazionali applicate dalle sub-holding

Page 14: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Allegato

Metodologia DQ applicata ai sistemi di reporting

© Bip. 2013 - 13-

Page 15: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Data Quality Management Accounting

Interventi di processoe sui sistemi di CdG e DWH

� Analisi e revisione della reportistica di CdG prevendo interventi di razionalizzazionesul sistema di CdG, sui motori di applicazione delle regole gestionali e sul DWH (approccio bottom up nell’audit trail del dato)

Interventi di Data Quality

� L’obiettivo è definire, implementare e monitorare le regole e i processi necessari a garantire la qualità dei dati del reporting, dei sistemi di sintesi del CdG e del DWH

Il nostro approccio al Data Quality Management prevede due pilastri principali: la definizione del modello di Data Quality e la definizione di processi e architettura di CdG

Framework Data Quality Management

© Bip. 2013 - 14-

dato)

� Analisi dei dati, individuazione anomalie e pianificazione interventi per eliminazione anomalie

� Attivazione interventi crash (bonifiche) e strutturali

� Attivazione processo strutturato di monitoraggio dei dati, prevedendo controlli ex ante ed ex post sui dati

� Razionalizzazione del “ciclo di vita” dei dati critici

� Analisi della reportistica e del processo di produzione del dato

� Gap analysis e analisi delle criticità e categorizzazione per ambito funzionale per identificarne impatto e priorità di intervento

� Analisi dell’architettura funzionale e applicativa (e dei sistemi a supporto) del management accounting (flussi di input/output, restitution, golden rules del CdG, ...)

� Definizione del processo di audit trail del dato e monitoraggio anomalie

Page 16: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

WORKFLOW � Definizione del macro processo di Data Quality con l’obiettivo di presidiare il ciclo di vita del dato,

dalla nascita del bisogno informativo alla certificazione della qualità del dato, stabilendo ownership,

attività e tempistiche di intervento in relazione alle fasi di:

� Definizione: nascita esigenza di un nuovo dato, definizione e valutazione degli impatti

� Implementazione del dato e delle regole nelle procedure applicative della banca e

consolidamento delle informazioni (es. aggiornamento manuali utente)CICLO

DI

� Macro

processi e

processi di

dettaglio

In primo passo consiste nella definizione di un framework, immediatamente applicabile, costituito da un insieme strutturato di processi, regole e strumenti a supporto delle attività di controllo e certificazione dei dati e al presidio del ciclo di vita del dato, dalla nascita del bisogno informativo alla certificazione della qualità del dato

Ambito Principali Interventi Asset Bip.

Interventi di Data QualityVista di sintesi

© Bip. 2013 - 15-

consolidamento delle informazioni (es. aggiornamento manuali utente)

� Gestione operativa: Inserimento, aggiornamento ed eventuale cancellazione del dato nelle

procedure, in modo manuale o automatico (in base alle regole di alimentazione)

� Monitoraggio: Verifica anomalie ed errori e indirizzamento per la risoluzione delle stesse,

risoluzione anomalie e validazione dell’intervento

� Certificazione: validazione finale del dato e rimozione dell’anomalia

DI

VITA

Monitoraggio

CODIFICA e SEMANTICA DEI DATI

REGOLE DI CONTROLLO

� Costruzione di un dizionario dati finalizzato ad agevolare il controllo dei dati e a garantire:

� univocità di definizione

� codifica e semantica del dato

� Owner del dato

� Censimento, classificazione e codifica delle regole ex ante da applicare nei sistemi di origine del dato

ed ex post da applicare nei sistemi di destinazione del dato, dei dati soggetti a controllo e delle

tipologie di warning che rappresentano gli elementi di base su cui costruire il sistema di

monitoraggio della qualità

� Dizionario

Dati

� Check List

regole

Page 17: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Per agevolare il controllo dei dati può essere utile definire un “Dizionario Dati” con l’obiettivo di garantire univocità di definizione, codifica e responsabilità delle informazioni che impattano sul controllo di gestione

�Definizione univoca dei dati oggetto di

monitoraggio in termini di codifica, semantica,

domini, formati e ownership

�Creazione, gestione e manutenzione del Dizionario

Dati con l’obiettivo di aggiornare il Dizionario con

Principali caratteristicheStruttura del Dizionario DatiStruttura del Dizionario Dati

ESEMPLIFICATIVO

ESEMPLIFICATIVO

Interventi di Data QualityDizionario Dati

© Bip. 2013 - 16-

Dati con l’obiettivo di aggiornare il Dizionario con

cadenza periodica oppure “on demand “laddove

intervengano modifiche significative nella

semantica o nella codifica delle informazioni

�Definizione insieme delle regole, processi e

strumenti standard di controllo, validazione e

certificazione del dato

�Nuovi requisiti di business oppure richieste di

modifiche dei dati devono essere evidenziate

dall’owner del dato e prevedono una nuova

codifica/ semantica del dato

� La richiesta di modifica della scheda Dizionario

Dati attiva il processo di analisi di impatto

Page 18: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

La rilevazione delle anomalie può essere effettuata introducendo due momenti di controllo: controlli ex ante sui sistemi origine del dato(es. legacy, motori di CdG) e controlli ex post sui sistemi destinatari del dato (es. Management Information System, DWH…)

FAMIGLIA DI CONTROLLI

CONTROLLI

EX ANTE

TIPOLOGIA CONTROLLO

� CONTROLLI DI PRIMO LIVELLO (FLUSSI)

� PRESENZA FLUSSI ATTESI

� NUMEROSITA’ RECORD

� NUMEROSITA’ CAMPI

� CONTROLLI DI SECONDO LIVELLO (CAMPI)

DESCRIZIONE

Verifica della avvenuta produzione dei flussi di input ed output attesi

Verifica numerosità dei record caricati rispetto ai record presenti nei flussi di origine

Verifica numerosità dei campi caricati rispetto ai campi presenti nei flussi di origine

Interventi di Data QualityTipologie di Controlli

© Bip. 2013 - 17-

CONTROLLI

EX POST

� VALORIZZAZIONE CAMPI

� COERENZA FORMALE CAMPI

� COERENZA SOSTANZIALE CAMPI

� QUADRATURE/RICONCILIAZIONI

� QUADRATURE SISTEMI ALIMENTANTI -

SISTEMI DI SINTESI

� QUADRATURE TRA SISTEMI DI SINTESI

� MONITORAGGIO ANOMALIE

� RILEVAZIONE ANOMALIE

� RICORRENZA FENOMENO ANOMALO

� VERIFICHE ANDAMENTALI

Verifica della presenza dei dati obbligatori

Verifica del rispetto dei vincoli di codifica, semantica e di dominio del dizionario dati

Verifica di consistenza dei dati tra le diverse fonti e di coerenza della valorizzazione

delle informazioni destinate a diversi sistemi

Quadrature di periodo (giornaliere, decadali, mensili) tra stok dei sistemi origine del

dato (es. partitari) e stock dei sistemi destinatari (es. stock contabili)

Quadratura dei dati appartenenti al patrimonio informativo comune dei sistemi di

sintesi (es. Contabilità vs CdG, CdG vs ALM e vs CRM, CdG vs Marketing)

Intercettazione dei fenomeni anomali attraverso l’impostazione di range di tolleranza, valori minimi e massimi del dato

Verifica degli scostamenti dei fenomeni anomali avvenuti tra elaborazioni successive (es. confronti year to date, month to date , daily..)

Verifica numerosità e diffusione dell’anomalia (nuova anomalia, anomalia già riscontrata e corretta con bonifica, anomalia già riscontrata ma non ancora corretta…)

Page 19: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Nella nostra esperienza, i dati di management accounting di natura economica oggetto di controllo e riconciliazioni mensili appartengono a due cluster principali: dati contabili e dati extracontabili

DATI CONTABILI � Margine di Interesse (interessi reali attivi e passivi)

� Commissioni Nette (commissioni attive e passive)

� Altri Oneri e Proventi (Utile/perdita da negoziazione)

� Costi Operativi (personale, ASA)

� Necessità di quadrare i dati gestionali con i dati contabili

sulla base della riclassificazione gestionale del Bilancio

mediante il raccordo:

� Contabilità e CdG a livello di singolo rapporto

� Piano dei Conti vs Catalogo Prodotti Gestionale

DATI

� Mercato/Segmento Commerciale di appartenenza del

Cliente

� Difficoltà nel riconciliare le informazioni gestite nei

sistemi referenziali con le informazioni acquisite nei

1

2 a

Cluster Dati Punti di Attenzione

Interventi di Data QualityDati di Management Accounting oggetto di controllo

© Bip. 2013 - 18-

EXTRACONTABILI

REFERENZIALI

� Portafoglio Commerciale di appartenenza del Cliente

� Difficoltà nel riconciliare la componente figurativa a causa di:

� Tempi diversi di elaborazione del dato nei sistemi di CdG

(mensile) e ALM/Tesoreria (giornaliera)

� Differente base di calcolo utilizzata per il calcolo dei

volumi (es. 360 vs 365)

� Differente modalità di rilevazione del TIT (assegnazione

giornaliera, nei sistemi di ALM vs calcolo media mensile nei

sistemi di CdG

sistemi di CdG finalizzate al breakdown dei dati:

� CdG vs archivi anagrafici per allineamento Customer

Segmentation e calcolo revenue allocation

� Allineamento CdG vs Marketing per riconciliazione

portafogliazione clientela e monitoraggio clientela

non portafogliata (es. Mercato “Non Attribuito”)

La presenza di uno strato centralizzato di applicazione delle regole e arricchimento delle informazioni semplifica le attività di quadratura/riconciliazione con conseguente riduzione delle attività manuali dedicate ad adjustment del dato

DATI

EXTRACONTABILI

IMPORTI

2 b� EFFETTI FIGURATIVI (interessi figurativi attivi e passivi

calcolati al TIT)

� Tasso Interno di Trasferimento (TIT) e Volumi

Page 20: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Tutti i dati di ricavo/costo sono quadrati alla fonte o riconciliabili con la contabilità attraverso livelli di aggregazione del catalogo prodotti che riproducono le voci di Conto Economico

Raccordo contabile (Voci di CE) – gestionale (Prodotti Gestionali)

Commissioni netteCommissioni nette40,5040,50

Interessi attivi e proventi ass.

Interessi passivi e oneri ass.

Interessi attivi e proventi ass.

Interessi passivi e oneri ass.

10

20

10

20

Raccolta Indiretta/Servizi Transazionali (es.: Risparmio gestito, Previdenza, Cash Management)Raccolta Indiretta/Servizi Transazionali (es.: Risparmio gestito, Previdenza, Cash Management)

Raccolta Diretta/Impieghi(es.: Conti Correnti, Depositi Risparmio, Mutui ).Raccolta Diretta/Impieghi(es.: Conti Correnti, Depositi Risparmio, Mutui ).

Marg

ine Inte

rmedia

zio

ne

Interventi di Data QualityRiconciliazione Contabilità vs CdG

© Bip. 2013 - 19-

Altri proventi e oneri gestionaliAltri proventi e oneri gestionali90, 100, 11090, 100, 110

Profitti da operazioni finanziarieProfitti da operazioni finanziarie8080

Dividendi e altri proventi Dividendi e altri proventi 7070

Recupero bolli e spese(es.: recupero bolli su C/C passivi)Recupero bolli e spese(es.: recupero bolli su C/C passivi)

Profitti su Derivati, profitti su equity e fixed incomeProfitti su Derivati, profitti su equity e fixed income

Dividendi da partecipazioni e investimentiDividendi da partecipazioni e investimenti

Marg

ine Inte

rmedia

zio

ne

� Il catalogo prodotti gestionali deve essere strutturato per poter essere raccordato alla contabilità e allo stesso tempo per consentire l’analisi dei fenomeni gestionali

�Per ogni prodotto è disponibile un set differenziato di misure che rendono possibile il calcolo di tassi, spread e pricing

Page 21: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

L’incrocio di prodotti e misure consente l’analisi di tassi, mark-up/mark-down e pricing tipica dell’ottica gestionale

Interventi di Data QualityMappatura Prodotti – Misure CdG

Volumimedi

Interessi reali

Interessi di mora

Interessifigurativi

CommissioniFlussi

Entrata/uscita

10Interessi attivi e proventi ass.

(Impieghi clientela)���� ���� ���� ���� ����

Interessi passivi e oneri ass.���� ���� ����

Analisi tassi e spread

Mappatura Prodotti - Misure

© Bip. 2013 - 20-

�La misura, dimensione che si affianca al prodotto, consente di acquisire ed analizzare diverse tipologie di informazioni per lo stesso prodotto (es.: per la raccolta diretta sono acquisiti volumi medi, interessi passivi e ricavi figurativi; per i fondi comuni vengono acquisite le diverse tipologie di commissione, i volumi medi e diverse misure di flusso come conferimenti, piani di accumulo)…

20Interessi passivi e oneri ass.

(Raccolta clientela)���� ���� ����

40,50Commissioni nette

(Raccolta clientela)���� ���� ����

80 Profitti operazioni finanziarie ����90, 100, 110

Altri prov. e oneri di gest. ����

70 Dividendi e altri proventi ����

spread

Analisipricing

Page 22: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Linee guida

� Convergenza dell’architettura verso un unico punto di consistenza e aggregazione dei dati nel DWH

� Definizione di un modello dati unico integrato per tutta la reportistica gestionale

� Razionalizzazione delle alimentazioni in un’ottica di controllo della qualità dei dati:

• Individuazione delle fonti di alimentazione corrette per ciascun dato

• Bonifica di flussi ridondanti in termini di contenuto informativo, di flussi duplicati (flussi identici con periodicità e

Un modello avanzato di certificazione dei dati prevede alcuni interventi sui processi e sui sistemi (in particolare sistemi di sintesi e DWH), definiti nell’ottica arricchire il patrimonio informativo e la profondità di analisi a supporto delle strategie decisionali e snellire i processi di di riconduzione/audittrail del dato

Interventi di Processo e sui SistemiLinee Guida EVolutive

© Bip. 2013 - 21-

• Bonifica di flussi ridondanti in termini di contenuto informativo, di flussi duplicati (flussi identici con periodicità e

latenza differenti) e correzione dei dati anomali (carenze informative, valori di dominio errati…)

� Dismissione dei report e dei flussi ridondanti

� Creazione tool automatici a supporto dei processi di quadratura/riconciliazione/verifiche o adjustment manuali

� Creazione di datamart tematici e viste verticali specializzate per aree di business

� Arricchimento del patrimonio informativo e della profondità di analisi a supporto delle strategie decisionali, sulla base

requisiti espressi dagli utenti

Proponiamo una prima fase progettuale finalizzata al perseguimento di specifici obiettivi conseguibili in ottica quick win su un perimetro circoscritto di dati da definire in ottica:

- Riduzione manualità

- Riduzione tempi di elaborazione e produzione reportistica (fast close)

- Miglioramento qualità del dato

Page 23: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Il miglioramento della qualità dei dati genera impatti su tutti i layer architetturali (in particolare sui sistemi di sintesi e storage) prevedendo attività di analisi e sviluppo sulle fonti alimentanti, motori, data storage e applicazioni di sviluppo della reportistica

Fonti

alim

enta

nti

Sistemi Referenziali

Sistemi Operazionali Altre fonti

Disaccoppiamentoapplicativo

Moto

ri di calc

olo

• Analisi dati per arricchimento set informativo

• Introduzione di controlli a monte sui dati (controlli ex ante nei flussi di output dei sistemi legacy)

• Accentramento e razionalizzazione delle

Schema concettuale architettura Highlights

Interventi di Processo e sui SistemiImpatti Architetturali

© Bip. 2013 - 22-

Reporti

ng

Rischio Gestionale Commerciale

Data

Sto

rage

Disaccoppiamento tecnologico

Data Storage

Moto

ri di calc

olo

DMDMDM

Motori contabili

Motori commerciali

Motori gestionali

Motori di rischio

• Evoluzione attuale reportistica CFO sulla base delle nuove alimentazioni da DWH

• Implementazione controlli di qualità dei dati su sistemi di reporting (controlli ex post)

razionalizzazione delle alimentazioni vs il DWH

• Definizione di un modello dati unico integrato per tutta la reportistica gestionale

• Introduzione controlli di qualità dei dati sui diversi livelli di ETL di DWH

• Evoluzione/arricchimento flussidi alimentazione

riconciliazioni riconciliazioni

Page 24: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Alcuni Clienti, per rilevare, monitorare e indirizzare le anomalie sui dati, hanno implementato un tool di DQ in grado di centralizzare le anomalie, effettuare controlli di qualità sui dati, memorizzarne i risultati in un database centralizzato ed elaborare report di sintesi

CRM CdG COGE Basilea II

Interfaccia sistemi di sintesi

Sistemi in ambito

TBD. . .

Schema logico Principali caratteristiche � Il componente Motore consente di effettuare il censimento,

la classificazione e la codifica delle regole, degli oggetti di

controllo e dei controlli che costituiscono gli elementi di

base su cui è costruito il sistema di monitoraggio della

qualità

� L’interfaccia con i sistemi applicativi ha il compito di

richiedere al componente Motore la lista dei controlli da

Interventi di Processo e sui SistemiTool di Data Quality

© Bip. 2013 - 23-

Motore controlli

Gestione regole

Ipercubo

Report

CruscottiDB regole

DB anomalie

Reporting

Utenti

effettuare, di eseguirli sul sottosistema interessato, di

rilevare le eventuali anomalie e di inviarle al modulo Motore

per la memorizzazione accentrata

� Il componente Reporting mette a disposizione dell’Utente

un set di report, suddivisi in diverse categorie (Cruscotti,

Analitici, Documentali, Operativi, Scorecard, ecc.), attraverso

i quali è possibile analizzare e comprendere rapidamente i

fenomeni relativi alla Qualità dei Dati, individuare le criticità

più rilevanti e definire le azioni da intraprendere

� Il database centralizzato consente di archiviare sia le regole

di controllo che le anomalie riscontrate

La strategia di realizzazione della soluzione a regime può essere “make or buy”, di conseguenza la scelta del tool di Data

Quality richiede la valutazione dell’opportunità di un’implementazione custom a fronte della scelta di acquisire un

pacchetto software presente sul mercato

Page 25: Il Data Qualitya supporto dei sistemi di reporting · • Audittrasformazione dei dati di origine dei report • Archiviazione dati inseriti manualmente: • Controlli di validità

Milano Roma Madrid Lisbona Buenos Aires Tunisi San Paolo Santiago

Luca D’Onofrio

e-mail [email protected] +39 02 454 1521

cell +39 348 3959947

www.businessintegrationpartners.com