excellence in data governance „략솔루션.-지티원_dw-및...etl : informatica, datastage, sap...

1 Excellence in Data Governance


데이터 이동경로와

산출규칙을 가시화

데이터 계보관리

(Data Lineage)


복잡하고 가시성 없는 업무 데이터베이스 영역

데이터베이스

레이어들 사이의

현행화 이슈 …

뷰, 테이블, 프로시저

등의 연관관계 파악

어려움…

법규정에 맞게

데이터의 품질과

투명성이 확보되어

있는가?

계좌수, 고객수 데이터가

이상한데?

어제 대비 승인 금액과

가맹점 지급액 데이터가

이상한데? 데이터 산출

근거는?

내가 필요한 데이터가 어느

경로로 유입된 것인지?

보고를 위해 임시로 만든 Mart들이 혼재 데이터 적재용 소스 유실 및 형상관리 부재

자동화 되고 객관적인 방법으로 데이터 계보 정보를 현행화하여 현업과 IT 담당자들이 활용할 수 있어야 …

ERP CRM

채널계 모바일

각종 업무 시스템

온라인 / 배치 Job ETL (SQL, Shell Script, SAM …)

ODS EDW Mart BI

IT 금융감독 현업


DW, EDW의 모든 컬럼에 대한 Data Lineage 정보를 그룹에서 요구하는 보고서 양식에 맞게 제공 및 지속적으로 유지 관리하기 위한 시스템 구축

(자동화: 소스 수집, 분석, Data Lineage 분석, 그룹 제출 Report 생성)

분석서버 Collect

WAS 서버

JDBC

JDBC

ODI Oracle DB

DW

EDW


DW, EDW의 모든 컬럼에 대한 Data Lineage 정보를 SQL 다이어그램으로 표현하여 가시화, 컬럼에 생성되는 룰을 가독성 있게 표현(산출식)


사용자 활용성을 극대화 하기 위해 EXCEL 자료로 제공


성과 설명


“BI 및 Data Mart의 중요 업무 데이터가 어떤 이동 경로와 산출 규칙을 통해 생성되었는지

데이터 계보를 가시화하는 솔루션입니다”

데이터베이스 영역

ODS

DW/ Mart

BI

ETL

DB 카다로그

SQL

Script …

컬럼 레벨 데이터 흐름 / 데이터 산출 규칙 (Derivation Rule)

DBMS & SQL : Oracle, DB2, TeraData, MS SQL Server, Sybase, My SQL, Postgres 등

ETL : Informatica, DataStage, SAP BW, ODI, Shell 등 BI : MSTR, BO 등

ETL Repository

자동 분석

데이터 계보 검색

데이터 계보 다이어그램

데이터 계보 보고서

수집

대시보드- 통계/변경이력


다 계층 데이터베이스들 사이의 데이터 흐름과 데이터 산출 규칙을 정교하게 분석하고

소스-타겟 간 데이터 매핑 관계를 현행화합니다.

어드민 서버 클라이언트

프로젝트 및 사용자 관리

.NET Framework

수집/분석설정

스케줄 설정

Analyzer

JDK

Parser

Collector

Repository

데이터 계보

검색

.NET Framework

데이터 계보

다이어그램

현황통계/변경

이력

데이터 계보

보고서

DB 카다로그, ETL Tool 설정, SQL, Shell Script, SAM …

ODS EDW/Mart BI


[ DBC 현황 집계 및 통계 정보 ]

• DB 자산 통계 및 변경 추이

• ETL 프로그램 자산 통계 및 변경 추이

• DB 패키지, 프로시저, 테이블, 컬럼, 인덱스, 뷰 등의 변경 현황 및 이력

데이터베이스 카다로그의 통계/변경추이 정보 제공

[ DB 오브젝트 레벨 변경 이력 추적 및 비교 ]


• 오브젝트 명/타입, 키워드, SQL 등에 의한 빠른 검색 지원

• 다양한 조건들의 조합을 지원하는 복합 검색 지원 – 검색 조건 재사용

전체 DB스키마를 대상으로 신속하고 편리한 검색

[ 다양한 검색 ] [ 복합 검색 ]


• DBC 및 ETL 스크립트, SQL 분석을 통한 연관 정보 가시화

• 컬럼 레벨의 데이터 이동 경로를 그래프 형태 및 엑셀 파일로 제공

소스-타겟 사이의 컬럼 레벨 데이터 흐름 가시화

[ 컬럼 레벨 데이터 흐름 Map ] [ 컬럼 레벨 데이터 흐름 엑셀 저장 ]


• 데이터 값이 생성되기 까지 산출 규칙(Derivation Rule) 추출

• 계산식의 추적을 통한 데이터의 이동 경로 가시화

타겟 컬럼에 유입되는 데이터의 산출 규칙 정보 제공

[ 데이터 산출 규칙 예시 ]

SUM_IFRS_AMT

IFRS.ALLWNC_AMT

IFRS:C IFRS:B IFRS:A

AMT_A AMT_B AMT_C

PROV RATE

BS_RATE BS_AMT

BS_RATE * BS_AMT

AMT_A + AMT_B + AMT_C


관리 비용 절감 – 운영계와 정보계 사이의 데이터 현행화를 위한 상세 정보 활용

효율성 향상 – 복잡한 데이터 흐름을 가시화하여 손쉽게 활용 IT

업무 생산성 향상 – 오류 데이터 발견 시 데이터 산출 근거 및 오류 데이터 신속하게 추적 현업

바젤Ⅲ BCBS 239에 대한 효율적 대응 /

비즈니스 데이터의 투명성 확보 및 모니터링 컴플라이언스


데이터 품질 점검 Rule을

어떻게 도출하지?

• 소스안에 숨겨진 Rule 언제 다 찾아서 도출하지?

• 유지보수 담당자, 현업 담당자가 데이터 산출식을 정확하게 도출할 수 있을까?

• 단기간에 다 도출할 수 있을까?

SUM_IFRS_AMT

IFRS.ALLWNC_AMT

IFRS:C IFRS:B IFRS:A

AMT_A AMT_B AMT_C

PROV RATE

BS_RATE BS_AMT

BS_RATE * BS_AMT

AMT_A + AMT_B + AMT_C [BR-001]-ALLWNC_AMT 점검

[BR-002]-AMT_C 점검

ALLWNC_AMT 는 AMT_A + AMT_B + AMT_C 합계 금액과 일치해야 한다.

AMT_C 는 BS_RATE * BS_AMT 계산한 금액과 일치해야 한다.


운영/유지보수 테스트 개발 분석/설계

데이터 표준화 사전 / 데이터 모델 관리

데이터 품질 분석

메타데이터 변경관리

데이터 품질 모니터링

데이터 표준 준수 / 데이터 흐름 정보

오류 데이터 클린징

MetaMiner 전사 메타데이터 관리

DQMiner 전사 데이터 품질관리

DLMiner 전사 데이터계보 관리 ODS/DW/BI 구축 및 운영 시 데이터 계보 자동 분석, 현행화, 모니터링

SQL 현황 분석 SQL PLAN 이력 관리 및 성능 저하 예방 SQLMiner

SQL 종합 분석 및 관리

차세대 프로젝트

EDW 프로젝트

BI 프로젝트

정보계 시스템 재구축

excellence in data governance „략솔루션.-지티원_dw-및...etl : informatica, datastage, sap...

Documents