RTE 개념에 기반 한

산업별 통합 시스템 구축 사례

장 성 우Principal ConsultantBI/DW팀한국 오라클

목 차

• RTE 기반 통합 시스템 구축 개요데이터 통합 이슈의 증대

실시간 통합 방안

통합 시스템 구축 효과

• 산업별 구축 사례제조 산업

통신 서비스 산업

유통 산업

금융 산업

• 구축 경험 담론

개요

RTE 기반 통합 시스템 구축 개요

효율적인 정보 관리의 요구 조건

• 단순화정보의 통합

최상의 방안은 단일 데이타베이스로 모든정보를 통합하고 공유하는 것 : “Data in One Place”

• 표준화전사 정보의 의미 및 표현 형태의 표준을수립하고 이를 기반으로 중복성 제거

• 자동화정보 관리 프로세스를 최대한 자동화

단순화

자동화

표준화

Information

Driven

Enterprise

목표 : 정보 관리의 Gap을 최소화하여 실시간대응성을 극대화

데이터 통합 이슈의 증대

현재 운영하고 있는 기존의 데이터는 단위 업무 시스템 위주로 단계적으로 구축

다양한 정보 요구의 증대에 따라 각 단위 시스템간의 통합 정보 요구의 발생

각 단위 시스템 간 통합 정보를 가져오는데 많은 비용이 요구 됨

가치 정보의 신속한 제공 및 실 시간 대응의 필요성 증대

현재 운영하고 있는 기존의 데이터는 단위 업무 시스템 위주로 단계적으로 구축

다양한 정보 요구의 증대에 따라 각 단위 시스템간의 통합 정보 요구의 발생

각 단위 시스템 간 통합 정보를 가져오는데 많은 비용이 요구 됨

가치 정보의 신속한 제공 및 실 시간 대응의 필요성 증대

단위시스템 A

단위시스템 B

단위시스템 C

인터페이스 인터페이스

신 단위시스템

주요 문제점 :- 각 단위 시스템 간 인터페이스가 전체 사용 Resource의

상당 부분을 차지- 단위 시스템 간 동기화 의존성이 높아서 일부 단위 시스템의

장애가 전체 정보 시스템의 장애로 확대 됨

인터페이스

인터페이스 추가

전통적인 데이터 아키텍쳐 구성 방안

데이터 아키텍쳐

운영데이터

기업업무 처리를위한 저장위주 형태데이터

ODS

운영데이터를 공유할 수 있도록 전사관점에서 통합관리DW,Mart에 데이터 공급

Data Warehouse

전략적 의사결정을 지원하며, 전사관점에서 데이터 통합관리 Mart에데이터 공급

Data Mart

업무부서나 기능단위 특정분석요건을지원

메타 데이터

데이터웨어하우스 구축 및 운영에 대한 데이터의 식별,구축,일관성,관리를 위한 상세정보 제공

운영데이터

업무처리 기본데이터업무프로세스 중심애플리케이션 종속적현재시점 데이터 중심지속적 데이터 갱신

ODS

운영데이터와 주기적/실시간 일치전사차원 통합구조주제영역별 모델링

Data Warehouse

전사차원 통합구조주제중심적 모델링이력데이터 중시주기적 데이터 갱신

Data Mart

분석요건 중심요약 데이터제한된 규모

메타데이터

데이터에 대한 데이터소스데이터 정보(매핑)변형 및 통합 규칙

통합 데이터 저장소[ODS]의 필요성

통합 데이터 저장소(ODS : Operational Data Store)는 각 단위 기간계 시스템의 통합된

데이터의 총 집합 장소로서의 역할을 수행

각 단위 기간계 간의 고비용/저효율 인터페이스에 대한 효과적인 해결점 제시

향후 신규 단위 시스템이 필요로 하는 정보 제공 및 DW/Mart 등의 데이터 활용 시스템

의 데이터 Source로의 역할 수행 가능

통합 데이터 저장소(ODS : Operational Data Store)는 각 단위 기간계 시스템의 통합된

데이터의 총 집합 장소로서의 역할을 수행

각 단위 기간계 간의 고비용/저효율 인터페이스에 대한 효과적인 해결점 제시

향후 신규 단위 시스템이 필요로 하는 정보 제공 및 DW/Mart 등의 데이터 활용 시스템

의 데이터 Source로의 역할 수행 가능

통합데이터 저장소

(ODS)

단위시스템

단위시스템

단위시스템

신 단위시스템

목적별DW &Mart

데이터 소스

인터페이스

Data Hub로의 발전

• ODS는 향후 Data Hub로 발전할 것으로 예상됨

• Data Hub의 주요 기능대규모의 글로벌 데이터의 통합

표준화를 통한 중복 제거 등의 품질 관리 작업

양방향 동기화를 통한 단일 데이터 모델 및 구조 관리

• Link to 3rd party and legacy applications

• Import data into a centralized data model

ConsolidateConsolidate Cleanse /Standardize

Cleanse /Standardize SynchronizeSynchronize

• Identify and resolve duplicate data

• Prevent creation of duplicate entries

• Capture all updatesinto central master

• Push updates out to all linked applications

향후의 실시간 대응 Architecture• 정보 종류에 따른 실시간 대응성의 구분

시급한 실시간 요구 조건을 가지는 운영 정보는 Data Hub 혹은 ODS 상의 data를기반으로전달됨

Near real-time 요구 조건의 분석 정보는 DW data를기반으로전달됨

Reports 및기타프로그램들은 DH와 DW 데이터를필요에따라 access 함.

ETLData Hub/ODS

:Single Schema

Real time Intelligence DBI

BI Portal

Data WarehouseData Mart

Legacy Applications,Other Warehouses

Analysis Appsand Data Mining

Scored ListsProfitability Summary

Party Merge

Summary Management

Third Party Data

Discoverer, Reports, Balanced Score Card, BI Beans,…

Real-time deliveryNear real-time or

Time-bound delivery

실시간 동기화의 기본 메커니즘 : Materialized View

Materialized View [ Mview]는 Source DB와 Target DB간의 데이터 동기화 시 변경 Log를 이용하여

정의 가능한 주기로 Table Level롤 데이터를 동기화 시키는 방식으로 오라클이 제공하는 동기화 방식

중에 별도의 프로그램밍이 필요 없는 효율적인 동기화 방식임

Materialized View [ Mview]는 Source DB와 Target DB간의 데이터 동기화 시 변경 Log를 이용하여

정의 가능한 주기로 Table Level롤 데이터를 동기화 시키는 방식으로 오라클이 제공하는 동기화 방식

중에 별도의 프로그램밍이 필요 없는 효율적인 동기화 방식임

Source Site : 변경 발생율 및 유형 [ Update/Delete/Insert ]

동기화 방식 : Mview 방식 [ Rowid or Primary Key ]

Target Site 결정 : 정보 수집 주기 결정 [ 실 시간 요구의 파악 및 명세 ]

Source Site : 변경 발생율 및 유형 [ Update/Delete/Insert ]

동기화 방식 : Mview 방식 [ Rowid or Primary Key ]

Target Site 결정 : 정보 수집 주기 결정 [ 실 시간 요구의 파악 및 명세 ]

Materialized View

Source Table

Oracle의모든 Table

Source Table

Oracle의모든 Table

변경Transaction

발생

변경Transaction

발생변경로그

기록

변경데이터반영

변경데이터반영

Job QueProcess에 의한

정보 수집

Source Site Target Site

Target Table A

Source Table과동일

Target Table A

Source Table과동일

Target Table B

Source Table의가공 형태

Target Table B

Source Table의가공 형태

변경로그

변경로그

3. 시스템 구성방안

Query Rewrite when using MView• MV를사용하는경우사용자가실행한질의에포함된대상테이블에대해서유효한 MV가존재할경우에서버에서질의를유효한 MV로대체하는 Query Rewrite 기능을수행하게됨

SQL> CREATE MATERIALIZED VIEW MV_ WIPSTAT_SHIFT2 ENABLE QUERY REWRITE …SUM(SHIP_C) SHIP_C_SUM…3 FROM WIPSTAT_SHIFT4 GROUP BY RPTTIME,

….

SQL> SELECT 2 RPTTIME, 3 SHFTTYPE,4 LINEID,5 LOTTYPE,6 PROCESS,7 EQPTYPE,8 STEPSEQ,9 SUM(SHIP_C),10 SUM(SHIP_S)11 FROM WIPSTAT_SHIFT12 GROUP BY 13 RPTTIME, 14 SHFTTYPE,15 LINEID,16 LOTTYPE

;

SQL> SELECT 2 RPTTIME, 3 SHFTTYPE ,4 LINEID,5 LOTTYPE,6 PROCESS,7 EQPTYPE,8 STEPSEQ,9 SHIP_C_SUM,10 SHIP_S_SUM11 FROM

WIPSTAT_SHIFT

Query Rewrite

산업별 구축 사례

제조업체 : 생산정보 통합 시스템 구축

통합데이터 저장소

[ ODS )

생산관리

품질관리

생산통계

Real-timeApplication

Mview를 이용한실시간 동기화기

간계

간

데이터

동기화의

제거

EDW

Mart

Data 제공

실시간기간 데이터

제공

통합 전 시스템 구성도

정보시스템

생산관리 품질관리생산통계

App1App2

…DB*Link

Snapshot

DB*Link&ETL

EDW

ApplicationServer

통합 시스템 구성도

품질관리

ETL

실시간동기화

생산관리

Query

생산통계ODS(Stage)

App1App2

…실시간동기화

실시간동기화

EDW

ApplicationServer

통합 시스템의 효과 : 하이닉스 사례

• 실시간 대응성의 확보과거 최대 8시간 주기로 이루어지던 정보 취합 작업을 1초단위로 수행

생산 관련 모든 정보들을 실시간으로 취합하여 처리할 수있음

생산공정의수율향상및공정상황에대한실시간정보제공

생산공정관련정보의표준화및 KPI 도출과제공

• 의사 결정의 신속성 및 신뢰성 향상최신 생산 정보의 확보로 인해 생산 관련 의사 결정의신속성 및 신뢰성이 향상됨

통합 시스템의 주요 시사점 및 향후 발전 방향

• 운영계의 완전한 통합 가능성 확인실제 생산 라인에서 발생하는 대용량(현재10테라) 정보 처리를 유지하면서도 동시에 이 정보들을실시간(현재 1초)으로 복제 처리하여 운영계의DB 인프라 자체에서 데이터 통합을 수행할 수있음을 증명하였음

• 향후 발전 방향ODS를 중심으로 한 통합의 가속화

DSP(Data Service Provider) 시스템으로의 발전

생산 통합 시스템과 기타 시스템과의 비즈니스프로세스 연결. 예)재무 시스템

통신업체 : 실시간 가입자 관리교환기에서 발생한 CDR을 Near Real Time으로 SAS(가입자분석시스템)에 전송

실시간으로 Conversion하여 고객정보와 연계하여 통화상세 데이터를 생성

1일 단위로 호 상세 요약 정보 및 고객단위 통화품질을 생성하여 사용자가 언제나 다양한 분석 가능토록 제공

불 완료 호 분석 정보를 제공하여 고객의 통화품질 및 네트워크 분석을 용이하게 제공함

OLAP을 통해서 Power 분석을 제공

통합 분석 시스템

실시간 가입자통화품질호 상세

교환기CDR 정보와 불 완료 호 데이터 수집

데이타 Conversion

고객 정보 통합

보안 적용

불완료 호 정보 종합Report WCDMA FMS

실시간 대응성 확보 방안

상세호별처리실시간 처리

교환기

네트워크 중심의 트랙픽 통화

품질

As Is

Voice, winSMS, IPAS

기지국별지역별

실시간 통화 품질

호상세 통화 품질

네트워크 중심의 데이터 관리

상세호별처리

실시간처리

교환기

불완료 호 및무선구간

교환기

번호 이동호

교차수용지원

가입자별품질 관리

To Be

가입자 중심의 데이터 관리

고객 중심 통화품질

IDR, PTAS, VAS

불완료호

무선구간분석

실시간 처리

일단위 처리

InfoBank

(고객정보)

일 단위 처리

번호이동호 및교차수용

고도화

고도화

구축 효과

• 주요 구축 효과차별화 된 CRM 서비스 제공

고객이 체감할 수 있는 품질 서비스의 향상

고객 기반의 품질 데이터 활용

네트웍 투자비 절감

시스템 활용도 및 효율성 증대

물류업체 : 실시간 배정 시스템• 주요 내용

주문 및 운행 정보를 실시간으로 통합 분석하여 수요에 연동된 최적배정 및 운용 수행

• 구축 효과

실시간 배정을 통한 자원 활용의 효율화 및 낭비 요소 제거

외부데이터

주문 시스템

운행 시스템

OLTP Layer ODS Layer

ODS

주문 분석

노선 분석

원가 분석

실시간동기화실

시간

동기

화

고객 정보

자산 정보

실시간 배정시스템

Web Browser

WebServer

유통 업체 : 실시간 영업 분석 시스템• 주요 내용

기존의 판매,재고,고객 정보를 운영 환경에서 실시간으로 분석하여시간대별 이벤트 및 캠페인 수행

• 구축 효과

판매 및 재고 현황의 신속/정확한 파악에 따른 고객 중심의 이벤트 및캠페인 작업의 효율화 가능

OLTP System

이벤트 및캠페인 관리

재고 분석

영업 분석

고객고객 정보정보

단품단품 수불수불

상품상품

입력입력

판매정보 실시간동기화POS

실시간이벤트 및캠페인 실행

구축 경험 談論

통합 시스템 구축 경험의 공유

통합 시스템 구축의 경험 談論

• (Q) 통합 시스템이 진정으로 기업에 도움이된다고 생각하십니까?

물론입니다. 다음과 같은 장점을 얻을 수 있다고생각합니다 :

DB 자원 활용의 극대화 및 효율화

실시간 운영 정보의 확보를 통한 다양한 부가가치 창출

DB 버전별 차이에 따른 운영 부담의 해소

통합 시스템 구축의 경험 談論

• (Q) 통합 시스템 구축을 통해 얻은 핵심적인교훈은 무엇입니까?

다음과 같은 교훈을 얻었습니다 :

데이터 통합에도 선택과 집중이 필요함

One-Vendor에도 장점이 있음

통합 시스템 구축의 경험 談論

• (Q) 향후 통합 시스템이 어떤 형태로발전하리라고 보십니까?

저는 향후 통합 시스템이 다음과 같은 역할을 수행할수 있을 것으로 생각합니다 :

데이터 서비스 시스템으로의 발전

IT 프로젝트 수행 및 구매 비용의 효율적 집행 가능

Q U E S T I O N SQ U E S T I O N SA N S W E R SA N S W E R S