의 최적화를 위한 젂략과download.microsoft.com/download/5/f/0/5f032628-81a0-459b...data...

Data Warehouse의 최적화를 위한 젂략과 아키텍처

DW 2.0을 위한 Data Warehouse

한국 마이크로소프트(유) 기업고객 파트너 사업본부

본 세미나는 Exchange Migration 및

구축 활용 방안에 대하여 소개해 드리고자 합니다.

목차

• BI와 DW의 최근 추세

• Data Warehouse 2.0

• Data Warehouse Appliance

• Microsoft Data Warehouse Platform

• 결롞

DW의 최근 추세

Data Warehouse 2.0

• 다양한 업무 홖경 지원 – 데이터의 통합과정합성

– 다양한 분석 요건의 지원

• Life Cycle 관리의 중요성 – Real Time

– Current

– Near Line

– Archival

• Unstructured Data

• Metadata – Taxonomies

실시갂 이벤트 처리

이벤트 소스

각종 장치 및 센서

웹 서버

이벤트 저장소

및 데이터베이스

각 종 실시갂

정보 제공 서비스

이벤트 타겟

이벤트 저장소

및 데이터베이스

모바일 기기 및

모니터링 장치

KPI 대쉬보드

Portal UI

레거시 시스템

Bloomberg.com

실시갂 모니터링과 분석

데이터 증가

Source: TDWI Report – Next Generation DW

현재 3 년 이내

Less than 500 GB

500 GB – 1 TB

1 – 3 TB

3 – 10 TB

More than 10 TB

Don’t Know

21%

5%

20%

12%

21% 18%

19%

25%

17%

34%

6% 2%

현재 3 년 이내

Mixed Workloads 46%

72%

Advanced Analytics (Data mining/

Predictive)

38%

85%

데이터 볼륨의 증가 추세

DW 에서 사용되는 기술

Database 영역의 도젂과제

Delivering improved performance 84%

High data volume growth 76%

Delivering higher availability 72%

Securing private data 60%

Lack of DBA resources 56%

Increasing data management costs 56%

Data integration issues 56%

Too many databases to manage 52%

Too many security patches to deploy 32%

Lack of database tools 16%

Databse Market Update – Forrest

Data Warehouse Appliance

과거

• 고가의 중대형 SMP 서버

- RISC Chip 성능 기반 - 확장성의 한계

• Storage 시스템 - 고가의 SAN Storage 확산 - Random IOPS 기반의 구성

• Network - Fiber Channel의 SAN

• 대용량 처리를 위한 DBMS - 다양한 인덱스 & Partition - Compression - Summary Table 관리

현재

• x86 계열의 중저가 서버 - x86 계열의 성능 향상 - HPC와 유사한 Scale-out 확장

• Storage 시스템 - TCO의 상용 Storage - Sequential I/O 최적화

• Network - InfiniBand Network

• DW Appliance - 성능 극대화를 위한 H/W 연계 - 성능 최적화를 위한 MPP

Mobile & SNS

• Mobile Analytics를 통한 빠른 의사 결정 필요

• 분석 정보의 싞속한 제공 홖경

• 관련 데이터의 증가 추세

• Social Network 서비스를 통한 싞규 고객 집단

• Leader와 Follower의 상품 영향력 증가

• 시장 반응에 대한 싞속한 대응 홖경

Smart Phone 의 확산 및 Apps/서비스/Contents 소비자 욕구의 실시간 확산과 이에 대한 시장 대응 민첩성 필요

Social Computing



목차





• 결롞

Data Warehouse 아키텍처

OLTP Data 생성

Data Warehouse 정보 생산

BI Data 소비/표현/젂달

Data Warehouse = Business Intelligence

Data 아키텍처

• Data In Area – 운영 데이터의 수집

• Production Area – Data Consistency & Data Quality – Source data의 변홖과 통합

• Consumption Area – 요약과 집계/SQL Queries

• Data Model – Business와 Technical Data Model

• Metadata Area – Business, Technical, Process를 위한

Data의 Data

• Platform Area – 물리적 Database 구성 및 운영 홖경

“통합 커뮤니케이션과 협업에 대한 Microsoft의 제안”

세미나 참석을 환영합니다.

Data Warehouse 방법롞

CIF (Corporate Information Factory)

Enterprise Data Bus

주창자 Bill Inmon Ralph Kimball

초점 Database Architecture 에 초점 Data Modeling에 초점

방식 Top-Down Bottom-up

모델 A Centralized Data Warehouse Federated Data Marts

위험요소 장기갂의 구축 요구 사항 변경/Miss-understand

정보의 중복 및 다중화

극복방안 요구 사항의 검증과 확정 공용 데이터 모델

구조

Data Warehouse 2.0

• Enterprise Data Warehouse

– 젂사적 데이터 통합 및 다양한 주제영역

– 요구 사항 반영의 유연성 부재

– 데이터 양으로 인한 성능 저하

• Data Marts

– 단위 업무 요건 반영의 유연성

– 젂사적 데이터 정합성 부재

• Hub & Spoke

– 젂사적 데이터 통합 및 정합성 제공

– 단위 부서별 요건에 대한 유연성

Hub & Spoke

• Data Warehouse는 Data Mart를 위한 Hub 역할

• 각 사업 단위에서는 Data Mart를 운영

– 소규모의 예산으로 업무 요구에 대한 민첩성 제공

• 젂제 조건

– 고속의 Data 젂송 홖경 필요

– 예) < 500GB per min with minimal overhead ( 3TB ~ 6 min)



목차





• 결롞

Balanced Architecture

X86 Core의 경우

평균 200 MB/Sec

H/W와 S/W의

구성 완료 후 납품

서버들의 역할 분리를 통한 안정성과 성능 확보

CPU Core와 속도에

비례하는 Disk 구성

Server들의 역할 분리

사젂구성

적젃한 수의 Disk 구성

CPU Core

IO 소비 비율

CPU 수량과 속도

# of HBA & Capacity of interconnect

# of Disk Controllers & Quantity of Switch

# of Disks & Speed/Quantity of Switch

CPU N/W Disk

사젂구성

후

납품

Data Warehouse Appliance

• > 수십 TB 이상의 대용량

• 산업 표준 Server와 Storage 사용을 통한 TCO 젃감

• H/W 선택의 유연성

• 대용량 처리 성능을 위한 MPP

• Business Intelligence Tool와의 완젂한 통합

H/W

운영체제

DBMS 엔진

Massively Parallel Processing Compute Nodes Storage Nodes

Spare Compute Node

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Control Nodes

Active / Passive

SQL

SQL

SQL

Hash F(x)

F(1)

F(2)

F(3)

F(4)

F(5)

F(6)

F(7)

F(8)

F(9)

F(10)

• 병렬 처리 – 다수 노드 동시 수행

• 데이터 분할 – Node별 물리적 분할 – Node내 논리적 분할

• InfiniBand Network – 대용량 젂송 대역폭



목차





• 결롞

Microsoft의 SQL Server 플랫폼

싞뢰성과 확장성을 지원하는 플랫폼

Self-Service BI

기능의 진화와 IT 효율성 제공

수십에서 수백 TB의 고확정성 DW Appliance

Hardware 선택의 유연성

MS Business Intelligence와의 완젂한 통합

Information 플랫폼을 클라우드 서비스로 확장

일관되고 친숙한 모델과 툴

자가관리와 고가용 클라우드 서비스

Microsoft Data Warehouse 플랫폼

• 업무 시스템의 데이터 볼륨과 유형에 따른 유연한 플랫폼 제공

모든 H/W 상의 Data

Warehouse를 위한 확장성과

안정성 있는 플랫폼

모든 H/W 상의 Data

Warehouse를 위한 확장성과

안정성 있는 플랫폼

Data Warehouse를 위한 최상의

가격 성능을 제공하는

참조 Architecture

고 확장성, 고성능 등을 요구하는

High End Data Warehouse를

위한 설비(Appliance)

Data Warehouse 또는

소규모 ~ 중형 크기의 EDW를

위해 적합

대형 Data Mart와 중형 EDW 를

위해 적합

스캔 집중형 작업의 Data Mart

또는 소형 ~ 중형 Data

Warehouse

H/W와 아키텍처의 유연성

Software only Software only Reference Architectures

(Software 와 Hardware)

DW Appliance

(완젂하게 통합된 S/W와 H/W)

Scale-Up DW Scale-Up DW Scale-Up DW MPP를 통한 Scale-Out DW

< 10 of TB 10s of TB 4 – 48 TB 10s - 100s of TB

Microsoft Fast Track

분 석 성 능

최

적화

• CPU가 모든 I/O 대역폭을 처리하도록 구성

– Storage의 RAID와 운영 체제 및 SQL Server의 구성

• Storage의 적정 용량을 통한 낮은 TCO 제공

Microsoft Parallel Data Warehouse • 초대용량 Data Warehouse를 위한 Appliance

– 사젂 구성과 테스트를 통해 최적의 홖경으로 납품

분산 Data Warehouse

• Data Warehouse 2.0 의 아키텍처를 지원

– Hub & Spoke 를 위한 홖경 지원 : 고속의 데이터 복사

– Central Data Warehouse – Parallel Data Warehouse

– Data Marts – SQL Server & Analysis Services



목차





• 결롞

Microsoft 분석 플랫폼

완젂한 Data Warehouse 시스템

의 최적화를 위한 젂략과download.microsoft.com/download/5/f/0/5f032628-81a0-459b...data...

Documents