Ứng dụng Data Warehouse xây dựng CSDL KTXH cho cácBộ, Ngành

Trình bày: Chu Kỳ Quang

Huế - 30/8/2013

Nội dung trình bày

I. DW và OLAP trong hệ thống hỗ trợ ra

quyết định

II. Một trường hợp ứng dụng

III.Một vài nhận xét

I. DW&OLAP trong hệ thống hỗ trợ ra quyết định

Nhu cầu thông tin

1. Phân biệt 2 loại thông tin:

• Thông tin dữ liệu nhằm phục vụ tính hợp pháp của các quyết định hành chính

• Thông tin dữ liệu phục vụ tính hợp lý của các quyết định hành chính

2. Xây dựng DW&OLAP là một trong các giảipháp đáp ứng thông tin phục vụ tính hợp lý của các quyết định hành chính

I. Những câu hỏi của nhà quản lý

1. “Chúng tôi có hàng núi dữ liệu, nhưng chúng ta không

thể truy cập được”

2. “Chúng tôi cần lát mỏng (slicing) và cắt miếng (dicing)

dữ liệu theo cách tùy ý”

3. “Các anh làm công nghệ thông tin phải làm sao cho

người nghiệp vụ trực tiếp lấy được dữ liệu”

4. “Tôi cần biết điều gì là quan trọng”

5. “Tôi phát điên lên là tại cuộc họp có hai người đưa ra

hai con số khác nhau của cùng một chỉ tiêu nghiệp vụ”

6. “Chúng tôi muốn mọi người phải sử dụng nhiều thông

tin hơn để hỗ trợ việc ra quyết định”

I.Kiến trúc hệ thống DW&OLAP

I.Kiến trúc hệ thống DW&OLAP

• Lớp đáy là nguồn dữ liệu bên ngoài

• Lớp tiếp theo là DW. Nó luôn là một hệ thống CSDL

quan hệ. Lược đồ CSDL của nó thường là hình sao, hình

bông tuyết và hình chòm sao.

• Lớp giữa là OLAP server, thường được cài đặt bởi hoặc

(1) Mô hình ROLAP

(2) Mô hình MOLAP

(3) Mô hình lai HOLAP

• Lớp đỉnh là một client, nó bao gồm các công cụ hỏi, báo

cáo, phân tích và các công cụ phân tích dự báo

I.So sánh các k/n cơ bản của DW & OLAP

DW OLAP Hệ thống DBMS quan hệ (SQL,

Oracle…)

OLAP engine (SSAS,

…)

Mô hình

dữ liệu

- Theo mô hình quan hệ

- Lược đồ hình sao, bông

tuyết, chòm sao

- Mô hình đa chiều

- Các cube dữ liệu

Phép toán Các phép chiếu, chọn, nối với

cú pháp SELECT FROM

WHERE thực hiện trên các

table và cho kết quả cũng là

table (bảng phẳng)

Các phép drill down/up,

dice, slice, pivot trên

các cube và cho kết quả

là các cube, hiển thị

bảng làm tổ

I.So sánh… Mô hình dữ liệu DM (hình sao)

I.So sánh… Mô hình dữ liệu CUBE

I.So sánh… Các phép toán DM (SQL)

SELECT TG.THANG, DP.TEN, SP.TEN, BH.DS

FROM TG, DP, SAN_PHAM SP, BAN_HANG.

WHERE TG.TG=BH.TG AND DP.DP=BH.DP AND SP.SP=SP.SP

THANG DP SP DS

2/2012 HN P2 1

2/2012 SG P1 2

2/2012 SG P2 3

3/2012 HN P1 4

3/2012 HN P2 5

3/2012 SG P1 6

3/2012 SG P2 7

4/2012 HN P1 8

4/2012 HN P2 9

4/2012 SG P1 10

4/2012 SG P2 11

I.So sánh… Các phép toán CUBE (MDX)

SELECT

{([DIA_PHUONG].[TEN], [SAN_PHAM].[TEN])} ON COLUMNS

[THOI_GIAN].[THANG] ON ROWS

FROM BAN_HANG

HN SG

All P1 P2 All P1 P2

2/2012 1 1 5 2 3

3/2012 9 4 5 13 6 7

4/2012 17 8 9 21 10 11

II. Một trường hợp ứng dụng

Mục tiêu dự án

1. Xây dựng mô hình phân tích dự báo KTXH trung và

dài hạn

2. Xây dựng mô hình phân tích dự báo KTXH ngắn

hạn

II.Quy trình phân tích dự báo

1. Xác định và định nghĩa vấn đề cần phân tích, dự báo

2. Hiểu dữ liệu

3. Chuẩn bị dữ liệu

4. Xây dựng hoặc lựa chọn mô hình dự báo và dự báo

5. Phân tích và đánh giá kết quả dự báo

6. Sử dụng kết quả dự báo, thông tin, tri thức mới rút

ra từ mô hình dự báo.

II. Một số phương pháp phân tích dự báo

1. Khai phá dữ liệu: mô tả lớp, luật kết hợp, phân tích

cụm…

2. Phương pháp ngoại suy

3. Mô hình tăng trưởng kinh tế

4. Mô hình chuỗi thời gian

5. Mô hình kinh tế lượng

6. Mô hình cân bằng tổng quát tính toán được

7. Mô hình đầu vào, đầu ra (Bảng I/O)

II.Giải pháp của HIPT

Xây dựng DW&OLAP là platform dữ liệu cho quá

trình phân tích dự báo

II. Giải pháp của HIPT

Hệ thống chỉ tiêu

1. Nhóm chỉ tiêu đô thị hóa

2. Nhóm chỉ tiêu chất lượng nguồn nhân lực

3. Nhóm chỉ tiêu chuyển dịch Cơ cấu kinh tế

4. Nhóm chỉ tiêu Cơ sở hạ tầng

5. Nhóm chỉ tiêu cán cân thanh toán quốc tế

6. Nhóm chỉ tiêu Nông lâm nghiệp và thuỷ sản

7. Nhóm chỉ tiêu Công nghiệp

8. .v.v.

II. Giải pháp của HIPT

Phân tổ

1. Khu vực kinh tế

2. Thành phần kinh tế

3. Ngành kinh tế

4. Mục đích sử dụng

5. Loại hình doanh nghiệp

6. .v.v.

II. Giải pháp của HIPT

Địa danh phân cấp

1. Vùng lãnh thổ (Âu. Á, Các nước Đông Nam Á…)

2. Nước

3. Vùng miền

• Trung du và miền núi phía Bắc

• Đồng bằng sông Hồng

• Bắc Trung Bộ và Duyên hải miền Trung

• Đông Nam Bộ

• Đồng bằng sông Cửu Long

• Tây Nguyên

4. Tỉnh/Thành phố

II. Giải pháp của HIPT

Thời gian phân cấp

1. Năm (số liệu từ 1995 đến 2012)

2. Quý

3. Tháng

II. HỆ THỐNG PHẦN MỀM

1. Sử dụng SSAS tạo cube online từ DM

2. Chương trình của HIPT tạo cube offline lưu trong

file .CUB

3. Chương trình quản lý DM (cập nhật các bảng

chiều, tải bảng FACT), khai thác CUBEvà DM

4. Chương trình khai thác CUBE (webbase)

5. Sử dụng SSAS viết câu lệnh MDX

II. Nhận xét: chức năng của DW&OLAP

• Làm cho thông tin của tổ chức truy cập được: dễ hiểu, mềm

dẻo (navigable) và nhanh

• Làm cho thông tin của tổ chức thống nhất: nếu 2 số liệu của

tổ chức có cùng tên, thì chúng phải đồng nghĩa; ngược lại nếu

2 số liệu khác nghĩa thì chúng phải khác tên

• Nguồn thông tin thích nghi với sự thay đổi: khi thêm câu hỏi

mới và dữ liệu mới, dữ liệu và công nghệ đang sử dụng

không thay đổi và không mắc lỗi

• DW phải là pháo đài an ninh bảo vệ tài sản thông tin của tổ

chức

• DW là cơ sở để ra quyết định: dữ liệu lịch sử và chân thực

của DW là cơ sở để hỗ trợ việc ra quyết định

II. Nhận xét: Trách nhiệm của QT DW&OLAP

1. Hiểu được lĩnh vực nghiệp vụ, trách nhiệm công việc của

người sử dụng.

2. Xác định rõ các quyết định mà người nghiệp vụ muốn ban

hành với sự trợ giúp của DW&OLAP.

3. Chỉ ra người sử dụng tốt nhất, người sẽ ra quyết định có sử

dụng DW&OLAP.

4. Tìm ra người sử dụng mới tiềm năng và làm cho họ biết tới

DW&OLAP.

5. Chọn ra một tập con dữ liệu tích cực và hiệu quả nhất từ một

núi dữ liệu trong tổ chức để đưa vào DW&OLAP.

II. Nhận xét: Trách nhiệm của QT DW&OLAP

6. Tạo ra các giao diện ứng dụng đơn giản, phù hợp với kinh

nghiệm của người sử dụng.

7. Bảo đảm dữ liệu là chính xác và tin cậy, gắn nhãn cho nó một

cách nhất quán trong toàn bộ tổ chức.

8. Liên tục giám sát tính chính xác của dữ liệu và nội dung của

các báo cáo được phát hành.

9. Tìm kiếm các nguồn dữ liệu mới, làm DW&OLAP liên tục

thích nghi với sự thay đổi của dữ liệu, các yêu cầu báo cáo và

các ưu tiên nghiệp vụ.

10. Trên cơ sở thành công của các quyết định nghiệp vụ có sử

dụng DW&OLAP, điều chỉnh nhân sự, phần mềm và phần

cứng.

II. Nhận xét: Trách nhiệm của QT DW&OLAP

11. Phát hành dữ liệu đều đặn

12. Duy trì sự tin cậy của người sử dụng

13. Giữ được người sử dụng nghiệp vụ, sự hỗ trợ của

người điều hành và sự hài lòng của lãnh đạo

II. NX: Những cạm bẫy phải tránh khi xây dựng DW

1. Quá quan tâm đến công nghệ và dữ liệu hơn là tập trung vào

yêu cầu và mục đích của nghiệp vụ

2. Không có được người bảo trợ cho DW&OLAP, người có tầm

nhìn quản lý hợp lý, có ảnh hưởng

3. Triển khai dự án 1 lần mà không nỗ lực phát triển dần dần, có

quản lý và hấp dẫn người dùng

4. Phân bổ quá nhiều nguồn lực để xây dựng vùng chuẩn bị dữ

liệu dẫn đến hết tiền trước khi xây dựng vùng trình bày có giá

trị trên cơ sở mô hình chiều

5. Chú ý quá nhiều vào hiệu quả xử lý hậu trường hơn là chú ý

đến hiệu quả xử lý câu hỏi và tính dễ sử dụng cho người

nghiệp vụ

II. NX: Những cạm bẫy phải tránh khi xây dựng DW

6. Làm cho dữ liệu được hỏi trong vùng trình bày trở nên quá

phức tạp

7. Triển khai các mô hình đa chiều một cách cô lập mà không

xem xét đến kiến trúc dữ liệu cho phép chia sẻ các chiều

tương thích

8. Chỉ tải dữ liệu tổng vào vùng trình bày

9. Cho rằng yêu cầu nghiệp vụ, dữ liệu đang có và công nghệ là

tĩnh

10. Không coi trọng sự chấp nhận của người dùng là thành công

của DW&OLAP

CÂU HỎI THẢO LuẬN