ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

HOÀNG VĂN TIẾN

KHAI PHÁ DỮ LIỆU VÀ ỨNG DỤNG TRONG

Y TẾ DỰ PHÒNG

Ngành: Công nghệ thông tin

Chuyên ngành: Quản lý Hệ thống thông tin

Mã số: 8480205.01

LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. ĐẶNG THANH HẢI

Hà Nội - 2018

i

LỜI CAM ĐOAN

Luận văn “Khai phá dữ liệu và ứng dụng trong y tế dự phòng” đánh dấu cho

những thành quả, kiến thức của tôi đã tiếp thu được trong quá trình rèn luyện,

học tập và nghiên cứu tại Trường Đại học Công nghệ - Đại học Quốc gia Hà

Nội. Tôi xin cam đoan các nội dung được trình bày trong luận văn này được xây

dựng, hoàn thành bằng chính quá trình nghiên cứu của bản thân và dưới sự

hướng dẫn của thầy giáo TS. Đặng Thanh Hải.

Trong quá trình làm luận văn này, tôi đã tham khảo một số tài liệu từ nhiều

nguồn khác nhau, các nội dung tham khảo đều được trích dẫn rõ ràng. Nếu có

điều gì không trung thực, tôi xin chịu mọi hình thức kỷ luật theo đúng quy định.

Hà Nội, ngày tháng năm 2018

Học viên

Hoàng Văn Tiến

ii

LỜI CÁM ƠN

Lời đầu tiên, tôi xin gửi lời cám ơn đến Thầy Cô giáo tại trường Đại học

Công nghệ - Đại học Quốc gia Hà Nội nói chung và Thầy Cô giáo trong bộ môn

Hệ thống thông tin và Khoa Công nghệ thông tin - Trường Đại học Công nghệ -

Đại học Quốc gia Hà Nội đã nhiệt tình giảng dạy, truyền đạt những kiến thức,

kinh nghiệm quý báu trong suốt thời gian tôi học tập tại trường.

Đặc biệt, tôi xin gửi lời cám ơn chân thành nhất đến TS. Đặng Thanh Hải,

người đã hướng dẫn tôi trong suốt quá trình thực hiện luận văn này. Nhờ sự

hướng dẫn và chỉ bảo tận tình của Thầy, tôi đã có được những kiến thức và kinh

nghiệm quý báu về cách xác định vấn đề nghiên cứu, phương pháp nghiên cứu,

trình bày kết quả và hoàn thành luận văn của mình.

Cuối cùng, tôi xin gửi lời cám ơn tới toàn thể gia đình, bạn bè và đồng

nghiệp đã luôn quan tâm, ủng hộ và động viên, giúp tôi có nghị lực phấn đấu để

hoàn thành tốt luận văn.

Hà Nội, ngày tháng năm 2018

Học viên

Hoàng Văn Tiến

iii

TÓM TẮT NỘI DUNG

Phân tích và dự báo từ lâu đã được ứng dụng trong mọi lĩnh vực nhằm đưa ra

những định hướng, chiến lược phát triển trong tương lai. Ngành Y tế không

đứng ngoài xu thế đó, đặc biệt là dự báo dịch bệnh truyền nhiễm từ lâu đã được

các nhà khoa học quan tâm nghiên cứu và ngày càng phát triển. Phân tích và dự

báo dịch bệnh truyền nhiễm được quan tâm vì những lợi ích rất lớn nó mang lại

trong công tác phòng ngừa dịch bệnh. Phân tích và dự báo diễn biến của dịch

bệnh giúp chúng ta chủ động trong công tác phòng ngừa, nhằm giảm thiểu

những tổn hại do dịch bệnh gây ra. Việc xác định được chu kỳ diễn biến của

dịch bệnh truyền nhiễm dựa trên các yếu tố thời gian, khí hậu và vùng địa lý rất

được quan tâm. Nắm bắt chu kỳ diễn biến của dịch bệnh, đưa ra dự báo và lên

phương án ứng phó, khoanh vùng, dập dịch nhanh, không để lây lan là hết sức

quan trọng góp phần hạn chế tối đa hậu quả của dịch bệnh gây ra cho con

người.

Đề tài nghiên cứu trước hết tìm hiểu kiến thức nền tảng về khai phá dữ liệu,

sau đó tìm hiểu sâu các kỹ thuật khai phá dữ liệu tiên tiến đang nhận được nhiều

sự quan tâm của cộng đồng nghiên cứu trên thế giới, qua đó đề xuất vận dụng

phương pháp và công cụ khai phá dữ liệu phù hợp với tập dữ liệu dịch cúm do

Google Flu Trends công bố. Google Flu Trends là dịch vụ của Tập đoàn

Google, cung cấp số liệu ước tính về dịch cúm tại hơn 25 quốc gia, thông qua

việc tổng hợp các truy vấn tìm kiếm trên www.google.com, thông qua đó cố

gắng đưa ra dự báo chính xác về dịch cúm.

Đề xuất lựa chọn phương pháp khai phá dữ liệu phù hợp trên tập dữ liệu dịch

bệnh cúm do Google Flu Trends công bố, tìm ra chu kỳ diễn biến của dịch, đưa

ra các dự báo và hỗ trợ định hướng hoạt động y tế dự phòng theo từng thời điểm

trong năm, nhằm có những chính sách và biện pháp phù hợp để hạn chế thiệt hại

của dịch bệnh gây ra.

iv

MỞ ĐẦU

Ngày nay, con người đang phải đối mặt với tình hình dịch bệnh lây nhiễm

hoành hành, bùng phát một cách nhanh chóng. Dịch bệnh ngày càng diễn biến

phức tạp về phạm vi và chủng loại. Thực tế đó, đòi hỏi công tác y tế dự phòng

cần phải được đẩy mạnh, nâng cao nhằm khoanh vùng và hạn chế sự lây lan của

dịch bệnh. Công tác giám sát dịch bệnh lây nhiễm, phân tích và dự báo phục vụ

ra quyết định ngày càng trở nên quan trọng và cần được đẩy mạnh.

Chính từ sự cấp thiết đó, học viên đã chọn đề tài “Khai phá dữ liệu và ứng

dụng trong y tế dự phòng” làm luận văn thạc sĩ của mình, nhằm góp phần công

sức nhỏ bé cho lĩnh vực y tế dự phòng có thêm một số giải pháp phân tích, dự

báo hiệu quả dịch bệnh truyền nhiễm hiện nay. Nội dung luận văn tập trung vào

những phần sau:

Chương 1: Giới thiệu về lĩnh vực y tế dự phòng

Trong chương này giới thiệu tổng quan về lĩnh vực y tế dự phòng, lịch sử

hình thành và phát triển của y tế dự phòng.

Chương 2: Các phương pháp và công cụ khai phá dữ liệu

Nội dung tại chương này xoay quanh khái niệm, tính chất cơ bản của các

phương pháp khai phá dữ liệu phổ biến hiện nay. Qua đó, đề xuất một phương

pháp và công cụ phù hợp khai phá tập dữ liệu dịch bệnh cúm.

Chương 3: Phương pháp phân tích và dự báo với chuỗi dữ liệu thời gian

Đi sâu vào kỹ thuật phân tích chuỗi dữ liệu chuỗi thời gian (time series data)

và áp dụng kỹ thuật này với tập dữ liệu dịch bệnh cúm do Google Flu Trends

công bố trên mô hình ARIMA.

Chương 4: Thực nghiệm và đánh giá

Phân tích và đưa ra kết quả dự báo dựa trên tập dữ liệu Google Flu Trends

công bố dịch bệnh cúm, sử dụng các phương pháp phân tích chuỗi dữ liệu thời

gian và công cụ khai phá dữ liệu.

v

MỤC LỤC

CHƯƠNG 1: GIỚI THIỆU VỀ LĨNH VỰC Y TẾ DỰ PHÒNG ................................ 1

1.1. Giới thiệu về y tế dự phòng ................................................................................... 1

1.2. Dịch bệnh .............................................................................................................. 1

1.3. Dự báo dịch bệnh trong lĩnh vực y tế dự phòng .................................................... 1

1.4. Thực trạng nghiên cứu dự báo trong y tế dự phòng .............................................. 1

1.5. Mục tiêu nghiên cứu .............................................................................................. 2

CHƯƠNG 2: CÁC PHƯƠNG PHÁP VÀ CÔNG CỤ KHAI PHÁ DỮ LIỆU ............ 3

2.1. Khai phá dữ liệu .................................................................................................... 3

2.2. Các kỹ thuật khai phá dữ liệu ................................................................................ 3

2.3. Dữ liệu chuỗi thời gian (time series data) ............................................................. 5

2.4. Các công cụ, phần mềm hỗ trợ khai phá dữ liệu ................................................... 5

Tóm tắt chương 2 ......................................................................................................... 6

CHƯƠNG 3. PHƯƠNG PHÁP PHÂN TÍCH VÀ DỰ BÁO....................................... 7

VỚI CHUỖI DỮ LIỆU THỜI GIAN ........................................................................... 7

3.1. Dữ liệu chuỗi thời gian .......................................................................................... 7

3.2. Tính dừng của dữ liệu chuỗi thời gian ................................................................... 8

3.3. Mô hình ARIMA ................................................................................................... 10

Tóm tắt chương 3 ......................................................................................................... 11

CHƯƠNG 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ ........................................................ 12

4.1. Mô hình thực nghiệm ............................................................................................ 12

4.2. Mục đích thực nghiệm ........................................................................................... 12

4.3. Tập dữ liệu Google Flu Trends ............................................................................. 12

4.4. Môi trường, cấu hình hệ thống và công cụ ............................................................ 13

4.5. Kết quả thực nghiệm ............................................................................................. 13

4.6. Đánh giá kết quả .................................................................................................... 20

Tóm tắt chương 4 ......................................................................................................... 20

KẾT LUẬN .................................................................................................................. 21

1. Các kết quả đạt được ................................................................................................ 21

2. Hướng nghiên cứu tiếp theo ..................................................................................... 21

TÀI LIỆU THAM KHẢO ............................................................................................ 22

Tiếng Việt..................................................................................................................... 22

Tiếng Anh..................................................................................................................... 22

vi

DANH MỤC CÁC HÌNH VẼ

Hình 2.1. Các bước khai phá dữ liệu ............................................................................... 3

Hình 2.2. Tuyến tính hồi quy với một dự đoán duy nhất ................................................ 4

Hình 2.3. Mô hình hồi quy phi tuyến tính ....................................................................... 4

Hình 2.4. Giao diện phần mềm weka .............................................................................. 5

Hình 2.5. Giao diện SPSS ............................................................................................... 6

Hình 2.6. Giao diện phần mềm R .................................................................................... 6

Hình 3.1. Số liệu diễn biến cúm phía Nam Châu phi từ năm 2006 - 2015 ...................... 7

Hình 3.2. Biểu diễn xu hướng giảm của dữ liệu .............................................................. 7

Hình 3.3. Biểu diễn thay đổi chuỗi thời gian theo từng khoảng thời gian ....................... 7

Hình 3.4. Biểu diễn chu kỳ chuỗi thời gian ..................................................................... 8

Hình 3.5. Sơ đồ chuỗi thời gian với định lượng Y(t) theo thời gian t ............................. 8

Hình 3.6. Các bước chính trong phương pháp Box‐Jenkins ............................................ 11

Hình 4.1. Biểu đồ so sánh dữ liệu dự báo của Google Flu Trends và Trung tâm kiểm

soát và phòng ngừa các chứng bệnh của Mỹ ................................................................... 12

Hình 4.2. Mẫu dữ liệu bệnh cúm của 25 nước trên thế giới được tổng hợp từ 2003 đến

2015 ................................................................................................................................. 13

Hình 4.3. Cài đặt gói thư viện ......................................................................................... 14

Hình 4.4. Nạp dữ liệu ...................................................................................................... 14

Hình 4.5. Tập dữ liệu cúm của Argentina ....................................................................... 14

Hình 4.6. Tập dữ liệu cúm của Argentina năm 2004 ....................................................... 15

Hình 4.7. Diễn biến cúm năm 2004 của Argentina theo tháng ........................................ 15

Hình 4.8. Dữ liệu cúm của năm 2004 Argentina được làm sạch ..................................... 15

Hình 4.9. Diễn biến cúm Argentina năm 2014 được làm sạch ........................................ 16

Hình 4.10. Biểu đồ bệnh cúm của Argentina với dữ liệu được làm mịn ......................... 16

Hình 4.11. Sơ đồ dữ liệu được phân tách theo thành phần tính thời vụ, xu hướng và

chu kỳ .............................................................................................................................. 16

Hình 4.12. Mô hình ACF ................................................................................................ 17

Hình 4.13. Mô hình PACF .............................................................................................. 17

Hình 4.14. Mô hình kiểm tra với d = 1 .......................................................................... 17

Hình 4.15. Mô hình ACF với d = 1 ................................................................................ 18

Hình 4.16. Mô hình PACF với d = 1 .............................................................................. 18

Hình 4.17. Mô hình ARIMA (1, 1, 1) ............................................................................... 18

Hình 4.18. Mô hình ARIMA (1, 1, 7) ............................................................................... 19

Hình 4.19. Mô hình dự báo với hệ số (1, 1, 1) ................................................................ 19

Hình 4.20. Mô hình dự báo ............................................................................................. 19

Hình 4.21. Mô hình dự báo ARIMA (0, 2, 0)(0, 0, 1)(7) ................................................ 20

Hình 4.22. Diễn biến dịch bệnh thực tế tại Argentina từ năm 2003 đến 2015 ................ 20

vii

DANH MỤC CÁC BẢNG BIỂU

Bảng 1. Cấu hình phần cứng ........................................................................................ 13

Bảng 2. Các công cụ, phần mềm sử dụng .................................................................... 13

viii

DANH MỤC VIẾT TẮT

TT Viết tắt Tiếng Anh Tiếng Việt

1. ARIMA Autoregressive integrated

moving average

Tư hôi quy tich hơp trung

binh trươt

2. ACF Autocorrelation function Chức năng tự tương quan

3. PACF Partial

autocorrelation plots

Sự tự tương quan thành

phần

4. BI Business intelligence Thông minh nghiệp vụ

5. KDD Knowledge discovery in

database

Khai phá tri thức trong cơ

sở dữ liệu

6. SPSS Statistical product and

services solutions

Giải pháp sản phẩm và dịch

vụ thống kê

7. AR Autoregressive Tự hồi quy

8. MA Moving average Trung bình trượt

9. ARMA Autoregressive moving

average Trung bình trượt tự hồi quy

10. GDP Gross domestic product Tổng sản phẩm quốc nội

11. CDC Centers for disease

control and prevention

Trung tâm kiểm soát và

phòng ngừa dịch bệnh

ix

DANH SÁCH CÁC THUẬT NGỮ

TT Thuật ngữ tiếng Anh Nghĩa tiếng Việt

1. Ebola Bệnh do virus Ebola

2. MERS-CoV Hội chứng hô hấp Trung Đông

3. H5N1, H7N9, H5N6,

H9N2, H5N8

Virus cúm gia cầm H5N1, H7N9, H5N6,

H9N2, H5N8

4. Internet Mạng Internet

5. Petabybe Đơn vị lưu trữ trên máy tính

6. HD Độ phân giải cao hay độ nét cao

7. CPU Bộ vi xử lý trung tâm

8. RAM Bộ nhớ truy cập ngẫu nhiên

9. OS Hệ điều hành

1

CHƯƠNG 1: GIỚI THIỆU VỀ LĨNH VỰC Y TẾ DỰ PHÒNG

1.1. Giới thiệu về y tế dự phòng

Y tế dự phòng là lĩnh vực y tế thực hiện các biện pháp giám sát, dự

báo, phòng ngừa và kiểm soát dịch bệnh [9].

1.1.1. Lịch sử phát triển của y tế dự phòng

Hippocrates, một bác sĩ người Hy Lạp ở Thế kỷ thứ 5 trước Công nguyên,

đã phân loại các nguyên nhân gây bệnh thành những khía cạnh có liên quan

đến mùa, khí hậu, và điều kiện bên ngoài và những nguyên nhân như thức ăn,

chế độ luyện tập và thói quen không bình thường của mỗi cá nhân [5]. Kỷ

nguyên hiện đại trong y học dự phòng được mở ra vào giữa Thế kỷ 19 với sự

khám phá của Louis Pasteur về vai trò của các vi khuẩn sống như là nguyên

nhân gây ra bệnh nhiễm trùng [9].

1.1.2. Những vai trò của lĩnh vực y tế dự phòng

Lĩnh vực y tế dự phòng có những vai trò cụ thể sau: Giám sát, phát hiện

sớm các bệnh truyền nhiễm, các nguồn bệnh chưa rõ nguyên nhân [1]; Tổ chức

thực hiện các biện pháp phòng, chống và kiểm soát dịch bệnh [1]; Quản lý dữ

liệu và cung cấp thông tin rộng rãi cho xã hội về các bệnh và dịch bệnh truyền

nhiễm [1]; Phòng, chống bệnh không lây nhiễm, bệnh xã hội [1]; Giám sát và

phòng, chống bệnh không lây nhiễm, bệnh xã hội [1]; Thực hiện các hoạt động

phòng, chống yếu tố nguy cơ bệnh không lây nhiễm; triển khai các hoạt động

phòng, chống tác hại của lạm dụng rượu bia và đồ uống có cồn khác [1]; Thực

hiện và kiểm tra, giám sát hoạt động phòng, chống bệnh không lây nhiễm,

bệnh xã hội; thống kê, báo cáo, xây dựng và quản lý cơ sở dữ liệu về bệnh

không lây nhiễm, bệnh xã hội [1]; Nghiên cứu, phát triển và sử dụng vắc xin,

sinh phẩm y tế hỗ trợ phòng ngừa các bệnh truyền nhiễm một cách chủ động

[1]; Hướng dẫn, kiểm tra việc sử dụng vắc xin, sinh phẩm y tế và an toàn tiêm

chủng [1].

1.2. Dịch bệnh

Dịch bệnh là bệnh được lan truyền nhanh chóng và ảnh hưởng đến số

lượng lớn người trong vòng một thời gian rất ngắn [5].

1.3. Dự báo dịch bệnh trong lĩnh vực y tế dự phòng

Hoạt động dự báo hỗ trợ các cơ quan, tổ chức đưa ra những thông tin nhận

định cho tương lai trên cơ sở các thông tin đã có trong quá khứ và hiện tại.

1.4. Thực trạng nghiên cứu dự báo trong y tế dự phòng

Qua tham khảo, nhận thấy các phương pháp dự báo dịch bệnh ban đầu đều

2

dựa trên mô hình lan truyền dịch bệnh, điển hình cho tư tưởng này là mô hình

SIR. Mức độ lan truyền dịch bệnh được xác định như sau:

𝑆 + 𝐼𝑇→ 2𝐼 và 𝐼

𝛼→ 𝑅 (1.1)

1.5. Mục tiêu nghiên cứu

Nghiên cứu tổng quan các phương pháp, kỹ thuật khai phá dữ liệu và tiến

hành thực nghiệm, lựa chọn phương pháp thích hợp với tập dữ liệu dịch bệnh

truyền nhiễm.

Tóm tắt Chương 1

Chương 1 đã giới thiệu tổng quan các vấn đề của dịch bệnh truyền nhiễm,

lịch sử hình thành, phát triển của y tế dự phòng và thực trạng diễn biến dịch

bệnh truyền nhiễm hiện nay. Chương 2 của luận văn sẽ trình bày các phương

pháp và công cụ phổ biến hiện nay phục vụ khai thác dữ liệu, đề xuất lựa chọn

một phương pháp phù hợp nhằm xử lý, phân tích và dự báo tập dữ liệu về dịch

bệnh cúm do Google Flu Trends cung cấp.

3

CHƯƠNG 2: CÁC PHƯƠNG PHÁP VÀ CÔNG CỤ

KHAI PHÁ DỮ LIỆU

2.1. Khai phá dữ liệu

2.1.1. Khái niệm

Khai phá dữ liệu là quá trình trích xuất thông tin bên trong bộ dữ liệu lớn

để xác định các mẫu và thiết lập các mối quan hệ để giải quyết các vấn đề

thông qua phân tích dữ liệu [6]. Khai phá dữ liệu bao gồm 5 bước sau:

Hình 2.1. Các bước khai phá dữ liệu

2.1.2. Ưu điểm của khai phá dữ liệu với các phương pháp khác

2.1.2.1. Học máy (machine learning)

Các phương pháp trong máy học cần được phát triển để phù hợp với các

yêu cầu và thách thức của khai phá dữ liệu. Trong học máy, thuật ngữ cơ sở dữ

liệu là nói tới một tập các mẫu dữ liệu được lưu trong một tệp.

2.1.2.2. Phương pháp hệ chuyên gia

Các hệ chuyên gia sẽ nắm bắt các tri thức trong một bài toán cụ thể. Các

kỹ thuật thu thập giúp các chuyên gia trong việc khai thác tri thức, mỗi phương

pháp là kỹ thuật xây dựng các tập luật.

2.1.3. Những khó khăn trong khai phá dữ liệu

Khi khai phá dữ liệu gặp phải những thách thức sau đây: Cơ sở dữ liệu

lớn; vấn đề over-fitting; dữ liệu và tri thức được cập nhật, thay đổi; dữ liệu

thiếu và nhiễu; tích hợp với hệ thống.

2.2. Các kỹ thuật khai phá dữ liệu

2.2.1. Hồi quy (Regression)

2.2.1.1. Hồi quy tuyến tính (linear regression)

4

Hình 2.2. Tuyến tính hồi quy với một dự đoán duy nhất

Hồi quy tuyến tính với một dự báo đơn có thể được biểu diễn bằng phương

trình:

𝑦 = 𝜃2𝑥 + 𝜃1 + 𝑒, (1.2)

2.2.1.2. Hồi quy tuyến tính đa biến

Hồi quy tuyến tính đa biến đề cập đến hồi quy tuyến tính với hai hoặc

nhiều biến dự đoán (𝑥1, 𝑥2, … , 𝑥𝑛). Khi sử dụng nhiều dự đoán, đường hồi quy

không thể được hiển thị trong không gian hai chiều.

𝑦 = 𝜃1 + 𝜃2𝑥1 + 𝜃3𝑥2 + … … … + 𝜃𝑛𝑥𝑛−1 + 𝑒 (1.3)

2.2.1.3. Hồi quy phi tuyến

Bình thường mối quan hệ giữa x và y không phải luôn được xấp xỉ bằng

một đường thẳng.

Hình 2.3. Mô hình hồi quy phi tuyến tính

2.2.1.4. Hồi quy phi tuyến đa biến

Hồi quy phi tuyến tính đa biến đề cập đến hồi quy phi tuyến với hai hoặc

nhiều yếu tố dự đoán (𝑥1, 𝑥2, … , 𝑥𝑛).

5

2.2.2. Kết hợp (Association)

Kỹ thuật của phương pháp là phát hiện và tìm ra trong tập dữ liệu cần khai

phá những mối liên hệ giữa các giá trị [11]. Đầu ra của phương pháp là luật kết

hợp tìm được từ tập dữ liệu ban đầu [11].

2.2.3. Phân lớp (Classification)

Phân lớp là một kỹ thuật khai phá dữ liệu mà gán các mục trong một bộ dữ

liệu để nhằm mục tiêu phân loại [11]. Mục tiêu của phân lớp là dự đoán chính

xác lớp mục tiêu cho từng trường hợp dữ liệu.

2.2.4. Phân cụm (Clustering)

Phân cụm là kỹ thuật tìm ra các cụm dữ liệu có đặc điểm tương tự nhau

trong tập dữ liệu cần khai phá. Các thành viên của một cụm giống nhau hơn so

với các thành viên của các cụm khác.

2.3. Dữ liệu chuỗi thời gian (time series data)

Chúng ta có thể hiểu chuỗi dữ liệu thời gian là một dãy các giá trị phụ

thuộc vào các mốc thời gian, việc phân tích dữ liệu chuỗi thời gian chính là

việc tìm ra mối liên hệ giữa P và tương ứng với giá trị 𝑥(𝑡), ta có công thức

như sau: 𝑃 → 𝑥(𝑡).

2.4. Các công cụ, phần mềm hỗ trợ khai phá dữ liệu

2.4.1. Phân tích số liệu bằng phần mềm Weka

Weka (viết tắt của Waikato Environment for Knowledge Analysis) là một

công cụ khai thác dữ liệu ban đầu được phát triển tại Đại học Waikato tại New

Zealand [12].

Hình 2.4. Giao diện phần mềm weka

2.4.2. Giới thiệu về SPSS (Statistical Product and Services Solutions)

SPSS là phần mềm phục vụ thống kê, với một bộ thư viện lớn các thuật

toán học máy, phân tích văn bản, nguồn mở, tích hợp dễ dàng với những dữ

liệu lớn [13].

6

Hình 2.5. Giao diện SPSS

2.4.3. Phân tích số liệu bằng R

R là một phần mềm được sử dụng cho phân tích dữ liệu, thống kê và vẽ

biểu đồ [14]. R là ngôn ngữ lập trình đa năng, có thể sử dụng cho nhiều mục

đích, tính toán, giải trí, phân tích thống kê phức tạp [14].

Hình 2.6. Giao diện phần mềm R

Tóm tắt chương 2

Chương 2 giới thiệu các phương pháp và công cụ phục vụ khai phá dữ

liệu. Bên cạnh đó, cũng đã đề cập đến chuỗi dữ liệu thời gian để chúng ta hiểu

bản chất của chuỗi dữ liệu thời gian. Chương 3 đi sâu phân tích phương pháp

phân tích hồi quy với chuỗi dữ liệu thời gian làm cơ sở cho việc thực nghiệm.

7

CHƯƠNG 3. PHƯƠNG PHÁP PHÂN TÍCH VÀ DỰ BÁO

VỚI CHUỖI DỮ LIỆU THỜI GIAN

3.1. Dữ liệu chuỗi thời gian

Dữ liệu chuỗi thời gian là một dãy giá trị phép đo trên cùng một đối tượng

được ghi nhận theo thời gian [10].

Hình 3.1. Số liệu diễn biến cúm phía Nam Châu phi từ năm 2006 - 2015

Dữ liệu chuỗi thời gian có các thành phần cơ bản như:

Hình 3.2. Biểu diễn xu hướng giảm của dữ liệu

- Thành phần xu hướng: để chỉ xu hướng tăng hay giảm của dữ liệu.

Hình 3.3. Biểu diễn thay đổi chuỗi thời gian theo từng khoảng thời gian

8

- Thành phần mùa (thời vụ): để chỉ chiều hướng tăng hay giảm của giá trị

y được tính theo giai đoạn thời gian (khoảng thời gian ngắn).

Hình 3.4. Biểu diễn chu kỳ chuỗi thời gian

- Thành phần chu kì (dài hạn): biểu thị bằng sự tăng, giảm của dữ liệu

chuỗi thời gian xoay quanh xu hướng.

- Thành phần ngẫu nhiên: Đây là thành phần ngược với chu kỳ, thành phần

ngẫu nhiên chỉ sự thay đổi bất thường của giá trị trong chuỗi thời gian và

thường không dự đoán được sự thay đổi của dữ liệu.

Hình 3.5. Sơ đồ chuỗi thời gian với định lượng 𝐘(𝐭) theo thời gian t

Với sơ đồ Hình 3.5 ta có Yt là giá trị định lượng trên chuỗi thời gian được

tính tại thời điểm t, qua đó ta có thể xác định được các mô hình sau:

- Mô hình cộng: 𝑌𝑡 = 𝑇𝑡 + 𝑆𝑡 + 𝐶𝑡 + 𝐼𝑡. (3.1)

- Mô hình nhân: 𝑌𝑡 = 𝑇𝑡𝑆𝑡𝐶𝑡𝐼𝑡. (3.2)

3.2. Tính dừng của dữ liệu chuỗi thời gian

Một tính chất quan trọng của dữ liệu chuỗi thời gian là tính dừng [4]. Một

chuỗi giá trị trên thời gian t là Yt được coi là dừng khi kỳ vọng, phương sai và

hiệp phương sai ở các độ trễ khác nhau giữ nguyên theo diễn biến thời gian

[4]. Chuỗi Yt được coi là dừng khi thỏa mãn:

- 𝐸(𝑌𝑡) = 𝜇(∀𝑡). (3.3)

9

- 𝑉𝑎𝑟(𝑌𝑡) = 𝐸(𝑌𝑡 − 𝜇)2 = 𝜎2(∀𝑡). (3.4)

- 𝐶𝑜𝑣(𝑌𝑡 , 𝑌𝑡+𝑘) = 𝐸[(𝑌𝑡+𝑘 − 𝜇)(𝑌𝑡 − 𝜇)] = 𝑌𝑘(∀𝑡). (3.5)

3.2.1. Kiểm tra tính dừng chuỗi thời gian

3.2.1.1. Kiểm tra trực quan trên trên đồ thị biểu diễn chuỗi thời gian

Quan sát đồ thị chuỗi dữ liệu thời gian nếu thấy trung bình có xu hướng

tăng hoặc giảm theo từng khoảng thời gian để dự đoán chuỗi là không dừng.

3.2.1.2. Kiểm tra dựa trên sơ đồ tự tương quan và tự tương quan riêng

phần

3.2.1.2.1. Sơ đồ tự tương quan ACF (Autocorelation Function)

Sử dụng dùng hàm tự tương quan ACF, trong đó: độ trễ k ký hiệu bằng ρk,

xác định bằng công thức như sau:

𝐴𝐶𝐹(𝑘) = 𝑝𝑘𝑐𝑜𝑣(𝑌𝑡, 𝑌𝑡−𝑘)

𝑉𝑎𝑟(𝑌𝑡) (3.6)

3.2.1.2.2. Sơ đồ tự tương quan riêng phần PACF

Ta sử dụng hàm tương quan PACF để đo độ kết hợp giữa Yt và Yt-k , với

hệ số tương quan riêng ρkk ước lượng theo công thức Durbin:

𝑃𝐴𝐶𝐹(𝑘) = 𝑝𝑘𝑘 =𝑝𝑘− ∑ 𝑝𝑘−1 𝑗 𝑝𝑘−𝑗

𝑘−1𝑗=1

1 − ∑ 𝑝𝑘−1 𝑗 𝑝𝑗𝑘−1𝑗=1

(3.7)

Nếu chuỗi dừng thì các kk cũng có phân phối chuẩn 𝑁(0, 1𝑛⁄ ), do đó

kiểm định giả thiết đối với ρkk tương tự như đối với ρk.

3.2.2. Biến đổi chuỗi không dừng thành chuỗi dừng

Với chuỗi thời gian ban đầu không có tính dừng, trước khi xây dựng mô

hình ARIMA ta phải biến chuỗi thành có tính dừng, phương pháp là lấy sai

phân cấp d với d = 1 hoặc d = 2,...

Ta có công thức: 𝑌𝑡 = 𝑌𝑡−1 + 𝑢𝑡, giá trị ut là nhiễu trắng.

Ta có công thức sai phân cấp 1 của yt như sau: 𝐷(𝑌𝑡) = 𝑌𝑡 − 𝑌𝑡−1 = 𝑢𝑡,

trong đó với ut là nhiễu trắng nên 𝐷(𝑌𝑡) là chuỗi dừng.

Nếu lấy sai phân cấp 1 chuỗi thời gian Yt nhưng chưa cho kết quả là chuỗi

dừng thì tiếp tục lấy sai phân cấp 2, 3… Có thể nói, luôn có một giá trị d để sai

10

phân cấp d của Yt là chuỗi dừng. Khi đó, Yt là liên kết bậc d, ký hiệu là I(d).

Sai phân của cấp d được tính như sau:

+ Cấp 1: 𝐷(𝑌𝑡) = 𝑌𝑡 − 𝑌𝑡−1 (3.8)

+ Cấp 2: 𝐷(𝐷(𝑌𝑡)) = 𝐷2(𝑌𝑡) = (𝑌𝑡 − 𝑌𝑡−1) − (𝑌𝑡−1−𝑌𝑡−2) (3.9)

+ Tương tự như vậy với sai phân cấp d: 𝐷(𝐷𝑑−1(𝑌𝑡)) (3.10)

3.3. Mô hình ARIMA

3.3.1. Mô hình tự hồi quy AR

Ý tưởng mô hình AR(p) là hồi quy số liệu của nó trong quá khứ ở những

chu kì trước.

𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎2𝑌𝑡−2 + ⋯ + 𝑎𝑝𝑌𝑡−𝑝 + 𝑢𝑡; (3.11)

Hàm tuyến tính Yt là của chuỗi quan sát dừng những thời điểm trong quá

khứ: Yt-1, Yt-2…

- Mô hình AR(1) : 𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑢𝑡 (3.12)

- Mô hình AR(2) : 𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎2𝑌𝑡−2 + 𝑢𝑡 (3.13)

3.3.2. Mô hình trung bình trượt MA (Moving Average)

Hàm tuyến tính yt phụ thuộc vào các biến sai số dự báo quá khứ và hiện

tại. Mô hình trung bình trượt là một trung bình trọng số của những sai số mới

nhất.

𝑌𝑡 = 𝑏0 + 𝑢𝑡 + 𝑏1𝑢𝑡−1 + 𝑏2𝑢𝑡−2 + ⋯ + 𝑏𝑞𝑢𝑡−𝑞 (3.14)

- Mô hình MA(1) : 𝑌𝑡 = 𝑏0 + 𝑢𝑡 + 𝑏1𝑢𝑡−1 (3.15)

- Mô hình MA(2) : 𝑌𝑡 = 𝑏0 + 𝑢𝑡 + 𝑏1𝑢𝑡−1 + 𝑏2𝑢𝑡−2 (3.16)

3.3.3. Mô hình trung bình trượt và tự hồi quy ARMA

Yt là quá trình ARMA(1, 1) nếu Y có thể biểu diễn dưới dạng:

Yt = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑢𝑡 + 𝑏0 + 𝑏1𝑢𝑡−1 (u là nhiễu trắng) (3.17)

Tóm lại, Yt là quá trình ARMA (p, q) nếu Yt có thể biểu diễn dưới dạng:

Yt = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎2𝑌𝑡−2 + … + 𝑎𝑝𝑌𝑡−𝑝 + 𝑢𝑡 + 𝑏0 + 𝑏1𝑢𝑡−1 + (3.18)

11

𝑏2𝑢𝑡−2+ . . . + 𝑏𝑞𝑢𝑡−𝑞

3.3.4. Mô hình trung bình trượt tự hồi quy ARIMA

Với bậc tự hồi quy p, số lần lấy sai phân d để chuỗi Yt được xác định là

chuỗi dừng, bậc trung bình trượt q (p và q là bậc tương ứng của chuỗi dừng).

- Trong mô hình ARIMA (p, d, q), khi d = 0 và q = 0 thì ta có AR(p).

- Trong mô hình ARIMA (p, d, q), khi d = 0 và p = 0 thì ta có MA(q).

- Với ARIMA(1,1,1) nghĩa là Yt có sai phân bậc 1 là một chuỗi dừng.

Chuỗi sai phân dừng này có thể biểu diễn dưới dạng ARMA (1,1).

∆𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎0𝑢𝑡 + 𝑎1𝑢𝑡−1 (u là nhiễu trắng) (3.19)

3.3.5. Dự báo dữ liệu chuỗi thời gian

Các bước chính trong phương pháp Box‐Jenkins:

Nhận dang mô hình

Ước lượng mô hình

Mô hình có phù hợp?

Dự báo

Vẽ biểu đồ chuỗi giá trị

Là chuỗi dừng?

Lấy sai phân của chuỗi

Điều chỉnh mô hình

Có

Không

Có

Không

Hình 3.6. Các bước chính trong phương pháp Box‐Jenkins

Tóm tắt chương 3

Chương 3 đã chi tiết phân tích đặc điểm chuỗi dữ liệu chuỗi thời gian, và

dựa vào đặc điểm của dữ liệu chuỗi thời gian để lựa chọn mô hình phân tích

phù hợp ARIMA. Chương 4 tiến hành thực nghiệm tập dữ liệu dịch bệnh cúm

do Google Flu Trends công bố sử dụng R và dựa trên mô hình ARIMA.

12

CHƯƠNG 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ

4.1. Mô hình thực nghiệm

Một công cụ tự hồi quy (auto regressive - AR) hướng tới sử dụng những

giá trị quá khứ trong công thức hồi quy cho chuỗi Y, tham số tự hồi quy p.

𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎2𝑌𝑡−2 + ⋯ + 𝑎𝑝𝑌𝑡−𝑝 + 𝑢𝑡 (4.2)

Một công cụ trung bình trượt (moving average - MA) nêu ra lỗi của mô

hình giống như sự kết hợp thành phần lỗi trước đây et.

𝑌𝑡 = 𝑏0 + 𝑒𝑡 + 𝑏1𝑒𝑡−1 + 𝑏2𝑒𝑡−2 + ⋯ + 𝑏𝑞𝑒𝑡−𝑞 (4.3)

Tự hồi quy và công cụ trung bình trượt thể hiện một mô hình ARIMA:

𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎2𝑌𝑡−2 + … + 𝑎𝑝𝑌𝑡−𝑝 + 𝑢𝑡 + 𝑏0 + 𝑏1𝑢𝑡−1

+ 𝑏2𝑢𝑡−2 + . . . + 𝑏𝑞𝑢𝑡−𝑞

(4.4)

4.2. Mục đích thực nghiệm

Dựa trên tập dữ liệu dịch cúm của Google Flu Trends tiến hành thực

nghiệm nhằm phân tích và đưa ra kết quả dự báo.

4.3. Tập dữ liệu Google Flu Trends

Google Flu Trends là một dịch vụ web do Google thực hiện, cung cấp ước

tính về diễn biến của dịch cúm hơn 25 quốc gia, bằng cách thu thập các truy

vấn của công cụ tìm kiếm Google.

Hình 4.1. Biểu đồ so sánh dữ liệu dự báo của Google Flu Trends và

Trung tâm kiểm soát và phòng ngừa các chứng bệnh của Mỹ

13

Hình 4.2. Mẫu dữ liệu bệnh cúm của 25 nước trên thế giới

được tổng hợp từ 2003 đến 2015

Google Flu Trends thu thập số liệu cúm bằng cách xác định địa chỉ IP của

mỗi tìm kiếm, trạng thái truy vấn này đã được nhập có thể được xác định.

log(𝑃) = 𝛽0 + 𝛽1 𝑥 log(Q) + 𝜀 (4.1)

4.4. Môi trường, cấu hình hệ thống và công cụ

4.4.1. Cấu hình phần cứng

Thành phần Chỉ số

CPU Intel Pentium T4400 / 2.2 GHz

RAM 2 x 2 GB

OS Windows 7

Bộ nhớ ngoài 250 GB

Bảng 1. Cấu hình phần cứng

4.4.2. Các công cụ phần mềm sử dụng

TT Tên phần mềm Nguồn

1 R i386 3.4.4 https://www.r-project.org

Bảng 2. Các công cụ, phần mềm sử dụng

4.5. Kết quả thực nghiệm

Nếu thư viện chưa được cài đặt ta tiền hành cài trước khi sử dụng:

(1)

(2)

14

Hình 4.3. Cài đặt gói thư viện

4.5.1. Lựa chọn và xử lý dữ liệu

Kết quả thu được là số liệu công bố dịch cúm của Argentina từ 2003 đến

2015 có 655 bản ghi. Nạp dữ liệu:

Hình 4.4. Nạp dữ liệu

Ta có tập dữ liệu d sau khi được nạp như sau:

Hình 4.5. Tập dữ liệu cúm của Argentina

Bước 1: Lựa chọn dữ liệu

Trong tập dữ liệu được nạp d là dữ liệu từ năm 2003 đến năm 2015.

15

Hình 4.6. Tập dữ liệu cúm của Argentina năm 2004

Ta trích lấy mẫu dữ liệu của Argentina được thu thập vào năm 2004 và xây

dựng sơ đồ diễn biến.

Hình 4.7. Diễn biến cúm năm 2004 của Argentina theo tháng

Tập dữ liệu đầu vào đã đáp ứng nên thực nghiệm của luận văn bỏ qua

Bước 2: Tiền xử lý dữ liệu và chuyển qua Bước 3: Đổi dạng.

Bước 3: Đổi dạng

Sử dụng hàm tsclean(), tập dữ liệu được làm sạch, trong tập dữ liệu mới

được tạo ra có thêm cột clean_scm, là số liệu đã được làm sạch.

Hình 4.8. Dữ liệu cúm của năm 2004 Argentina được làm sạch

Sau khi được xử lý làm sạch dữ liệu, ta nhận được biểu đồ, như sau:

16

Hình 4.9. Diễn biến cúm Argentina năm 2014 được làm sạch

Công thức trung bình trượt MA của số ca mắc cúm m có thể được tính

bằng cách lấy trung bình của chuỗi Y, k khoảng thời gian xung quanh mỗi

điểm:

𝑀𝐴 =1

𝑚∑ 𝑌𝑡+𝑗

𝑘𝑗 = −𝑘 (4.5)

Xác định nhiều mức độ thời vụ (seasonality), ta lập mô hình trung bình

trượt theo 7 ngày (được thể hiện bởi dòng màu xanh).

Hình 4.10. Biểu đồ bệnh cúm của Argentina với dữ liệu được làm mịn

4.5.2. Phân tách dữ liệu

Bước 4: Khai phá dữ liệu

Phân tách chuỗi và loại bỏ tính thời vụ với hàm seasadj(). Xác định tính

chu kỳ của dữ liệu với ts() trong một khoảng thời gian là 7 ngày.

Hình 4.11. Sơ đồ dữ liệu được phân tách theo thành phần tính thời vụ, xu

hướng và chu kỳ

17

Sử dụng ADF để kiểm tra tính dừng của chuỗi thời gian, kết quả trả về giá

trị 𝑝 − 𝑣𝑎𝑙𝑢𝑒 = 0.8648 và lớn hơn 0.05 cho thấy chuỗi không có tính dừng.

Vì vậy, tiếp tục chọn các tham số thứ tự cho mô hình ARIMA.

Hình 4.12. Mô hình ACF

Hình 4.13. Mô hình PACF

Ta thấy, mô hình ACF tại Hình 4.12 và mô hình PACF tại Hình 4.13 các

hệ số tương quan giảm rất chậm về 0, ta có thể kết luận chuỗi không có tính

dừng. Tiếp tục với sai phân 𝑑 = 1 và đánh giá lại. Kiểm tra lại với ACF với

𝑑 = 1. Với 𝑑 = 1 qua phép kiểm tra ADF ta thu được giá trị 𝑝 − 𝑣𝑎𝑙𝑢𝑒 =0.0471 nhỏ hơn 0.05, vậy có thể kết luận chuỗi đã có tính dừng.

Hình 4.14. Mô hình kiểm tra với 𝐝 = 𝟏

Ta thấy, có sự tương quan tự đáng kể ở độ trễ 1. Tại các Hình 4.15 mô

hình ACF với 𝑑 = 1 và Hình 4.16 mô hình PACF với 𝑑 = 1, ta thấy ACF và

PACF có sự tăng đột biến đáng kể ở độ trễ 1 và giảm dần về 0, đánh giá thấy

chuỗi đáp ứng tính dừng.

18

Hình 4.15. Mô hình ACF với 𝐝 = 𝟏

Hình 4.16. Mô hình PACF với 𝐝 = 𝟏

Bước 5: Trình diễn

Các tham số (1, 1, 1) ta đã có một mô hình dự báo, chúng ta có thể bắt đầu

bằng cách kiểm tra các ô ACF và PACF.

Hình 4.17. Mô hình 𝐀𝐑𝐈𝐌𝐀(𝟏, 𝟏, 𝟏)

Có một mô hình ACF / PACF và các ô mẫu còn lại lặp lại ở độ trễ 7. Điều

này cho thấy mô hình của chúng ta có thể tốt hơn với một đặc tả khác, như

𝑝 = 7 ℎ𝑜ặ𝑐 𝑞 = 7.

19

Hình 4.18. Mô hình ARIMA (1, 1, 7)

Thông qua mô hình R để dự báo h giai đoạn trong tương lai, với tham số h

được xác định theo chu kỳ 30 ngày liên tiếp ghi nhận số liệu cúm.

Hình 4.19. Mô hình dự báo với hệ số (1, 1, 1)

Đường màu xanh nhạt ở trên cho thấy sự phù hợp do mô hình cung cấp.

Hình 4.20. Mô hình dự báo

Tuy nhiên, đường màu xanh đại diện cho dự báo có vẻ rất đơn giản, nó đi

gần với một đường thẳng khá sớm, mà dường như không giống với mô hình

trong quá khứ của chuỗi.

20

Hình 4.21. Mô hình dự báo ARIMA(0, 2, 0)(0, 0, 1)(7)

Cả hai ước tính dự đoán ở trên được cung cấp với độ tin cậy cao: độ tin

cậy 80% được tô bằng màu xanh sẫm hơn và 95% màu xanh nhạt hơn. Dự báo

dài hạn thường sẽ có sự không chắc chắn hơn, vì mô hình sẽ hồi quy Y trong

tương lai dựa trên các giá trị được dự đoán trong quá khứ của chuỗi.

Hình 4.22. Diễn biến dịch bệnh thực tế tại Argentina từ năm 2003 đến

2015

4.6. Đánh giá kết quả

Với số liệu được trình diễn bằng sơ đồ ta có thể thấy rằng diễn biến dịch

bệnh được thay đổi theo thời gian và có chu kỳ diễn biến nhất định. Tại hình

4.19 sơ đồ biểu diễn dịch bệnh cúm mùa của Argentina năm 2004, số ca mắc

được phân bổ như sau: vào mùa những tháng 1, 2, 3, 4 dịch cúm ở mức thấp ;

đến tháng 5, 6, 7, 8, 9 do sự thay đổi thời tiết khiến dịch bệnh tăng vọt và giảm

dần vào cuối năm từ tháng 10, 11, 12. Chu kỳ biến động dịch bệnh cũng được

lặp đi lặp lại từ năm này qua năm khác. Từ phép phân tích trên có thể nhận

thấy chu kỳ tăng, giảm của bệnh dịch qua đó sẽ đưa ra dự báo cho thời diểm

trong tương lai.

Tóm tắt chương 4

Chương 4 luận văn tiến hành thực nghiệm phân tích tập dữ liệu dịch bệnh

cúm của Google Flu Trends trên R, thông qua mô hình ARIMA và đưa ra dự

báo dữ liệu từ tập dữ liệu cúm của Argentina. Với tỷ lệ dự đoán chính xác

95%, có thể thấy độ tin cậy của kết quả dự đoán trong phần thực nghiệm.

2003-02-02 2004-02-15 2005-02-27 2006-03-12 2007-03-25 2008-04-06 2009-04-19 2010-05-02 2011-05-15 2012-05-27 2013-06-09 2014-06-22 2015-07-05

10

02

00

30

04

00

21

KẾT LUẬN

1. Các kết quả đạt được

Để nghiên cứu bài toán ứng dụng khai phá dữ liệu trong y tế dự phòng,

học viên đã tập trung nghiên cứu các khái niệm về y tế dự phòng, thực trạng về

nhu cầu trong việc quản lý, phân tích và dự báo đươc dịch bệnh trên tập số liệu

được báo cáo.

Bên cạnh đó, học viên cũng nghiên cứu, tìm hiểu một số phương pháp

khai phá dữ liệu hiện nay. Cùng với đó là đề xuất một số phương pháp khai dữ

liệu phù hợp với tập dữ liệu dịch bệnh cúm do Google công bố.

Dựa trên nghiên cứu đó luận văn đề xuất một mô hình dự báo dịch bệnh

truyền nhiễm dựa trên tập dữ liệu thời gian. Luận văn cũng tiến hành cài đặt

thực nghiệm một tập dữ liệu được trích xuất trong tập dữ liệu của một quốc

gia. Dựa vào kết quả phân tích, dự báo như đã trình bày trong phần thực

nghiệm, lấy đó làm cơ sở cho cho xây dựng các bài toán dự báo tình hình dịch

bệnh.

2. Hướng nghiên cứu tiếp theo

Trong khuôn khổ luận văn này, tôi mới chỉ dừng lại ở việc phân tích

chuỗi dữ liệu thời gian và đưa ra dự báo dựa vào xu hướng dữ liệu trên thực

nghiệm trong mô hình đó, đánh giá kết quả dự báo trên tập dữ liệu so với số

liệu thực tế.

Trong thời gian tới, tôi sẽ tiếp tục thực nghiệm các tập dữ liệu còn lại

trong tập dữ liệu được công bố, đồng thời xem xét hướng nghiên cứu bổ sung

nhằm phân tích, đánh giá các quy luật diễn biến dịch bệnh cúm trên toàn cầu

dự trên các đặc điểm thời gian, địa lý, điều kiện thời tiết để nâng cao độ chính

xác và giảm thiểu việc bỏ sót các cặp quan hệ trong chuỗi dữ liệu thời gian.

22

TÀI LIỆU THAM KHẢO

Tiếng Việt

[1] Nguyễn Minh Sơn - Dịch tễ học, Nhà xuất bản Giáo dục 2012.

Tiếng Anh

[2] Centers for Disease Control and Prevention (CDC USA) - Principles

of epidemiology in public health practice, Third edition 2012. 2

[3] Dorland - Dorland's Illustrated Medical Dictionary 32nd Edition,

2011.

[4] Chi-Chen Wang. “A comparision study between fuzzy time series

model and ARIMA model for forecasting Taiwan export”. Expert Systems

with Applications, vol.38, no.8, pp.9296-9304, 2011.

[5] Hippocrates - On airs, waters, and places written 400 B.C.E

(Translated by Francis Adams).

[6] Han, Jiawei, Jian Pei, and Micheline Kamber. Data mining: concepts

and techniques. Elsevier, 2011.

[7] K. Senthamarai Kannan and E. Sakthivel. “Fuzzy Time Series Model

and ARIMA Model – A Comparative Study”. Indian Journal of Applied

Research, vol.4, no.8, pp.624-636, 2014.

[8] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep

learning." Nature 521.7553 (2015): 436-444.

[9] R. Bonita, R. Beaglehole, Tord Kjellström - Basic epidemiology 2nd

edition, World Health Organization.

[10] Shasha, D., High Performance Discovery in Time Series, Berlin:

Springer, ISBN 0387008578, 2004.

[11] Verikas, Antanas, Adas Gelzinis, and Marija Bacauskiene. "Mining

data with random forests: A survey and results of new tests." Pattern

Recognition 44.2 (2011): 330-349.

[12] https://www.cs.waikato.ac.nz

[13] https://www.spss-tutorials.com/spss-what-is-it

[14] https://www.r-project.org

[15] https://www.britannica.com/science/preventive-medicine.

23

PHỤ LỤC

1. Gọi thư viện: ggplot2, forecast, tseries, lubridate.

> library('ggplot2')

> library('forecast')

> library('tseries')

> library(lubridate)

2. Cài đặt thư viện:

> install.packages("lubridate")

3. Nạp tập dữ liệu:

> d<-read.csv("dataArgentina.csv", head=T)

4. Trích xuất dữ liệu của một năm bất kỳ trong tập d với dữ liệu của năm

2004 của Argentina.

> Nam2004 <- d[format(as.Date(d$Date, format = '%m/%d/%Y'),

'%Y')==2004,]

5. Xây dựng sơ đồ diễn biến số liệu năm 2004 của Argentina.

> Nam2004$Date = as.Date(Nam2004$Date)

> ggplot(Nam2004, aes(Date, Argentina))+ geom_line()+

scale_x_date('month')+ ylab("Số ca mắc cúm")+xlab("thời gian")

6. Làm mịn tập dữ liệu:

> count_sc = ts(Nam2004[, c('Argentina')])

> Nam2004$clean_scm = tsclean(count_sc)

7. Vẽ biểu đồ với tập dữ liệu Nam2004 sau khi được xử lý qua hàm

tsclean():

> ggplot() + geom_line(data = Nam2004, aes(x = Date, y = clean_scm))

+ylab('Số ca mắc cúm (Cleaned)')

8. Lấy mức trung bình theo những khoảng thời gian, làm mịn để chuỗi trở

nên ổn định hơn và có thể dự đoán được:

> Nam2004$cnt_ma = ma(Nam2004$clean_scm, order=7) #sử dụng số tại cột

clean_scm đã được loại bỏ ngoại lệ

> Nam2004$cnt_ma30 = ma(Nam2004$clean_scm, order=30)

> ggplot() + geom_line(data = Nam2004, aes(x = Date, y = clean_scm, colour

24

="Counts")) + geom_line(data = Nam2004, aes(x = Date, y = cnt_ma30,

colour = "Di chuyển trượt hàng tháng")) + ylab('Số ca bệnh mắc')

9. Làm mịn và điều chỉnh chuỗi ban đầu bằng cách loại bỏ tính thời vụ:

> count_sm = ts(na.omit(Nam2004$cnt_ma), frequency=7)

> decomp = stl(count_sm, s.window="periodic")

> deseasonal_scm <- seasadj(decomp)

> plot(decomp)

10. Sử dụng ADF để kiểm tra tính dừng của chuỗi thời gian:

> adf.test(count_sm, alternative = "stationary")

11. Biểu diễn sơ đồ dữ liệu với ACF và PACF:

> Acf(count_sm, main='')

> Pacf(count_sm, main='')

12. Kiểm tra sơ đồ với d = 1:

> count_d1 = diff(deseasonal_scm, differences = 1)

> plot(count_d1)

> adf.test(count_d1, alternative = "stationary")

13. Biểu diễn sơ đồ dữ liệu với ACF và PACF với d = 1:

> Acf(count_d1, main='ACF for Differenced Series')

> Pacf(count_d1, main='PACF for Differenced Series')

14. Biểu diễn mô hình ARIMA:

> auto.arima(deseasonal_scm, seasonal=FALSE)

> fit<-auto.arima(deseasonal_scm, seasonal=FALSE)

> tsdisplay(residuals(fit), lag.max=45, main='(1,1,1) Model Residuals')

> fit2 = arima(deseasonal_scm, order=c(1,1,7))

15. Biểu diễn mô hình dự báo:

> fcast <- forecast(fit2, h=30)

> plot(fcast)