Ứng dụng công nghệ truyền nhận dữ liệu trong các hệ

ỨNG DỤNG CÔNG NGHỆ TRUYỀN NHẬN DỮLIỆU TRONG CÁC HỆ THỐNG QUAN TRẮCMÔI TRƯỜNG TỰ ĐỘNG, LIÊN TỤC

TỔNG CỤC MÔI TRƯỜNGTRUNG TÂM QUAN TRẮC MÔI TRƯỜNG

CÁC TRẠM QUAN TRẮC MÔI TRƯỜNG

KHÔNG KHÍ, NƯỚC TỰ ĐỘNG

Hải Phòng, 6/2014

Ông Văn Hùng Vỹ, PTP. Dữ liệu và Hệ thống thông tin

Nội dung

I. Giới thiệu

II. Công nghệ truyền nhận số liệu

III. Xử lý dữ liệu

IV. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

IV. Các ứng dụng truyền nhận dữ liệu

V. Định hướng phát triển ứng dụng truyền nhận dữ liệu

VI. Kết luận

I. Giới thiệu

- Hệ thống thu thập và truyền nhận dữ liệu được xây dựngphục vụ cho việc thu thập tổng hợp dữ liệu quan trắc đượctừ các trạm quan trắc môi trường tự động và truyền về cácđơn vị đầu mối.

- Xây dựng các ứng dụng khai thác dữ liệu dành cho người

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

- Xây dựng các ứng dụng khai thác dữ liệu dành cho ngườidùng cuối bằng việc áp dụng công nghệ truyền nhận dữliệu.

- Xây dựng ứng dụng điều khiển từ xa và tự động hóa cácthiết bị bên trong trạm quan trắc môi trường tự động bằngcông nghệ truyền nhận dữ liệu.

• 1. Internet:1.1. Cơ sở hạ tầng

-Tại các trạm: Các trạm quan trắc môi trường không khí, nướcnằm trong mạng lưới quan trắc tự động, đều được trang bị hạ tầngmạng internet đường truyền ADSL tương đối ổn định, phục vụcho việc truyền nhận số liệu từ các trạm đến trung tâm CSDL và

II. Công nghệ truyền nhận số liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

cho việc truyền nhận số liệu từ các trạm đến trung tâm CSDL vàcác địa phương.

-Tại các đơn vị đầu mối: Được trang bị các thiết bị mạng hiệnđại (router, switch, checkpoint, firewall…) phục vụ duy trì mạnginternet với tốc độ đường truyền Mix trong nước(20Mb/s) vàquốc tế lên đến 1,5Mb/s đảm bảo được tính ổn định và tốc độnhận dữ liệu từ nhiều trạm trong cùng một thời điểm. Ngoài ra tạitrung tâm có một hệ thống tường lửa được thiết lập chặt chẽ đápứng được các vấn đề về bảo mật dữ liệu.

II. Công nghệ truyền nhận số liệu

1.2. Hệ thống phần mềm truyền nhận dữ liệu qua môi trường internet:

• Các thành phần của hệ thống truyền nhận dữ liệu qua internet

- Các dịch vụ được cài đặt tại máy trạm (client)

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

- Các dịch vụ truyền dữ liệu qua internet

- Các dịch vụ tổng hợp dữ liệu được cài đặt tại trung tâm

II. Công nghệ truyền nhận số liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

II. Công nghệ truyền nhận số liệu

* Chi tiết luồng dữ liệu truyền từ trạm đến hệ thống máy chủ trung tâm

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

- Hệ thống phần mềm truyền nhận dữ liệu được vận hànhtự động theo chu trình khép kín từ bước đọc và đóng gói dữ liệutừ trạm cho đến việc đưa dữ liệu vào CSDL.

- Hệ thống truyền nhận hoàn toàn có thể tự thiết lập, cấu hìnhcho từng trạm theo tần suất đọc, gửi dữ liệu, cấu trúc file dữ liệu.

- Dữ liệu được truyền về cơ sở dữ liệu trung tâm đều được đảm

II. Công nghệ truyền nhận số liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

- Dữ liệu được truyền về cơ sở dữ liệu trung tâm đều được đảmbảo tính bảo mật và an toàn dữ liệu.

II. Công nghệ truyền nhận số liệu

2. Viễn thông không dây: 3G, GSM

2.1 Cơ sở hạ tầng:

-Tại các trạm:

+ Được lắp đặt các thiết bị đọc, kết nối truyền dữ liệu thôngqua việc thu phát sóng 3G/GSM: SC-1000(HACH), MT-102

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

qua việc thu phát sóng 3G/GSM: SC-1000(HACH), MT-102(INVENTIA), DCOM, Modem GSM…

+Hạ tầng mạng viễn thông 3G/GSM được sử dụng đã phủsóng toàn quốc và ổn định: Vina Phone, Viettel, Mobi Phone

- Tại Trung tâm: Được trang bị các hệ thống máy chủ và đượccấp các địa chỉ tiếp nhận dữ liệu cùng với các phần mềm tiếpnhận dữ liệu

II. Công nghệ truyền nhận số liệu

* Các thiết bị hiện đang được lắp đặt sử dụng tại đầu mối tiếp nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

MT-102 Inventia SC-1000 Hach Modem 3G/GSM

2.2. Hệ thống phần mềm truyền nhận dữ liệu qua môi trường3G/GSM.-Ứng dụng công nghệ truyền số liệu qua môi trường viễn thôngkhông dây 3G/GSM có thể giải quyết được vấn đề truyền số liệu tạicác trạm có vị trí địa lý phức tạp, chưa có internet.-Ứng dụng công nghệ không dây phát triển các phần mềm khai thác,quản lý dữ liệu quan trắc tự động (cảnh báo, khai thác trên thiết bị

II. Công nghệ truyền nhận số liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

quản lý dữ liệu quan trắc tự động (cảnh báo, khai thác trên thiết bịdi động).*Hệ thống cơ bản sẽ gồm 2 phần chính:-Tại trạm:

+ Phần mềm đọc dữ liệu từ datalogger và đóng gói dữ liệu phục vụtruyền qua môi trường không dây.+ Phần mềm điều khiển kết nối thiết bị thu phát 3G/GSM thực hiện tácvụ gửi các gói tin đã được đóng gói theo chuẩn.

-Tại trung tâm: Cài đặt các phần mềm tiếp nhận dữ liệu tại trungtâm (qua IP, Webservices…) và đưa dữ liệu vào cơ sở dữ liệu.

II. Công nghệ truyền nhận số liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

3. Hệ thống quản lý và lưu trữ dữ liệu tại trung tâmQuan trắc môi trường3.1 Phần cứng

- Hệ thống phòng máy chủ của được xây dựng với đầy đủ cáctrang thiết bị hiện đại, đảm bảo hoạt động phục vụ truyền nhận

II. Công nghệ truyền nhận số liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

trang thiết bị hiện đại, đảm bảo hoạt động phục vụ truyền nhậndữ liệu trực tuyến liên tục 24/24h và 7 ngày/tuần.

- Hệ thống được thiết kế với các thiết bị SandSwitch dunglượng lớn (bigdata) và có thể mở rộng nâng cấp dung lượngnếu cần thiết, hệ thống thiết kế theo cơ chế Cluster các máychủ chạy song song đảm bảo được tính bảo toàn dữ liệu.

-Các ổ lưu trữ được thiết kế 3 tầng, cài đặt và chia theo Ratecho phép sao lưu, backup các dữ liệu tự động theo lịch đảmbảo được tính bảo mật và phục hồi khi có sự cố.

II. Công nghệ truyền nhận số liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

3.2 Phần mềm

- Các hệ thống server máy chủ cài đặt các phần mềm bản quyền:

+ Hệ điều hành: Linux, Window Server 2008

+ Hệ quản trị CSDL: Microsoft SQL Server Enterprise,Oracle, thiết kế theo mô hình DataWareHouse, Partition cho phép

II. Công nghệ truyền nhận số liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

Oracle, thiết kế theo mô hình DataWareHouse, Partition cho phéplưu dữ liệu lớn (Tính đến 11/6/2014 CSDL Quan trắc đã có xấp xỉ31 triệu bản ghi).

- Về bảo mật:

+ Hệ thống: Được thiết kế tối ưu với firewall mềm, firewallcứng, checkpoint, nokia…

+ Ứng dụng: Tuân theo theo cơ chế phân quyền đối với các hệthống quản trị CSDL, hệ thống khai thác dữ liệu theo các user.

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

1. Ứng dụng truyền nhận dữ liệu trạm quan trắc tự động:

- Hệ thống phần mềm truyền nhận dữ liệu đang được ứng dụng

cho: 07 trạm quan trắc môi trường không khí tự động, 04 trạmquan trắc môi trường nước tự động sử dụng công nghệ truyềndữ liệu qua internet.

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

dữ liệu qua internet.

- Tần suất dữ liệu được nhận về từ hệ thống truyền nhận dữliệu này được thiết lập là 5 phút/bản ghi, đảm bảo được tínhliên tục, trực tuyến của dữ liệu 24/24h và 7 ngày/tuần.

- Dữ liệu được truyền về cơ sở dữ liệu trung tâm đều được đảmbảo tính bảo mật, an toàn dữ liệu và hoàn toàn có thể phục hồinhững dữ liệu bị mất, gián đoạn khi có sự cố.

III. Các ứng dụng truyền nhận dữ liệu

DataloggerDịch vụ tổng hợp

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014Dịch vụ truyền

- Một số phần mềm chuyển đổi dữ liệu trước khi truyền về đơnvị đầu mối (đối với những dạng dữ liệu không theo cấu trúcchuẩn như Trạm Lăng Chủ Tịch Hồ Chí Minh).

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

Chuyển đổi

Dữ liệu phi cấu trúc Dữ liệu có cấu trúc chua

2. Ứng dụng quản lý dữ liệu quan trắc môi trường:

Đơn vị đầu mối được cung cấp các dụng công cụ phần mềm làmviệc với dữ liệu được tích hợp trên cổng thông tin điện tử Quan trắcmôi trường.

+ Công cụ biên tập, quản lý dữ liệu:

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

+ Công cụ biên tập, quản lý dữ liệu:

+ Công cụ khai thác dữ liệu quan trắc môi trường:

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

3. Ứng dụng theo dõi, giám sát và cảnh báo dữ liệu:

a. Theo dõi và giám sát dữ liệu quan trắc tự động:

Thông quan việc theo dõi màn hình giám sát được lắp đặt tại phòngđiều hành các cán bộ, lãnh đạo đơn vị có thể theo dõi hoạt động truyềnnhận dữ liệu của từng trạm (theo hình minh họa dưới đây):

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

b. Cảnh báo dữ liệu:

* Cảnh báo trạng thái truyền dữ liệu:

Ứng dụng được vận hành 24/24h và sẽ gửi cảnh báo đến cán bộ,lãnh đạo khi gặp sự cố truyền nhận dữ liệu qua địa chỉ email, tinnhắn di động (SMS) được cấu hình:

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

Công cụ theo dõi

Cảnh báo Email, SMS

* Ứng dụng cảnh báo chất lượng dữ liệu

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

Lưu vực sông Cầu

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

Lưu vực sông Nhuệ - Đáy

4. Ứng dụng điều khiển, tự động hóa:

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

* Trung tâm điều khiển:- Được xây dựng dạng webapplication và giao tiếp với các thiết bị trạm quamôi trường internet

- Các tác vụ điều khiển sẽ được tích hợp trên webapplication:

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

- Các lệnh điều khiển sẽ được gửi đến một thiết bị đặt tại trạm thông qua mộtđịa chỉ IP tĩnh Internet hoặc thiết bị 3G.

- Các trạng thái điều khiển, cảnh báo sẽ được lưu lại dạng lịch sử.

* Tại trạm:

- Được thiết kế lắp đặt một thiết bị thu nhận dữ liệu và có một địa chỉ IPtĩnh hoặc có một thiết bị nhận sóng 3G.

-Thiết bị thực hiện phân tích và gửi lệnh đến các thiết bị đóng ngắt bằngcác tín hiệu điện (analog) và thực hiện đóng mở các rơ le của thiết bị.

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

- Sau khi thực hiện tác vụ điều khiển hoặc có sự kiện liên quan đến an ninhgiám sát, thiết bị này cũng đảm nhận chức năng gửi phản hồi lại trung tâmđiều khiển về trạng thái của thiết bị thông qua internet.

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

Màn hình trạng thái các thiết bị

5. Ứng dụng di động, Map Portal

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

a. Ứng dụng di động:

- Phần mềm khai thác dữ liệu trên thiết bị di động ứng dụng côngnghệ truyền dữ liệu thực hiện chức năng kết nối đến cơ sở dữ liệuthông qua 3G/GSM theo:

+ Địa chỉ IP máy chủ CSDL (kết nối trực tiếp)

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

+ Webservices (hiện đang sử dụng)

- Các lệnh truy vấn (request) được gửi từ di động sẽ được gọi đếncác thủ tục (Storedprocedure) thực thi và trả lại kết quả theo cáctruy vấn tương ứng (query)..

- Nhận dữ liệu và hiển thị lên giao diện người dùng tại thiết bị diđộng.

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

Đăng nhập ứng dụng Biểu đồ trực tuyến Khai thác dữ liệu

III. Các ứng dụng truyền nhận dữ liệu

b. Map Portal:

- Ứng dụng được kết nối đến CSDL trung tâm sử dụng dịch vụwebservices qua môi trường:

+ Internet đối với ứng dụng Map Portal trên trình duyệtmáy tính cá nhân

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

máy tính cá nhân

+ 3G/GPRS đối với ứng dụng trên di động

- Truyền nhận các yêu cầu về quản lý hành trình của tuyếnquan trắc.

- Hiển thị và quản lý hành trình quan trắc trên giao diện ứngdụng sau khi nhận được các dữ liệu trả về từ CSDL

III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

IV. Định hướng phát triển ứng dụng truyền nhận dữ liệu

* Về mặt công nghệ:

- Internet vẫn đang là một môi trường truyền dữ liệu tối ưu nhất bởi tính ổn địnhvà bảo toàn dữ liệu, do đó trong thời gian tới các ứng dụng của đơn vị sẽ vẫn tậptrung phát triển theo hướng khai thác môi trường này.

- Công nghệ 3G không dây đang dần ổn định dó đó đơn vị cũng sẽ tập trung pháttriển các ứng dụng sử dụng công nghệ truyền dữ liệu qua 3G tận dụng tối ưu cáclợi thế của công nghệ này.

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

lợi thế của công nghệ này.

* Về mặt dữ liệu:

- Sẽ thực hiện tiếp tục nghiên cứu phương thức đóng gói dữ liệu, mã hóa các loạidữ liệu nhằm làm giảm dung lượng, lưu lượng truyền dữ liệu, đảm bảo được vấnđề bảo mật dữ liệu trong quá trình truyền.

- Các dữ liệu sẽ được truyền về với các định dạng dễ xử lý và tuân thủ theochuẩn chung đã được quy định nhằm tránh sự cố xáo trộn dữ liệu, mất dữ liệu…

V. Kết luận

- Ứng dụng các công nghệ truyền dữ liệu đóng vai trò then chốt trongcác hoạt động quan trắc môi trường của các trạm nằm trong mạng lướiquan trắc môi trường tự động.

- Cung cấp được nguồn dữ liệu liên tục, bảo mật và an toàn dữ liệu cho

đơn vị quản lý, người dùng.

- Sử dụng các công nghệ truyền dữ liệu sẽ giảm được các sự cố về dữ

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

- Sử dụng các công nghệ truyền dữ liệu sẽ giảm được các sự cố về dữliệu do con người gây ra, cho phép truy vấn, tự động lấy lại những dữliệu đã mất.

- Với các công nghệ truyền nhận dữ liệu không dây sẽ đáp ứng đượccác nhu cầu của người dùng cuối thật hiệu quả thông qua các thiết bị diđộng, đáp ứng được việc truyền nhận dữ liệu đối với các trạm gặp khókhăn về địa lý, cơ sở hạ tầng.

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014