graylog manhdv v1.5

Giới thiệu về Log và ứng dụng Graylog

Đinh Văn Mạnh

03/05/2023 2Giới thiệu về Log và ứng dụng GraylogCloud Team

NỘI DUNG

1. Một vài kiến thức về Log trong Linux2. Giới thiệu chung về Graylog.3. Cấu trúc và mô hình triển khai của Graylog.4. Cơ chế nhận log của Graylog.5. Giới thiệu và demo các chức năng chính của Graylog

trên Web-Interface.6. Trao đổi.


1. Một vài kiến thức về Log trong Linux

1.11.1 Định nghĩa log

•Log = Thời điểm + Dữ liệu• Log ghi lại những hoạt động của hệ thống

Nguồn: http://www.slideshare.net/jamtur01/yes-logging-can-be-awesome

http://www.slideshare.net/jamtur01/yes-logging-can-be-awesome

http://www.slideshare.net/jamtur01/yes-logging-can-be-awesome



1.11.2 Một số công dụng của log

• Phân tích nguyên nhân khi có sự cố xảy ra.

• Giúp cho việc khắc phục sự cố nhanh hơn khi hệ thống gặp vấn đề.

• Giúp cho việc phát hiện, dự đoán một vấn đề có thể xảy ra đối với hệ thống.



1.3 Mô hình chứa logNơi chứa log• Lưu tại bản thân server, trong Linux thường là thư mục :

Mô hình log :

- Log local- Log tập trung

File chứa log Ubuntu



1.3 Mô hình chứa log• Log local- Chỉ lưu tại bản thân server.- Dùng command find, tail… để xem log.



1.3 Mô hình chứa log• Log tập trung - Log máy local đẩy về máy Log Server.- Mỗi ứng dụng có giao thức đẩy log khác nhau.

Cloud Team


1.4 Rsyslog và giao thức SyslogRsyslog : - Phần mềm open source, đảm nhận mọi việc liên quan đến log. - Trong mô hình log tập trung, thực hiện giao thức Syslog để nhận và chuyển log.Syslog : - Phát triển năm 1980 bởi Eric Allman, là 1 phần của dự án SendMail.- Giải pháp khai thác log tiêu chuẩn trên Unix-Linux và các OS khác.- Ghi lại hoạt động của hệ thống ( kernel, auth…) thành bản tin log; vận

chuyển bản tin log tới máy nhận log.


1. Một vài kiến thức về Log trong Linux1.4 Giao thức Syslog và RsyslogCấu hình Rsyslog để đẩy và nhận log• Rsyslog server

• Rsyslog Client


1. Một vài kiến thức về Log trong Linux1.5 Một số tồn đọng trong hệ thống log cổ điển

• Đọc log : phải dùng command : find, grep… => khó sử dụng với người ít kinh nghiệm.• Các tính năng notify qua hệ thống chat, mail…phải tự tích

hợp, viết nhiều lần.• Chưa biến được các dữ liệu thô từ bản tin log thành các

thông tin dễ đọc, dễ hiểu.=> Cần 1 công cụ giải quyết các tồn đọng trên !!!



Tổng kết : - Định nghĩa, công dụng, mô hình triển khai của log. - Vai trò của Rsyslog và giao thức Syslog trong mô hình log tập trung. - Một số tồn đọng trong mô hình log cổ điển.


Nội dung

1. Một vài kiến thức về Log trong Linux.2. Giới thiệu chung về Graylog.3. Cấu trúc và mô hình triển khai của Graylog.4. Cơ chế nhận log của Graylog.5. Giới thiệu và demo các chức năng chính của Graylog

trên Web-Interface.6. Trao đổi.


2. Giới thiệu chung về Graylog

• Phần mềm mã nguồn mở quản lý log tập trung.• Ra đời 2010 bởi Lennart Koopman với tên Graylog2.• 2/2014, phát hành Graylog2 V0.20.0 Final.• 1/2015 phát hành V1.x Beta, đổi tên thành Graylog,

Graylog Inc được thành lập.• Từ V1.0, đã trải qua 5 phiên bản, version mới nhất là

Graylog 2.0 Alpha 5, stable version là 1.3.



Đặc điểm • Cơ chế nhận log rất linh hoạt : nhận log từ nhiều nguồn khác nhau.• Sử dụng Elasticsearch => việc tìm kiếm chính xác, nhanh chóng và linh hoạt• Phân tích dữ liệu thành dạng số liệu thống kê, biểu đồ.• Cảnh báo qua Email, Slack• Mở rộng với REST API. - Web-interface - Stream Alerts - Graylog Collector - LDAP - Output

Nguồn: https://www.graylog.org/

https://www.graylog.org/




Tổng kết : - Lịch sử hình thành, phát triển, các phiên bản của Graylog.- Đặc điểm tạo nên sự khác biệt cho Graylog


Nội dung

1. Một vài kiến thức về Log trong Linux2. Giới thiệu chung về Graylog3. Cấu trúc và mô hình triển khai của Graylog4. Cơ chế nhận log của Graylog5. Giới thiệu và demo các chức năng chính của Graylog

trên Web-Interface6. Trao đổi


3. Cấu trúc và mô hình triển khai của Graylog

Cấu trúc Graylog

Graylog Server: Nhận, xử lý các bản tin và truyền thông với các thành phần khác – Cần CPUElasticsearch: Công cụ lưu trữ, tìm kiếm dữ liệu- tất cả phụ thuộc vào tốc độ I/O, Cần RAM. MongoDB: Lưu trữ metadata ( file cấu hình…). Chỉ cần cấu hình thấp.Web Interface: Cung cấp giao diện cho người dùng Nguồn: https://www.graylog.org/




3. Cấu trúc và mô hình triển khai của Graylog

Mô hình triển khai trên 1 máy server ( All-in-one )

Nguồn: http://docs.graylog.org/en/stable/pages/architecture.html

http://docs.graylog.org/en/stable/pages/architecture.html

http://docs.graylog.org/en/stable/pages/architecture.html


3. Cấu trúc và mô hình triển khai của Graylog• Mô hình triển khai Bigger production

Nguồn: http://docs.graylog.org/en/latest/pages/architecture.html

http://docs.graylog.org/en/latest/pages/architecture.html

http://docs.graylog.org/en/latest/pages/architecture.html


3. Cấu trúc và mô hình triển khai của GraylogTổng kết : - Cấu trúc gồm 4 thành phần, công dụng và cấu hình cần thiết cho mỗi thành phần của Graylog.- 2 mô hình triển khai : All-in-one và Bigger Production.


Nội dung




4. Cơ chế nhận log của Graylog

1. Syslog thuần túy2. Raw/Plaintext ( với các thiết bị như router, firewall… )3. Graylog Extended Log Format (GELF)• HTTP• UDP• TCP

• Việc đẩy log từ các server Linux hoặc Window được thực hiện chủ yếu với Syslog và Graylog Collector



Ứng dụng thực tế của hệ thống phòng Cloud với Graylog• SSH : Thống kê user, ip đăng nhập, số lần đăng nhập ssh

thành công, thất bại, tổng số lần đăng nhập• OpenVPN : Thống kê user, ip đăng nhập , ip được cấp VPN trên

hệ thống Lab và hệ thống thực.• OpenStack : user, số lần đăng nhập dashboard thành công và

thật bại, số máy ảo được tạo, xóa, hỏng.



Tổng kết : - Một số cơ chế nhận log thông dụng của Graylog. - Các ứng dụng thực tế đang triển khai với hệ thống hiện tại với Graylog.


Nội dung

1. Một vài kiến thức về Log trong Linux2. Giới thiệu chung về Graylog3. Cấu trúc và mô hình triển khai của Graylog4. Cơ chế nhận log của Graylog5. Giới thiệu và demo các chức năng chính của

Graylog trên Web-Interface6. Trao đổi


5. Các chức năng chính của Graylog trên Web-Interface• 1. Search• 2. Stream• 3. Dashboard• 4. Source• 5. System


5. Các chức năng chính của Graylog trên Web-Interface5.1 Search • Sử dụng kỹ thuật search Lucene syntax của ElastichSearch


5. Các chức năng chính của Graylog trên Web-Interface5.1 Search • Trường Field trong Search• Lọc, tạo thông số, biểu đồ để đưa vào DashBoard• Sử dụng kỹ thuật Regex


5. Các chức năng chính của Graylog trên Web-Interface

5.2 Stream• Định tuyến bản tin theo index• Tạo rule để lọc bản tin• Tổng hợp thông tin để tạo cảnh báo qua Email hoặc Slack


5. Các chức năng chính của Graylog trên Web-Interface5.2 Stream• Cơ chế cảnh báo với Stream



5.2 Stream

• Với gmail

• Với Slack



5.3 Dashboard• Là nơi người dùng nắm thông tin thông qua bảng, số liệu được đẩy về từ mục Search


5. Các chức năng chính của Graylog trên Web-Interface5.3 Dashboard• Quá trình đẩy thông tin từ Search vào Dashboard


5. Các chức năng chính của Graylog trên Web-Interface5.3 Dashboard



5.4 Sources • Thống kê số bản tin nhận về theo thời gian dưới dạng

biểu đồ, và ip đang đẩy log về Graylog



5.5 System• Input•Collector



5.5.1 Input• Giống địa chỉ nhà, các bản tin từ client sẽ theo thông tin về

địa chỉ này đẩy về Server• 2 dạng Input thông dụng : • GELF• Syslog

• Sử dụng Regex



5.5.1 Collector• Chỏ một file log của bất cứ dịch vụ nào ( cả Linux và

Window ) tới Graylog Server• Khai báo ở Client


5. Các chức năng chính của Graylog trên Web-Interface5.5.1 Collector• Khai báo ở Web-interface


5. Các chức năng chính của Graylog trên Web-Interface5.5.1 Collector

Kiểm tra Collector


5. Các chức năng chính của Graylog trên Web-InterfaceTổng kết : - Một số chức năng chính của Graylog.- Cách thức người dùng tương tác với các bản tin log thông qua Graylog Web-Interface.


6. Trao đổi

Trao đổi

graylog manhdv v1.5

Technology