Система мониторинга

событийРуководитель: Шульга М.Г.

Студент: Вакушкин А.А.

Что происходит

2/12

Что мы пытаемся сделать

• Все компоненты архитектуры генерируют события

• Каждый компонент генерирует свой набор событий в

своём формате

• Эти события хочется собирать и обрабатывать

3/12

Что мы пытаемся сделать

4/12

Что должен делать сервер мониторинга

• Обрабатывать входные данные

• отсеивать лишнее

• разбивать полученные сообщения на

составляющие

• Осуществлять поиск по хранимым данным

• Формировать отчёты о событиях

5/12

Как реализован сервер мониторинга

• Сам сервер – Virtual Appliance с операционной

системой CentOS либо Ubuntu

• Для обработки входных данных используется Logstash

• Для хранения и поиска по данным используется

Elasticsearch

• Для сообщений о событиях – Elastalert либо Kibana

6/12

Что делал я

• Изучение различных способов передачи и хранения

данных событий из разных источников

• Составление и настройка тестового сервера

мониторинга

• Реализация настройки передачи событий на

компонентах нашей архитектуры7/12

Передача данных

8/12

Проблемы такого подхода

• Возможная потеря данных

• В формате Syslog длина сообщения не должна

превышать 1024 байта

• Слишком большой объём данных

• Локализация

• Сообщения поступают на разных языках

9/12

Передача данных

10/12

Результаты

• Создан тестовый сервер мониторинга, на котором

обработкой данных занимается Logstash, а хранением

и поиском - Elasticsearch

• Реализованы несколько способов передачи данных с

разных объектов на тестовый сервер мониторинга

11/12

Что дальше

• Настройка запрашиваемых событий в зависимости от

того, какие правила поиска включены

• Исследование других способов хранения данных на

сервере мониторинга

• Улучшение производительности при больших объёмах

входных данных

12/12