Тимофей Титовец — elastic+logstash+kibana: Архитектура и опыт...

14
ElasticSearch Kibana Logstash

Upload: minsk-linux-user-group

Post on 16-Apr-2017

590 views

Category:

Technology


1 download

TRANSCRIPT

Page 1: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

ElasticSearch Kibana Logstash

Page 2: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

What is it?

l ElastiSearch — Store and Search enginel Logstash — Converter between text data

formatsl Kibana — Web Gui for visualize ES data

Page 3: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

ElasticSearch

l Writen on Java working on Apache Lucene.l

Apache Lucene - high-performance, full-featured text search engine library

Page 4: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

ElasticSearch: Index

Shard 1 Shard 2 Shard N

Shard 1Replica

Shard 2Replica

Shard NReplica

Index

Page 5: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

ElasticSearch: Cluster

ESNode 1

ESNode 2

ESNode N

Page 6: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

Logstash

l Writen on Java & Rubyl Can filter/edit/collect data, based on cool,

simple and powerfull language for writing rules.

Page 7: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

Kibana

l NodeJS + JS client for ESl Can visualize data from ES

Page 8: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования
Page 9: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

Common architecture

DATASOURCE

logstash

ESNode

Kibana 4

Page 10: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

Log collection

Page 11: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

Linux

rsyslog1

logstash

ESNode

Kibana 4

rsyslog2

rsyslogN

ESNode

ESNode

Page 12: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

Windows

Windows 1NXLog

logstash

ESNode

Kibana 4

Windows 2NXLog

Windows nNXLog

ESNode

ESNode

Page 13: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

IDS System: Suricata

OpenSource IDS & IPS System like snortCan sniff, analize and trasparent edit trafficAlso detect network attack, and defend network from it.Like very powerfull firewall

Page 14: Тимофей Титовец — Elastic+Logstash+Kibana: Архитектура и опыт использования

IDS

IDS 1

logstash

ESNode

Kibana 4IDS 2

ESNode

ESNode