fenntarthatóság és big data - kx.hu · kafka plugin mqtt üzenet mqtt broker naval mqtt üzenet...

Fenntarthatóság és Big Data Ahogyan a növekvő adathalmaz a problémahalmazt csökkentheti... Dr. Pach Ferenc Péter, Morzsa László Keszthely, 2017.05.19.

Upload: lamlien

Post on 22-Apr-2018

238 views

Category:

Documents

2 download

Report

Download

Embed Size (px):

TRANSCRIPT

Fenntarthatóság és Big Data

Ahogyan a növekvő adathalmaz a problémahalmazt csökkentheti...

Dr. Pach Ferenc Péter, Morzsa László

Keszthely, 2017.05.19.

Page 2: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Zaj, hulladék, szag, … sokféle probléma, sok esetben, sok helyen

Page 3: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

És amiből nem baj, ha sok van: Big Data, 4V definíció

Volume Velocity

Variety Veracity

Page 4: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Megoldás: az integrációadatforrások és technológiák

Page 5: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

A megvalósított rendszerrugalmasan bővíthető, skálázható

Page 6: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Page 7: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Page 8: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Page 9: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Page 10: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Page 11: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Page 12: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Page 13: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Page 14: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Page 15: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Page 16: Fenntarthatóság és Big Data - kx.hu · Kafka plugin MQTT üzenet MQTT broker naval MQTT üzenet MQTT üzenet bizonyos típusok mehetnek közvetlen Apache Kafka at Glacls'.one HatOsági

Köszönjük szépen a figyelmet!

bigdata.morzsa.eu

https://bigdata.morzsa.eu/

Internet of Things (IoT) and Big Data Kafka to the rescue ... 32 Internet of Things (IoT) and Big Data Kafka / MQTT / REST T ... 34 Internet of Things (IoT) and Big Data Kafka / MQTT

MQTT Version 3.1 - OASISdocs.oasis-open.org/mqtt/mqtt/v3.1.1/mqtt-v3.1.1.pdf · [mqtt-v3.1.1-plus-errata01] MQTT Version 3.1.1 Plus Errata 01. Edited by Andrew Banks and Rahul Gupta

MQTT Version 5docs.oasis-open.org/mqtt/mqtt/v5.0/mqtt-v5.0.pdf · · 2017-12-25MQTT Version 5.0 Committee ... ([email protected]), IBM ... [mqtt-v5.0] MQTT Version 5.0. Edited by

Integrating MQ Protocols with WSO2 ESB 4.9.0 (RabbitMQ, MQTT, Kafka)

Event-based Dissemination and Processing of Geospatial ... · Event-based Dissemination and Processing of Geospatial Information ... Receive Feature-JSON from Kafka ... Kafka MQTT

Üzenet Szeressük egymást - Jászárokszállás

KAR`CSONYI ÜZENET - OSZK

MQTT KAFKA BRIDGE · WHAT IS APACHE KAFKA? • A distributed streaming platform used for building real-time data pipelines and streaming apps. • Open-source • Horizontally scalable,

4. Célzás, üzenet és média

Security, Privacy and IPR/Data Protection … Flink Apache Kafka and Apache Spark Integration Aspects Appendix D: Overview of Message Bus Technology MQTT Apache Kafka Apache Flume

Eclipse Hono and all things IoT messaging for arbitrary protocols (MQTT, ... Support different underlying messaging infrastructures AMQP 1.0 based JMS Apache Kafka

MQTT Essentials: Part 1 – Introducing MQTT

Oracle Fusion Middleware · Oracle Fusion Middleware Developing Applications for Event Processing with Oracle Stream Analytics, 12c ... 4.17 MQTT Adapter ... 4.18 Kafka Adapter

Dragonfly Data Factory Stock Broking Use-Case · Dragonfly Data Factory Stock Broking Use-Case . ... Apache Kafka queue, Kestrel queue, MQTT …

EXEM Big Data - s3-ap-northeast-1.amazonaws.com · MQTT FTP HDFS Kafka MQTT FTP HTTP Kafka Realtime Distributed Message Broker Spark Streaming 실시간

TA 03 IoTをえるビックデータソリューション · Kafka EMR Fluentd Flume Hive/Pig/ Hadoop Storm S3 ... Apache Storm AmazonElastic ... • MQTT BrokerとMQTT KinesisBridgeをいてメッセージを

MMA - Üzenet - Kerényi József

以更低成本迎接 10GbE 網路世代 Container Station …ZH...Apache®, Apache Kafka, Kafka, and the ... →Kafka →RabbitMQ →MQTT →Freeboard →Node-RED →Redis →MongoDB

MQTT User Guide MQTT - TECON · MQTT User Guide MQTT This guide walks through the MQTT usage. V 2 .00

Distributed Event-Based System — AMQP, MQTT, and Kafka ......B. Stopford, “Designing Event-Driven Systems: Concepts and Patterns for Streaming Services with Apache Kafka”, O’Reilly,

SMs üzenet - magyarsminfo.hu

Deploying MQ to the Cloud - mqtechconference.com MQ to the Cloud ... (Based on Apache Kafka) ... 365 Based on Kafka MQTT protocol Multi-platform (z/OS, IBM I, Unixes, Windowses)

Scaling out Eclipse Hono - eclipsecon.org out Eclipse Hono. Who we are ... MQTT Adapter Device Registration Telemetry ... Apache Kafka? ... Future In progress/TODO

Sensors and Machine Learning - s3. Mosquito : MQTT • HTTPS • Apache Kafka Intelligent Temperature and Humidity Tracker Gateway Analytics Platform • GE Predix • SAP Hana •

Üzenet a múltból · Portóik és sherryk Üzenet a múltból Palackba zárt üzenet minden egyes portói és sherry. A portugál és a délspanyol desszert-borban az a közös,

Neale Donald Walsch: AZ ÜZENET

LXC Two built-in 10GbE SFP+ network ports rights reserved. Apache®, Apache Kafka, Kafka, and the ... Kafka RabbitMQ MQTT Freeboard Node-RED Redis MongoDB Ponte Dashing. 1G S-31 >>>

Enhancing Imageability with Emotional Datamedia.voog.com/0000/0038/5628/files/Oct 5 1445 Thomas Bjornsten.pdf · Enhancing Imageability with Emotional Data ... MQTT application Kafka

SZAKDOLGOZAT · 2011. 5. 17. · Üzenet szerkesztése …………………………………………………... 31 2.6.3. Üzenet mentése ………………………………………………………..32

Wass Albert: Üzenet haza

EXEM Big Data - 엑셈 · MQTT HTTP TCP/IP JMS ... Kafka MQTT FTP HTTP Kafka Realtime Distributed Message Broker Spark Streaming 실시간

Eclipse Kura MQTT Namespace Guidelines · 1!! Eclipse Kura MQTT Namespace Guidelines ! Overview MQTT Request/Response Conversations • MQTT Request/Response Example MQTT …

İSZI ÜZENET

めざせ！Kafkaマスター Apache Kafkaで最高の性能を出 … · 書き込み/読み出し性能を重視しており、MQTT ... Kafka Replica File Segment File File system

Kafka Streams + Deep Learning - RainFocus Streams + Deep Learning ... MQTT IoT iPhone App Kafka Go Client C K O A N F N K E A C T H I V E ... Apache Kafka and Deep Learning –Kai