apache nifiで、楽して、つながる、広がる iotプロジェクト
TRANSCRIPT
ApacheNiFiで楽して、つながる、広がる
IoTプロジェクト河村康爾
HortonworksJapanCo.,Ltd.ソフトウェアエンジニア2016.07.19
©HortonworksInc,2011– 2016.AllRightsReserved
⾃⼰紹介• 河村康爾- HortonworksDataFlow Team– SoftwareEngineer- @ijokarumawak- HadoopやNoSQLなど分散アプリケーションを利⽤したシステム開発を経験、ApacheNiFiがOSSとして公開されて間もない頃にコントリビュートしたプルリクエストが契機となりHortonworksにエンジニア枠で⼊社、⽇本勤務。
- 共著:「RDB技術者のためのNoSQLガイド」秀和システム
©HortonworksInc,2011– 2016.AllRightsReserved
ApacheNiFiとは” NiFi islikedigging irrigationditchesasthewaterflows,ratherthanbuildingoutasprinklersysteminadvance."
“NiFiは事前にスプリンクラーを配備するというより、⽔が流れるのに合わせて⽤⽔路を整備するようなもんさ”
https://mail-archives.apache.org/mod_mbox/nifi-users/201604.mbox/%[email protected]%3E
©HortonworksInc,2011– 2016.AllRightsReserved
直感的なGUI、ブラウザApp
©HortonworksInc,2011– 2016.AllRightsReserved
１.⽬的に合ったプロセッサを追加して
2.データの流れをつなげて
3.実⾏するだけ!
IoTに最も適したデータフローオーケストレーションツール• 他のストリーミングソリューションと⽐較すると、ApacheNiFiは2015年7⽉にASFのTLPになった⽐較的新しいプロジェクト• EnterpriseIntegrationPattern(EIP)やFlowBasedProgramingをベースにしている• データフローを設計するための⾮常に直感的なGUIを持つ• 急成⻑中のインダストリアルIoT分野では、堅牢で信頼でき、セキュアなデータフローエンジンが求められる• ApacheNiFiはIoTの実現において、最も適したセンサーデータ処理⽤オーケストレーションツールになりうる• Node-Redのような簡潔さと、BigDataのパワーを併せ持つ
• 原⽂ AlltheApacheStreamingProjects:AnExploratoryGuidehttp://thenewstack.io/apache-streaming-projects-exploratory-guide/
各種プロセッサ取り揃えてありますambari,amqp,avro,aws,azure,cassandra,couchbase,elasticsearch,flume,geo,hadoop,hbase,hive,hl7,jms,kafka,kerberos,kite,ldap,mongodb,mqtt,riemann,twitter,solr,splunk,sql,spark,storm…etc
その数100以上!
©HortonworksInc,2011– 2016.AllRightsReserved
NiFi DataFlow
データフロー例MQTTtopic
MQTTtopic
©HortonworksInc,2011– 2016.AllRightsReserved
IoTデバイス
ConsumeMQTT
PublishMQTT
Kafkatopic
Database
HadoopPutHDFS
PublishKafka
PutSQLAPI Invoke
HTTP
MiNiFiも併⽤すると、よりエッジ側でのデータ収集、エージェント管理が可能に、Java、C++
お知らせ
http://hadoopsummit.org/tokyo/
実演タイムLiveDemo
©HortonworksInc,2011– 2016.AllRightsReserved
Fin.ご清聴ありがとうございました。
©HortonworksInc,2011– 2016.AllRightsReserved