Download - Apache ambari

Apache AmbariJoe Ooura & Yuta Imai2016/7/7

©HortonworksInc.2011–2015.AllRightsReserved

2 ©HortonworksInc.2011–2016.AllRightsReserved

はじめに

Ã  質問はQUESTIONSというボタンからお願いします。プレゼンター以外には⾒えません。

Ã  Twitter経由でもコメント、質問、⼤歓迎です！ #hwxjp

Ã  資料はこちらにアップロード済みです。–  http://www.slideshare.net/imaifactory/apache-ambari


⾃⼰紹介Ã  ⼤浦譲太郎 Twitter：@JOOOURAÃ  5歳児と8歳児の⽗Ã  サーバ、ストレージのシステム営業を経て2011年にフラッシュメモリストレージ企業の⽇本法⼈⽴ち上げに参画。Evangelist、プリセールスSE、広報、営業など⼀通りをカバーエンタープライズフラッシュの代名詞ともなるioDriveシリーズを⽇本国内の通信キャリア、⾦融機関、WEBサービス事業者、アドテク、DC事業者に多数導⼊。Ã  2016年1⽉より、ホートンワークスジャパンの⼆⼈⽬の

営業として参画。現在はエヴァンジェリスト活動及びエンタープライズ向けセールス、パートナー⽀援を⾏なっている。


Hortonworks会社概要

IPO4Q14(NASDAQ:HDP)


２つのHadoopへの道プロプライエタリ

App App App App

App

App

© Hortonworks Inc. 2011 – 2015. All Rights Reserved

オープンエンタープライズ H a d o o p

オープンコミュニティ


HortonworksだけがオープンエンタプライズHadoopを提供

H O RTO N W O R K S データプラットフォーム

YARN: Data Operating System

クリックストリームセンサーソーシャルモバイル位置情報サーバーログ

バッチインタラクティブサーチストリーミングマシンラーニング

既存データ


Hortonworks Data Platformpowered by Apache Hadoop

Hortonworks Data Platformpowered by Apache Hadoop

EnrichContext

Store Data and Metadata

Internetof Anything

Hortonworks DataFlow powered by Apache NiFi

動的・鮮度が重要なインサイト

静的・過去データによるインサイト

Hortonworks DataFlowによるHadoopの可能性の拡⼤

Hortonworks DataFlowとHortonworks Data Platformにより、ビックデータ基盤のエンド・ツー・エンドソリューションを提供します。

Connected Data Platform


Apache Communityへの貢献

1,500を超えるエコシステムパートナーHortonworks テクノロジーパートナー

専⾨家集団：開発に深く携わるコア・メンバーにより構成

Ã  コミッターの多くがHortonworksの社員です。Apache Hadoop プロジェクトに関わるコミッターの約1/3はHortonworksの社員です。Apache NiFiの⼤半を始めとする多くの重要なプロジェクトに関わっています。

Ã  コミッターはコネクティッド・データプラットフォームを改良し、⾰新を続けています。

Ã  Hadoopのロードマップに関わっています。コミュニティに対し、重要なリクワイアメントを⾔える⽴場にいます。

Hortonworks はApache Communityに⾮常に深く関与しています。


HDP Enterprise and Enterprise Plus サブスクリプション

Enterprise EnterprisePlus

ApacheHadoop&YARN ✔ ✔

ApacheTez ✔ ✔

ApacheHive ✔ ✔

ApachePig ✔ ✔

ApacheSqoop ✔ ✔

ApacheFlume ✔ ✔

ApacheMahout ✔ ✔

ApacheAmbari ✔ ✔

ApacheOozie ✔ ✔

ApacheFalcon ✔ ✔

ApacheKnox ✔ ✔

ApacheHBase ✔ ✔

ApacheAccumulo ✔

ApacheStorm ✔

HDPAdvancedSecurity ✔

ApacheSolr Separate Separate

Enterprise EnterprisePlus

ApacheHadoop&YARN ✔ ✔

ApacheAmbari ✔ ✔

ApacheFalcon ✔ ✔

ApacheFlume ✔ ✔

ApacheHBase ✔ ✔

ApacheHive ✔ ✔

ApacheKnox ✔ ✔

ApacheMahout ✔ ✔

ApacheOozie ✔ ✔

ApachePhoenix ✔ ✔

ApachePig ✔ ✔

ApacheSqoop ✔ ✔

ApacheTez ✔ ✔

ApacheZookeeper ✔ ✔

ApacheAccumulo ✔

ApacheKaXa ✔

ApacheRanger ✔

ApacheSpark ✔

ApacheStorm ✔

ApacheSolr Separate Separate

HDP サブスクリプリョンに含まれる内容

•  24x7, 365⽇/年のグローバルサポート•  Web 及び電話によるサポート（⽇本語窓⼝あり）•  バグフィックスや、エンハンスメントのリクエストが可能•  アップグレード、アップデート、パッチへのアクセス権•  HDP旧リリースバージョンへの複数年におけるZ-Stream メンテナン

ス•  カスタマーサポートポータル、ナレッジベースへのアクセス•  WEBベースセルフラーニングHortonworks利⽤権•  以下のリモートトラブル対応及び解析⽀援:

•  設定に関する問い合わせ、クラスタマネジメント•  パフォーマンス問題•  データロード、プロセス、クエリー問題

•  アプリ開発の質問についてのリモートアドバイス•  半年ごとのチェックポイントレビュー (ent plusでは四半期毎)


HDPサブスクリプションサービスのValueとは-アプリケーション開発の問い合わせ-分析、ユースケースの追加の相談例 -こんな分析をしたいが、どのようなデータをとればよいか -やりたいことを実現するためにどのようなコンポーネントを揃えればよいか-機械学習による提案型システムヘルスチェックサービスSmart Senseの提供

Hadoopの開発エンジニアを多数抱えるホートンワークスだから⾃信を持ってお届けできるサービス。内製化にも対応。Hadoopエンジニア、ディヴェロッパー、コミッターを抱えるユーザ企業もサブスクリプションサポートを有効活⽤。


7/19 Meet Up! TokyoAzureビッグデータ関連サービスとHortonworks勉強会

Future of Data 〜データの未来を考えよう〜 @Tokyoデータ活⽤最前線〜 Azureビッグデータ関連サービスとHortonworks勉強会

⽇時： 2016/7/19（⽕）19:00 - 21:00 (受付: 18:30)場所：⽇本マイクロソフト株式会社東京都港区港南 2-16-3 品川グランドセントラルタワー http://aiming-inc.com/jahttp://futureofdata.connpass.com/event/34585/

#‎マイクロソフトさんの会場（品川グランドセントラルセンター）を借りて⾏います。データ活⽤の最新動向について関⼼のある⽅は是⾮参加ください！

19:05 - 19:45 仮）Azureビッグデータ関連サービス最新情報日本マイクロソフト株式会社佐藤直生

19:45 - 20:05 仮）Hadoop Summit San Jose レポートホートンワークスジャパン株式会社北瀬公彦

20:05 - 20:45 仮）Hortonworks Data Platformとはホートンワークスジャパン株式会社今井雄太


7/29 Meet Up! OsakaFuture of Data 〜データの未来を考えよう〜

Future of Data 〜データの未来を考えよう〜 @ Osakaデータ活⽤最前線〜蓄積、分析、可視化〜データビジュアライゼーションとHadoopのディストリビュータ「Hortonworks」について

⽇時：2016/7/29（⾦）19:00 - 21:00 (受付: 18:30)

場所：株式会社 Aiming (エイミング) ⼤阪府⼤阪市北区⼤深町3-1 グランフロント⼤阪タワーB 18階 http://aiming-inc.com/ja

http://futureofdata.connpass.com/event/35431/

1. 神⼾市×バルセロナ市の国際連携ワークショップ「WORLD DATA VIZ CHALLENGE 2016」の概要 2. 6/28 〜 6/30にSan Joseで⾏われた「Hadoop Summit San Jose」のレポート3. ヤフオク！におけるデータ蓄積、分析、可視化（仮）4. データ蓄積、分析プラットフォームの #‎Hortonworks 紹介を予定しています。#‎Aiming （エイミング）さんの会場（グランフロント⼤阪タワーB 18階）を借りて⾏います。データ活⽤の最新動向について関⼼のある⽅は是⾮参加ください！


⾃⼰紹介Ã  今井雄太Twitter：@imai_factoryÃ  Solutions EngineerÃ  広告配信サーバーのレポート作成のために

MapReduce(perl + streaming!)を使ったのがHadoopとの出会い。

Ã  その後、AWSにてアドテクやゲームのお客様を担当しつつ、EMRやS3などのビッグデータなプロダクトを主に担当。そんなつながりでHortonworksに⼊社してHadoopをやっています。


Agenda Ã WhatisApacheAmbari?Ã  AmbarifeaturesÃ  AmbariandHDPÃ まとめ


What is Apache Ambari?


Apache Ambari – Ambari UI


What is Apache Ambari?•  ApacheプロジェクトによるオープンソースのHadoopクラスタマネージャ。•  機能⾯では主に以下を提供する。

•  クラスタの作成/管理•  設定管理•  サービス管理•  モニタリング•  拡張性の⾼いWeb UI

•  HDPのクラスタマネージャとして利⽤されている。•  ODPiのクラスタマネージャとしても採⽤されている。

h\ps://ambari.apache.org/


AmbariandHDP


AmbariServer

AmbariAgent

RM NN

NM DN

AmbariAgent

NM DN

AmbariInternals

MetricsMonitor/Log

Feeder

MetricsMonitor/Log

Feeder

MetricsMonitor

MetricsCollector

GrafanaNew!

SolrLogSearchUINew!

AmbariWeb

Browser

AmbariRESTAPI

HadoopCluster

AmbariAgent


Ambari features


How Do People Use Ambari?

HealthChecks,Alerts Stacks,Views

Lifecyclecontrols,RollingRestarts,Decommission/Re-

commission

HostGroups,Versioning,Compare,Revert,

Recommendahons,SecuritySetup

InstallWizard(UI),Blueprints(API)

設定管理

拡張性モニタリング

サービス管理

クラスタ作成


Ambari in HDP


クラスタ作成



HealthChecks,Alerts Stacks,Views

Lifecyclecontrols,RollingRestarts,Decommission/Re-

commission

HostGroups,Versioning,Compare,Revert,

Recommendahons,SecuritySetup

InstallWizard(UI),Blueprints(API)

コンフィグ管理


サービス管理

クラスタ作成


クラスタ作成

AmbariServer用ホスト

クラスタ用ホスト群


クラスタ作成

•  Ambari serverのインストールと起動(Ambari server用ホストにて)

cd /etc/yum.repos.d/wget <ambari-repo-url>yum install ambari-serverambari-server setupambari-server start

h\ps://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.2+from+Public+Repositories


AmbariServer

クラスタ作成

Ambari Server⽤ホスト

クラスタ⽤ホスト群

Ambari Serverがインストールされた


Ambariによるクラスタ構築h\p://<AMBARI_SERVER_HOST>:8080にアクセス


Ambariによるクラスタ構築


Ambariによるクラスタ構築Ambari Agentのインストール


AmbariServer

AmbariAgent

AmbariAgent

AmbariAgent

クラスタ作成



Ambari Agentがインストールされた※⼿動で事前にインストールしておくことも可能


Ambariによるクラスタ構築インストールするサービスの選択


Ambariによるクラスタ構築インストールする各サービスの初期設定


Ambariによるクラスタ構築クラスタ構築開始前の最終的な設定レビュー


クラスタの構築には20〜40分くらいはかかります

Ambariによるクラスタ構築


Ambariによるクラスタ構築構築完了！


Ambariによるクラスタ構築•  完成！


AmbariServer

AmbariAgent

RM NN

AmbariAgent

NM DN

AmbariAgent

NM DN

クラスタ作成




Blueprint•  HDPのクラスタ構成をJSONでテンプレート化したもの、とそのAPI。

Blueprintを元にクラスタを構築することが可能。•  Blueprintは現在Ambari UIではサポート

されていないので、REST APIベースで利⽤する

•  https://cwiki.apache.org/confluence/display/AMBARI/Blueprints

curl -u $USER:$PW $HOST:8080/api/v1/clusters/Sandbox?format=blueprintで既存クラスタのBlueprintを取得できる


設定管理



Health Checks, Alerts Stacks, Views

Lifecycle controls, Rolling Restarts,

Decommission/Re-commission

Host Groups, Versioning, Compare, Revert,

Recommendations, Security Setup

Install Wizard (UI),Blueprints (API)

設定管理


サービス管理

クラスタ作成


Hadoop関連の設定管理

•  Hadoopエコシステムでは慣習的にxmlが利⽤されている。•  サービス、コンポーネントごとに多数のxmlファイルが利⽤される。•  core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml, hive-

site.xml…..•  これらのファイルを、関連するすべてのホストに配置する必要がある。•  設定を更新する場合には、関連するすべてのホスト上のxmlファイルを更新す

る必要がある。更にその後、関連するすべてのホスト上のすべての関連プロセスを再起動してやる必要がある・・・

管理、運⽤に⼿間がかかる・・・・


Ambariによる各サービスの設定管理


設定更新後、必要なプロセスの再起動をしてくれる

Ambariでの再起動時に、新しい設定ファイル(xml)が配布される


バージョン管理をしているので⽐較やロールバックも可能


依存する設定や推奨値などのレコメンデーション









設定管理


サービス管理

クラスタ作成

Hadoop運⽤での地味にめんどくさい部分を引き受けてくれる


モニタリング











サービス管理

クラスタ作成


Hadoopのモニタリング

•  歴史的にHadoopのモニタリングにはNagiosとGangliaが利⽤されることが多かった。

•  Ambariは設定の管理だけではなく、Ambari AlertとAmbari Metricsという仕組みを持っており、これらを利⽤することで監視運⽤もAmbariに統合することができるようになってきた。

•  Ambari2系以降ではこれらの利⽤を推奨•  https://docs.hortonworks.com/HDPDocuments/Ambari-2.1.1.0/bk_upgrading_Ambari/

content/_moving_from_ganglia_to_ambari_metrics.html


Ambari

Server

AmbariAgent

RM NN

AmbariAgent

NM DN

AmbariAgent

NM DN

Ambari Metrics

Metrics Monitor

Metrics Monitor

Metrics Monitor

MetricsCollecto

rGrafana

New!


Ambari Metrics•  Hadoop運⽤に必要なメトリクスをデフォルトでモニタしてくれる•  表⽰⽤ウィジェットは柔軟にカスタマイズできる


New! Ambari MetricsとGrafana•  HDP⽤に設定済みのGrafanaをAmbari MetricsのViewerとして利⽤できるように

対応サービス(Ambari2.2.2時点)•  システムリソース•  YARN•  HDFS•  HBase


Ambari Alerts

Ã  もちろんリソースモニタリングだけではなく、プロセスやポートの監視とアラートの発呼もできる

Ã  Ambari Webで利⽤可能なアラート⼀覧については下記を参照–  http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/

bk_Ambari_Users_Guide/content/_list_of_predefined_alerts.html


New! Log Search

Hortonworks Sandbox with HDP2.5 Tech Previewにて体験可能


AmbariServer

AmbariAgent

RM NN

NM DN

AmbariAgent

NM DN

AmbariInternals

MetricsMonitor/Log

Feeder

MetricsMonitor/Log

Feeder

MetricsMonitor

MetricsCollector

GrafanaNew!

SolrLogSearchUINew!

AmbariWeb

Browser

AmbariRESTAPI

HadoopCluster

AmbariAgent


サービス管理









設定管理


サービス管理

クラスタ作成


Hadoop関連のエコシステムやサービス

•  多くのHadoopエコシステムやサービスは単体のプロセスではなく、複数のコンポーネントから成りなっている。

•  例えばHiveはHiveクライアント、Hiveserver2、Metastore Service、MySQL。HBaseであればHMaster、Region ServerとZookeeperなど。

•  先ほどの設定管理と同様に、正しく運⽤するには複数のホストに様々なコンポーネントを配置し、それら起動や停⽌の管理をしてやる必要がある。


Ambariによるサービスの追加


各サービスに必要なプロセス群の管理


サービスごとのメトリクスモニタリング


HDP以外のパッケージ管理も可能ですhttps://cwiki.apache.org/confluence/display/AMBARI/How-To+Define+Stacks+and+Services


拡張性











サービス管理

クラスタ作成


Ambariが提供する拡張性 - Upgrade

•  HDPの各種パッケージは下記のように(CentOSの例)/usr/hdp配下にバージョンごとに配置されている

•  current内のファイル群が実⾏されるが、実体はバージョンごとのディレクトリ内のバイナリへのリンク

•  AmbariによるHDPアップグレードでは、新しいバージョンのRPMの取得と、シンボリックリンクの切り替え、そしてプロセスの再起動を⾏ってくれる

[root@sandbox~]#ls/usr/hdp2.5.0.0-817current

[root@sandbox~]#ls-l/usr/hdp/current/lrwxrwxrwx1rootroot29Jul419:41accumulo-tracer->/usr/hdp/2.5.0.0-817/accumulolrwxrwxrwx1rootroot26Jul419:41atlas-client->/usr/hdp/2.5.0.0-817/atlaslrwxrwxrwx1rootroot26Jul419:41atlas-server->/usr/hdp/2.5.0.0-817/atlas


Ambariが提供する拡張性 – Ambari View

Files View



Zeppelin View



Hive View



Storm View



List of View


Custom Viewhttps://cwiki.apache.org/confluence/display/AMBARI/Viewshttps://github.com/hortonworks-gallery/ambari-iframe-view



View Only Ambari

•  Viewのみを提供するAmbari Webを構築することもできる•  クラスタの設定や構成にはタッチさせたくはないが、HDFS ViewやHive

Viewなどの機能だけを提供できる


Ambari and HDP


Ambari 2.4 + HDP Support Matrix

Ã  Added support for HDP 2.5Ã  Deprecated support for HDP 2.3

HDP2.5 HDP2.4 HDP2.3 HDP2.2 HDP2.1

Ambari2.4

deprecated

deprecated

Ambari2.2.2

deprecated

Ambari2.2.1

deprecated

deprecated

Ambari2.2

deprecated


Ambari 2.4 + HDP2.5 is in tech-preview now!https://hortonworks.com/tech-preview-hdp-2-5/


まとめ


まとめ









サービス管理

クラスタ作成


次回！

Ã  今のところ⽇程は未定ですが、8⽉中のどこかÃ  テーマ（下記で検討中）

–  ゲスト（ユーザーさんやパートナーさん）と⼀緒にしゃべる–  ユースケース（たとえば⾃動⾞IoT）などをテーマに、アーキテクチャやベストプラク

ティス、事例について話す

今⽇のウェビナーはオンデマンドでも閲覧可能です！品質改善のため、RATINGSからウェビナーの評価をお願いします！

※予定は変更になる可能性があります


お問い合わせはお気軽に[email protected]まで

Download - Apache ambari

Top Related