v1.0.0 parallel processing server interstage big...

J2UL-1563-01Z0(00)2012年5月

Linux(64)

Interstage Big DataParallel Processing ServerV1.0.0

ユーザーズガイド

PRIMERGY

まえがき

本書の目的

本書は、Interstage Big Data Parallel Processing Server (以降、本製品) の機能概要と、導入時に必要な操作および設定、運用につい

て説明しています。

本書の読者

本書は、本製品を利用してビッグデータ分析を行うシステムを構築するにあたり、インフラ構築の知識に加え、Apache Hadoop のシス

テム構築、操作およびアプリケーション開発の知識を有する管理者を対象にしています。

本書の構成

本書の構成は、以下のとおりです。

見出し内容

第1章概要本製品の概要について説明します。

第2章システムの設計と導入準備本製品を使用する際に検討すべきシステムの設計と本製

品の導入前の準備作業について説明します。

第3章システム構築の方法本製品のシステム構築の方法について説明します。

第4章導入と削除本製品の導入および削除の方法について説明します。

第5章運用本製品の運用方法について説明します。

第6章保守本製品の保守方法について説明します。

付録A リファレンス本製品のコマンド、定義ファイルなどについて説明します。

付録B メッセージ本製品が出力するメッセージについて説明します。

付録C 必須パッケージ本製品が動作する基本ソフトウェアに必須となるパッケー

ジについて説明します。

付録D DFSの環境構築 DFS の環境構築の方法について説明します。

付録E DFSの運用変更 DFS の運用変更の方法について説明します。

用語集本製品で使用する用語について説明します。必要に応じ

て参照してください。

本書の表記について

本書中の表記方法は以下のとおりです。

・本製品の使用時に必要な基本ソフトウェアに応じて異なる機能がある場合、以下のように区別して記述します。

【マスタサーバ】マスタサーバを対象とした記事

【スレーブサーバ】スレーブサーバを対象とした記事

【開発実行環境サーバ】開発実行環境サーバを対象とした記事

【連携サーバ】連携サーバを対象とした記事

・特に説明がない場合、本文中の"ラックサーバ"はPRIMERGY RXシリーズを指します。

・参照先は、「」でくくります。

・可変部分は、{ }でくくります。

・画面名、ダイアログ名、メニュー名およびタブ名は[ ]でくくります。

- i -

・ボタン名は< >でくくります。

・メニューの選択順を[ ] > [ ]の形式で示します。

・特に強調が必要な文字列、数値をダブルクォーテーション( " )でくくります。

・メニュー名には、設定、操作画面の起動を示す"..."は表記しません。

・使用例は、プロンプトを Linux の"#"で表記しています。

Interstage Big Data Parallel Processing Server ウェブサイト

Interstage Big Data Parallel Processing Server のウェブサイトでは、新のマニュアルや技術情報を公開しています。

本製品を利用する前に、Interstage Big Data Parallel Processing Server のウェブサイトを参照することをお勧めします。URL は以下の

とおりです。

URL:

http://interstage.fujitsu.com/jp/bigdatapps/ (2012年5月時点)

関連マニュアル

本製品には、以下のマニュアルを同梱しています。

・ PRIMECLUSTER 4.3A10

・ ServerView Resource Orchestrator Virtual Edition V3.0.0

・ Primesoft Distributed File System V1

本製品から同梱マニュアルの内容を参照する場合は、製品媒体の下記場所に格納されているそれぞれのマニュアルを参照してくだ

さい。

DISK1 ：PRIMECLUSTER のマニュアル

{DVDドライブ}:\DISK1\products\PCL\documents\manuals\Ja

DISK1 ：ServerView Resource Orchestrator Virtual Edition のマニュアル

{DVDドライブ}:\DISK1\packages\ROR\Common\manual\ja

DISK1 ：Primesoft Distributed File System for Hadoop のマニュアル

{DVDドライブ}:\DISK1\products\PDFS\documents\manuals\ja

なお、各同梱マニュアルのうち、Interstage Big Data Parallel Processing Server が提供する機能以外は使用できません。

略称

本書中の略称は以下のとおりです。

略称製品

Linuxまたは、

Red Hat Enterprise Linux

Red Hat(R) Enterprise Linux(R) 5.6 (for Intel64)Red Hat(R) Enterprise Linux(R) 5.7 (for Intel64)Red Hat(R) Enterprise Linux(R) 5.8 (for Intel64)Red Hat(R) Enterprise Linux(R) 6 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.1 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.2 (for Intel64)

- ii -

輸出管理規制表記

当社ドキュメントには、外国為替および外国貿易管理法に基づく特定技術が含まれていることがあります。特定技術が含まれている場

合は、当該ドキュメントを輸出または非居住者に提供するとき、同法に基づく許可が必要となります。

商標について

・ Apache Hadoop、Hadoop、HDFS、HBase、Hive、PigはApache Software Foundation の米国およびその他の国における登録商標

または商標です。

・ Adobe、Adobe Reader および Flash は、Adobe Systems Incorporated (アドビシステムズ社)の米国ならびに他の国における商標ま

たは登録商標です。

・ Linux は、Linus Torvalds 氏の米国およびその他の国における登録商標または商標です。

・ Red Hat、RPM および Red Hat をベースとしたすべての商標とロゴは、Red Hat, Inc. の米国およびその他の国における登録商標

または商標です。

・ Microsoft、Windows、MS、MS-DOS、Windows XP、Windows Server、Windows Vista、Windows 7、Excel およびInternet Explorerは、米国 Microsoft Corporation の米国およびその他の国における商標または登録商標です。

・ Interstage、ServerView、Symfoware および Systemwalker は、富士通株式会社の登録商標です。

・その他の会社名および製品名は、それぞれの会社の商標または登録商標です。

なお、本書では、システム名または製品名に付記される登録表示((TM)または(R))は、省略しています。

出版年月および版数

版数マニュアルコード

2012年 5月第1版 J2UL-1563-01Z0(00)

お願い

本書を無断で他に転載しないようお願いします。

本書は予告なしに変更されることがあります。

Copyright 2012 FUJITSU LIMITED

- iii -

目　次

第1章概要................................................................................................................................................................................11.1 Interstage Big Data Parallel Processing Serverの特徴........................................................................................................................1

1.1.1 背景..............................................................................................................................................................................................11.1.2 Apache Hadoop.............................................................................................................................................................................11.1.3 企業システムに向けたInterstage Big Data Parallel Processing Server.......................................................................................2

1.2 特長と主な機能...................................................................................................................................................................................21.2.1 独自分散ファイルシステム...........................................................................................................................................................31.2.2 マスタサーバ二重化.....................................................................................................................................................................31.2.3 スマートセットアップ......................................................................................................................................................................4

第2章システムの設計と導入準備..............................................................................................................................................52.1 システム構成と要件.............................................................................................................................................................................5

2.1.1 ハードウェア構成..........................................................................................................................................................................52.1.1.1 サーバ構成............................................................................................................................................................................52.1.1.2 ネットワーク構成....................................................................................................................................................................62.1.1.3 ハードウェア要件...................................................................................................................................................................7

2.1.1.3.1 静的ディスク容量............................................................................................................................................................72.1.1.3.2 動的ディスク容量............................................................................................................................................................82.1.1.3.3 メモリ容量........................................................................................................................................................................92.1.1.3.4 拡張カードオプション...................................................................................................................................................10

2.1.2 ソフトウェア構成..........................................................................................................................................................................102.1.2.1 ソフトウェア条件...................................................................................................................................................................102.1.2.2 基本ソフトウェア...................................................................................................................................................................102.1.2.3 必須ソフトウェア...................................................................................................................................................................112.1.2.4 排他ソフトウェア...................................................................................................................................................................122.1.2.5 関連ソフトウェア...................................................................................................................................................................12

2.2 システムの設計..................................................................................................................................................................................122.2.1 システム構成の設計...................................................................................................................................................................122.2.2 構成ファイル bdpp.conf の設計.................................................................................................................................................15

2.3 ベースシステムの準備......................................................................................................................................................................152.3.1 ベースシステムの準備...............................................................................................................................................................152.3.2 サーバ導入前の事前準備.........................................................................................................................................................162.3.3 必須ソフトウェアのインストール..................................................................................................................................................18

2.3.3.1 必須ソフトウェアの入手と設定............................................................................................................................................19

第3章システム構築の方法......................................................................................................................................................213.1 システム構築の流れ..........................................................................................................................................................................21

3.1.1 マスタサーバの導入...................................................................................................................................................................213.1.2 1台目のスレーブサーバの導入.................................................................................................................................................223.1.3 開発実行環境サーバの導入.....................................................................................................................................................223.1.4 連携サーバの導入.....................................................................................................................................................................223.1.5 DFS ファイルシステム構成情報の配付.....................................................................................................................................223.1.6 1台目のスレーブサーバとの接続確認......................................................................................................................................233.1.7 2台目以降のスレーブサーバの追加.........................................................................................................................................24

第4章導入と削除....................................................................................................................................................................254.1 マスタサーバへのインストール..........................................................................................................................................................25

4.1.1 マスタサーバ機能のインストール...............................................................................................................................................254.1.1.1 マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)間の ssh の設定..............................................................................264.1.1.2 構成ファイル bdpp.conf の作成..........................................................................................................................................264.1.1.3 マスタサーバ機能のインストール........................................................................................................................................26

4.1.2 HA クラスタのセットアップ..........................................................................................................................................................274.1.3 DFS のセットアップ.....................................................................................................................................................................28

4.1.3.1 管理パーティションの作成..................................................................................................................................................284.1.3.2 ファイルシステムの作成......................................................................................................................................................29

- iv -

4.1.3.3 MapReduce 実行用のユーザID の設定.............................................................................................................................294.1.3.4 スレーブサーバ、開発実行環境サーバ、および連携サーバ(DFS クライアント)情報の登録..........................................304.1.3.5 マウントポイントの作成および fstab の設定........................................................................................................................314.1.3.6 マウント.................................................................................................................................................................................314.1.3.7 DFSファイルシステム構成情報の生成と配付....................................................................................................................32

4.1.4 ネットワーク二重化・Hadoop のセットアップ...............................................................................................................................334.1.4.1 スレーブサーバ定義ファイル slaves の編集......................................................................................................................334.1.4.2 ネットワーク二重化・Hadoop のセットアップの実行............................................................................................................33

4.2 スレーブサーバへのインストール.....................................................................................................................................................334.2.1 スレーブサーバ機能のインストール..........................................................................................................................................34

4.2.1.1 構成ファイル bdpp.conf の作成..........................................................................................................................................344.2.1.2 スレーブサーバ機能のインストール...................................................................................................................................34

4.2.2 DFS のセットアップ.....................................................................................................................................................................354.2.2.1 マウントポイントの作成および fstab の設定........................................................................................................................354.2.2.2 マウント.................................................................................................................................................................................36

4.2.3 ネットワーク二重化・Hadoop のセットアップ...............................................................................................................................364.3 開発実行環境サーバへのインストール............................................................................................................................................37

4.3.1 開発実行環境サーバ機能のインストール.................................................................................................................................374.3.1.1 構成ファイル bdpp.conf の作成..........................................................................................................................................374.3.1.2 開発実行環境サーバ機能のインストール..........................................................................................................................37

4.3.2 DFS のセットアップ.....................................................................................................................................................................384.3.2.1 マウントポイントの作成および fstab の設定........................................................................................................................384.3.2.2 マウント.................................................................................................................................................................................39

4.4 連携サーバへのインストール............................................................................................................................................................404.4.1 連携サーバ機能のインストール.................................................................................................................................................40

4.4.1.1 構成ファイル bdpp.conf の作成..........................................................................................................................................404.4.1.2 連携サーバ機能のインストール..........................................................................................................................................40

4.4.2 DFS のセットアップ.....................................................................................................................................................................414.4.2.1 マウントポイントの作成およびfstabの設定..........................................................................................................................414.4.2.2 hadoop グループおよび mapred ユーザの登録.................................................................................................................424.4.2.3 マウント.................................................................................................................................................................................42

4.5 マスタサーバからのアンインストール................................................................................................................................................434.5.1 ネットワーク二重化のアンセットアップ.......................................................................................................................................434.5.2 DFS のアンセットアップ..............................................................................................................................................................444.5.3 HA クラスタのアンセットアップ...................................................................................................................................................444.5.4 マスタサーバ機能のアンインストール........................................................................................................................................444.5.5 アンインストール後の作業..........................................................................................................................................................46

4.5.5.1 アンインストール後に残るディレクトリおよびファイルについて..........................................................................................464.5.5.2 「インストールと管理(ミドルウェア)」のアンインストール......................................................................................................46

4.5.6 システムの再起動.......................................................................................................................................................................474.6 スレーブサーバからのアンインストール............................................................................................................................................47

4.6.1 ネットワーク二重化・Hadoop のアンセットアップ.......................................................................................................................474.6.2 DFS のアンセットアップ..............................................................................................................................................................474.6.3 スレーブサーバ機能のアンインストール...................................................................................................................................474.6.4 アンインストール後の作業..........................................................................................................................................................49

4.6.4.1 アンインストール後に残るディレクトリおよびファイルについて..........................................................................................494.6.4.2 「インストールと管理(ミドルウェア)」のアンインストール......................................................................................................49

4.6.5 システムの再起動.......................................................................................................................................................................494.7 開発実行環境サーバからのアンインストール..................................................................................................................................49

4.7.1 DFS のアンセットアップ..............................................................................................................................................................494.7.2 開発実行環境サーバ機能のアンインストール..........................................................................................................................494.7.3 アンインストール後の作業..........................................................................................................................................................51

4.7.3.1 アンインストール後に残るディレクトリおよびファイルについて..........................................................................................514.7.4 システムの再起動.......................................................................................................................................................................51

4.8 連携サーバからのアンインストール..................................................................................................................................................514.8.1 DFS のアンセットアップ..............................................................................................................................................................514.8.2 連携サーバ機能のアンインストール..........................................................................................................................................51

- v -

4.8.3 アンインストール後の作業..........................................................................................................................................................534.8.3.1 アンインストール後に残るディレクトリおよびファイルについて..........................................................................................53

4.8.4 システムの再起動.......................................................................................................................................................................534.9 スレーブサーバの追加・削除............................................................................................................................................................53

4.9.1 スレーブサーバの追加...............................................................................................................................................................534.9.1.1 初回導入時のスレーブサーバの追加................................................................................................................................54

4.9.1.1.1 スレーブサーバの登録.................................................................................................................................................544.9.1.1.2 ネットワークパラメーター自動設定機能の登録...........................................................................................................554.9.1.1.3 クローニングイメージの作成........................................................................................................................................554.9.1.1.4 クローニング..................................................................................................................................................................574.9.1.1.5 スレーブサーバ・連携サーバの追加／スケールアウト...............................................................................................57

4.9.1.2 運用開始後のスレーブサーバの追加................................................................................................................................574.9.1.2.1 スレーブサーバ定義ファイルの編集および反映........................................................................................................59

4.9.2 スレーブサーバの削除...............................................................................................................................................................604.9.2.1 スレーブサーバ定義ファイルの編集および反映...............................................................................................................604.9.2.2 DFS クライアントの削除.......................................................................................................................................................61

第5章運用..............................................................................................................................................................................625.1 Interstage Big Data Parallel Processing Server の起動・停止...........................................................................................................62

5.1.1 Interstage Big Data Parallel Processing Server の起動..............................................................................................................625.1.2 Interstage Big Data Parallel Processing Server の停止..............................................................................................................635.1.3 Interstage Big Data Parallel Processing Server の状態表示......................................................................................................63

5.2 アプリケーションの開発と登録..........................................................................................................................................................645.2.1 アプリケーションの開発環境......................................................................................................................................................645.2.2 アプリケーションの開発..............................................................................................................................................................64

5.2.2.1 アプリケーションの概要.......................................................................................................................................................645.2.2.2 アプリケーションの設計.......................................................................................................................................................645.2.2.3 アプリケーション作成...........................................................................................................................................................655.2.2.4 MapReduce アプリケーション開発のためのリファレンス....................................................................................................65

5.2.3 アプリケーションの登録..............................................................................................................................................................655.3 ジョブの実行・停止............................................................................................................................................................................65

5.3.1 ジョブの実行...............................................................................................................................................................................665.3.2 ジョブの停止...............................................................................................................................................................................665.3.3 ジョブの状態表示.......................................................................................................................................................................66

5.4 異常時の操作....................................................................................................................................................................................665.4.1 マスタサーバ異常時の操作.......................................................................................................................................................66

5.4.1.1 システム運用中の異常........................................................................................................................................................675.4.1.2 システム起動時の異常........................................................................................................................................................685.4.1.3 ネットワークに異常が発生した場合....................................................................................................................................69

5.4.2 スレーブサーバ異常時の操作...................................................................................................................................................705.4.3 異常の確認方法.........................................................................................................................................................................70

5.5 ストレージシステムの追加・削除.......................................................................................................................................................725.5.1 ストレージシステムの追加..........................................................................................................................................................725.5.2 ストレージシステムの削除..........................................................................................................................................................72

第6章保守..............................................................................................................................................................................736.1 保守の方法........................................................................................................................................................................................73

6.1.1 修正の適用.................................................................................................................................................................................736.1.2 調査資料の採取.........................................................................................................................................................................73

6.1.2.1 Interstage Big Data Parallel Processing Server のログ........................................................................................................746.1.2.2 調査資料採取ツール..........................................................................................................................................................746.1.2.3 各機能ごとの調査資料.......................................................................................................................................................74

6.1.2.3.1 HA クラスタのセットアップ、切り替えでトラブルが発生した場合................................................................................746.1.2.3.2 スレーブサーバの追加・削除時のクローニングイメージの作成、クローニングでトラブルが発生した場合..............786.1.2.3.3 DFS のセットアップ、共用ディスクでトラブルが発生した場合....................................................................................806.1.2.3.4 Hadoopでトラブルが発生した場合..............................................................................................................................82

付録A リファレンス...................................................................................................................................................................84

- vi -

A.1 コマンド.............................................................................................................................................................................................84A.1.1 bdpp_addserver..........................................................................................................................................................................85A.1.2 bdpp_changeimagedir................................................................................................................................................................85A.1.3 bdpp_changeslaves....................................................................................................................................................................86A.1.4 bdpp_deployimage.....................................................................................................................................................................87A.1.5 bdpp_getimage...........................................................................................................................................................................88A.1.6 bdpp_lanctl.................................................................................................................................................................................89A.1.7 bdpp_listimage...........................................................................................................................................................................89A.1.8 bdpp_listserver...........................................................................................................................................................................90A.1.9 bdpp_removeimage....................................................................................................................................................................91A.1.10 bdpp_removeserver..................................................................................................................................................................92A.1.11 bdpp_start.................................................................................................................................................................................93A.1.12 bdpp_stat..................................................................................................................................................................................94A.1.13 bdpp_stop.................................................................................................................................................................................95

A.2 定義ファイル.....................................................................................................................................................................................96A.2.1 bdpp.conf...................................................................................................................................................................................96A.2.2 slaves........................................................................................................................................................................................107A.2.3 clone.conf.................................................................................................................................................................................108A.2.4 FJSVrcx.conf...........................................................................................................................................................................110A.2.5 ipaddr.conf...............................................................................................................................................................................110

A.3 ポート一覧.......................................................................................................................................................................................113A.4 システムパラメーターのチューニング............................................................................................................................................118

A.4.1 システムパラメーターのチューニング値.................................................................................................................................118A.4.2 チューニング作業手順............................................................................................................................................................120

付録B メッセージ....................................................................................................................................................................122B.1 インストール時のメッセージ............................................................................................................................................................122B.2 セットアップ時のメッセージ.............................................................................................................................................................124B.3 運用中に出力されるメッセージ......................................................................................................................................................125

B.3.1 コマンド実行時のメッセージ....................................................................................................................................................125B.3.2 その他のメッセージ..................................................................................................................................................................129

付録C 必須パッケージ...........................................................................................................................................................130C.1 必須パッケージ一覧.......................................................................................................................................................................130

付録D DFSの環境構築..........................................................................................................................................................134D.1 ファイルシステム設計.....................................................................................................................................................................134

D.1.1 サーバレイアウト......................................................................................................................................................................134D.1.2 ディスクレイアウト.....................................................................................................................................................................134D.1.3 将来の拡張に備えて...............................................................................................................................................................135D.1.4 データブロックサイズの選択...................................................................................................................................................135D.1.5 ファイルシステムサイズ、データブロックサイズ、大ファイルサイズの関係........................................................................135

D.2 マウントオプション設計...................................................................................................................................................................136D.2.1 DFS 管理サーバの fstab 設定................................................................................................................................................136D.2.2 DFS クライアントの fstab 設定.................................................................................................................................................137

D.3 管理パーティションの作成.............................................................................................................................................................138D.3.1 共用ディスク設定.....................................................................................................................................................................139D.3.2 管理パーティションの初期化..................................................................................................................................................140D.3.3 管理パーティションへの DFS 管理サーバ情報の登録.........................................................................................................140D.3.4 pdfsfrmd デーモンの起動.......................................................................................................................................................140

D.4 ファイルシステムの作成.................................................................................................................................................................141D.4.1 共用ディスク設定.....................................................................................................................................................................141D.4.2 ファイルシステム作成..............................................................................................................................................................142D.4.3 スレーブサーバ、開発実行環境サーバ、および連携サーバ情報の登録............................................................................142D.4.4 ファイルシステム構成情報の配付..........................................................................................................................................144D.4.5 fstab の設定.............................................................................................................................................................................145D.4.6 マウント.....................................................................................................................................................................................145D.4.7 ファイルシステム状態確認......................................................................................................................................................146

- vii -

D.4.8 管理パーティション情報のバックアップ..................................................................................................................................146D.5 Hadoop 構成設定...........................................................................................................................................................................147

D.5.1 Configuration ファイルとプロパティの設定.............................................................................................................................147D.6 Hadoop 利用ユーザごとの設定.....................................................................................................................................................156

D.6.1 root で実施する設定...............................................................................................................................................................156D.6.2 Hadoop 利用ユーザが実施する設定.....................................................................................................................................157

付録E DFS の運用変更.........................................................................................................................................................159E.1 ファイルシステムの削除..................................................................................................................................................................159E.2 ファイルシステムの再作成..............................................................................................................................................................160E.3 スレーブサーバの追加/スケールアウト..........................................................................................................................................161

E.3.1 スレーブサーバ、開発実行環境サーバ、および連携サーバ情報の追加............................................................................162E.3.2 ファイルシステム構成情報の配付...........................................................................................................................................163E.3.3 fstab の設定.............................................................................................................................................................................163E.3.4 マウント.....................................................................................................................................................................................164

E.4 スレーブサーバの削除...................................................................................................................................................................164E.5 共有ディスクの追加／スケールアウト............................................................................................................................................165E.6 共有ディスクの削除........................................................................................................................................................................167

用語集...................................................................................................................................................................................168

- viii -

第1章概要

本章では、本製品の特長と、オープンソースソフトウェアである「Apache Hadoop」に対して追加している機能概要について説明します。

1.1 Interstage Big Data Parallel Processing Serverの特徴

1.1.1 背景

スマートフォン、タブレット端末などのスマートデバイスや各種センサーから収集されるデータは、大量であるとともに、形式や構造がバ

ラバラであり、しかも刻々と増え続けています。

これらの「ビッグデータ」と呼ばれるデータは、先進企業を中心に活用が進み、これまで得られなかったビジネスメリットを続々と創出し

ていることから、大きな注目を集めています。

ビッグデータの特長

ビッグデータには次の特長があります。

1. 大量のデータ

TB(テラバイト)～PB(ペタバイト)に及ぶ大容量で多数のデータ

2. 多様なデータ

様々な形式のデータ(構造化データ(データベースのデータ)・非構造化データ(センサー情報、アクセスログ情報などのテキスト

データ) ・半構造化データ(構造化データ、非構造化データの両方の性質を持つデータ))

3. 高頻度で発生するデータ

センサーなどから刻々と新しく発生するデータ

4. リアルタイムに使いたいデータ

短時間で分析処理を行い、リアルタイムに利活用

上記ビッグデータ処理のうち、(1)大量データ処理、(2)多様なデータ解析が可能なアプリケーションとして、「Apache Hadoop(*1)」が業

界標準として、広く利用されてきています。

*1 Apache Hadoop: Apache Software Foundation(ASF) が開発したビッグデータの効率的な分散・並列処理を行うオープンソースソフ

トウェア

1.1.2 Apache Hadoop大量データを分割かつ、数十～数千台のサーバに分散配置して並列処理することによって、大量のデータに対するバッチ処理を短

時間で処理する技術であり、次の特徴があります。

・低コスト

比較的安価なサーバを多数使用して並列処理することで、経済的なシステムを構成できます。

・高可用性

分割されたデータは３か所以上に分散配置されることによって、並列処理を実行するサーバ(スレーブサーバ)は同時に２台停止し

ても、処理を続行することができます。

・スケールアウト

スレーブサーバの追加により、容易にスケールアウトできます。

・文字列検索などの単純な分析から、画像解析などの高度な分析ロジックに対応する並列分析処理アプリケーション(MapReduceアプリケーション)を開発することができ、多様な形式のデータを処理することができます。

- 1 -

1.1.3 企業システムに向けたInterstage Big Data Parallel Processing ServerInterstage Big Data Parallel Processing Server は、ビッグデータ処理の業界標準である「Apache Hadoop」に、当社独自の技術を搭載

することで、信頼性と処理性能の大幅な向上と、システム導入時間の短縮を実現し、企業システムにおけるビッグデータの活用を支援

するソフトウェアです。

1.2 特長と主な機能

ここでは、本製品が「Apache Hadoop」に追加している以下の機能について説明します。

・独自分散ファイルシステム

・マスタサーバ二重化

・スマートセットアップ

- 2 -

1.2.1 独自分散ファイルシステム

Hadoopの処理サーバへのデータ転送時間を削減

「Apache Hadoop」の分散ファイルシステム(HDFS)に加え、独自の分散ファイルシステム(DFS)によりストレージシステムに格納したデー

タに直接アクセスして処理することができます。

業務アプリケーションのデータを一旦「HDFS」に転送してから処理するHadoopに対し、独自の分散ファイルシステムを利用した場合

は、データ転送が不要になるため、処理時間を大幅に短縮することができます。

既存ツールをそのまま活用

データを格納するストレージシステムとのインターフェースは、Linux標準のため、バックアップや印刷などの既存ツールをそのまま活

用することができます。

1.2.2 マスタサーバ二重化

「Apache Hadoop」では、全体を管理するマスタサーバに障害が起きると、マスタサーバの異常原因を取り除き復旧するまでの間、

「HDFS」が使用できない状態になり、業務の停止時間が長時間に及ぶこともあります(単一障害点)。本製品では、当社のHAクラスタ

技術を用いてマスタサーバを二重化運用することでこの単一障害点を解消し、短時間での業務再開を可能にし、高い信頼性を実現

しています。

- 3 -

1.2.3 スマートセットアップ

本製品は、当社のスマートソフトウェアテクノロジー(*)に基づいた「スマートセットアップ」を搭載しています。

あらかじめ作られたスレーブサーバのクローンを複数サーバへ一括して自動配備し設定できるため、システム導入を短時間で行いま

す。

サーバ増設時も、イメージの自動配備ですばやく簡単にスケールアウトできます。

* スマートソフトウェアテクノロジー：ハードウェアやソフトウェアの状況を自ら判断し、より簡単・安心に使うための適化を図る当社

独自の技術

- 4 -

第2章システムの設計と導入準備

本章では、本製品を使用するための設計方法と導入に向けた準備について説明します。

2.1 システム構成と要件

ここでは、本製品を利用する上でのシステム構成および要件について説明します。

2.1.1 ハードウェア構成

ここでは、本製品を利用する上でのハードウェア構成について説明します。

2.1.1.1 サーバ構成

サーバ構成

マスタサーバ

大量のデータファイルをブロックに分けた上でファイル化(分散ファイルシステム)し、そのファイル名や保管場所を一元管理するサー

バです。

また、分析処理アプリケーションのジョブの実行要求を受け付け、スレーブサーバに対して並列分散処理を実行させることができま

す。

本製品では、マスタサーバの二重化構成(プライマリサーバ、セカンダリサーバ)が必要です。

マスタサーバの各プライマリサーバ、およびセカンダリサーバには、本製品のマスタサーバ機能を導入します。

スレーブサーバ

マスタサーバによってブロック化されたデータファイルを、複数のスレーブサーバが並列分散処理することによって、短時間に分析

処理を行うことができます。

また本製品では、高信頼なストレージシステム上にブロック化したデータを保管します。

- 5 -

スレーブサーバには、本製品のスレーブサーバ機能を導入します。

開発実行環境サーバ

並列分散を行うアプリケーション(MapReduce)の開発を容易にするPigやHiveを導入し実行するサーバです。

開発実行環境サーバには、本製品の開発実行環境サーバ機能を導入します。

連携サーバ

Apache Hadoop の場合は、分析のために Hadoop の分散ファイルシステムである HDFS に登録する必要がありました。本製品の特

長である高信頼なストレージシステム上に構築する DFS(Distributed File System)に対して、Linux 標準のファイルインターフェース

を使用して、連携サーバから業務システム上の大量データを直接転送し、分析を行うことができます。

また、連携サーバ上に既存のデータバックアップシステムを導入することで、データのバックアップを容易に利用することができま

す。

連携サーバには、本製品の連携サーバ機能を導入します。

注意

データ転送により DFS に格納するデータは、Hadoop を使用して分析を行う分析対象のデータのみとしてください。他のデータを

格納することはできません。

2.1.1.2 ネットワーク構成

ネットワーク構成

管理 LAN

スマートセットアップにおけるクローニング処理を行うためのLANです。

Hadoop の並列分散処理を行うための業務 LAN とは別に設置します。

管理 LAN の接続先は１つ目のネットワークインターフェースを使用します。

- 6 -

業務LAN

マスターサーバ、スレーブサーバ間の並列分散処理を行うための LAN です。

冗長としない構成とすることもできますが、本製品に組み込まれているネットワーク冗長化ソフトウェアを利用することで、一部の LANに異常が発生した状態でも業務LANを冗長化することができます。

冗長化する／しないは、インストール時に使用する構成ファイル(bdpp.conf)で設定することができます。bdpp.confの詳細について

は、「A.2.1 bdpp.conf」を参照してください。

iSCSI-LAN

本製品は各サーバとストレージシステム間のインターフェースに iSCSI を使用します。この iSCSI 接続用の LANです。

ストレージシステムとネットワークスイッチ間の転送速度は 10Gbit/s 以上とすることをお勧めします。

LANの障害に備えて、ETERNUS マルチパスドライバによって構成を冗長化することをお勧めします。

クラスタインタコネクト(CIP)LAN

プライマリサーバとセカンダリサーバをHAクラスタ構成とするために使用する LAN です。冗長化しない構成にもできますが、LANの障害に備えて、冗長化することをお勧めします。

冗長化する／しないは、インストール時に使用する構成ファイル(bdpp.conf)で設定することができます。bdpp.confの詳細について

は、「A.2.1 bdpp.conf」を参照してください。

2.1.1.3 ハードウェア要件

本製品を使用する場合は、以下のハードウェア条件を満たす必要があります。

表2.1 必須ハードウェア条件

機能ハードウェア備考

マスタサーバPRIMERGY RXシリーズ、

PRIMERGY TXシリーズ(*)CPUは、デュアルコアCPU以上を必要とします。

スレーブサーバPRIMERGY RXシリーズ、


開発実行環境サーバPRIMERGY RXシリーズ、


連携サーバPRIMERGY RXシリーズ、


外部ストレージ装置 ETERNUS DXシリーズ

*: PRIMERGY RX、TX シリーズのうち、本製品でサポートする機種については、以下のサイトのサポート機種情報を参照してくださ

い。

http://software.fujitsu.com/jp/ror/technical/reference/

・サポート機種情報

「ServerView Resource Orchestrator V3.0 Virtual Edition/Express 管理対象サーバ・LAN スイッチ・電力監視デバイス - サポート

機種情報」

2.1.1.3.1 静的ディスク容量

本製品を新規にインストールする場合、以下の静的ディスク容量が必要です。ディスク容量は、確認する環境の違いに応じて変動しま

す。

- 7 -

静的ディスク容量(OS除く)

【マスタサーバ】

OS種別ディレクトリディスク容量(単位:メガバイト)

Linux

/opt 900

/etc 16

/var 220

/usr 60

【スレーブサーバ】


Linux

/opt 120

/etc 1

/var 25

/usr 60

【開発実行環境サーバ】


Linux

/opt 10

/etc 1

/var 1

/usr 60

【連携サーバ】


Linux

/opt 30

/etc 1

/var 1

/usr 60

2.1.1.3.2 動的ディスク容量

本製品を使用する場合、マスタサーバおよびスレーブサーバの各ディレクトリには、静的ディスク容量に加えて以下のディスク容量が

必要です。

表2.2 動的ディスク容量

インストール種別ディレクトリディスク容量(単位:メガバイト)

マスタサーバ

/etc 2

/var/opt 2510

クローニングイメージファイル

格納ディレクトリ

デフォルト：

/var/opt/FJSVscw-deploysv/depot

クローニングイメージファイル

格納域

エージェント/etc 1

/var/opt 1

- 8 -

クローニングイメージファイル格納域

クローニングイメージファイル格納域は、クローニングを行う場合に必要な領域です。

クローニングを使用して採取するスレーブサーバのクローニングイメージファイルを格納する領域として、マスタサーバ上に確保しま

す。

注意

・クローニングイメージファイル格納域は、マスタサーバのローカルディスクまたはSANストレージに作成してください。ネットワークド

ライブ上のフォルダーや、ネットワーク上のほかのマシンの共有フォルダー(NFS、SMBなど)、UNC形式のフォルダーは指定でき

ません。

・クローニングイメージの作成対象となるサーバとクローニングの対象サーバは、同じ機種である必要があります。機種が異なる場合

は、機種ごとのクローニングイメージの作成が必要です。詳細は、「4.9.1.1.3 クローニングイメージの作成」を参照してください。

クローニングイメージファイル格納域として必要な容量の見積り方法は以下のとおりです。

クローニングイメージファイル格納域＝スレーブサーバ1台のディスク使用量 × 圧縮率 × 機種数

スレーブサーバ1台のディスク使用量

同一ソフトウェア構成のシステム構築実績がある場合、そのシステムのディスク使用量(1つのディスクを複数の区画に分割している

場合、各区画の使用量の合計)を用います。

ディスク使用量については、OSの機能を利用して確認してください。

同一ソフトウェア構成での構築実績がない場合、各ソフトウェアのインストールガイドなどに記載されたディスク容量から算出します。

圧縮率

スレーブサーバのディスクの使用域をイメージファイルとしてマスタサーバ上に格納する際の圧縮率です。

ファイルの内容によりますが、一般的に50%程度が期待できます。

2.1.1.3.3 メモリ容量

本製品を使用する場合、以下のメモリ容量が必要です。

メモリ容量(OS除く)


OS種別メモリ容量(単位:ギガバイト)

Linux 8.0 以上


OS種別メモリ容量(単位:ギガバイト)

Linux 4.0 以上


OS種別メモリ容量(単位: ギガバイト)

Linux 4.0 以上


- 9 -

OS種別メモリ容量(単位: ギガバイト)

Linux 4.0 以上

2.1.1.3.4 拡張カードオプション

LANの冗長化を行う場合は、ネットワークインターフェースカードが2枚以上必要です。

2.1.2 ソフトウェア構成

本製品は、以下のDVD-ROMで構成されています。

・ Interstage Big Data Parallel Processing Server

本製品は、以下のソフトウェアで構成されています。

ソフトウェア名機能概要

Interstage Big Data Parallel Processing Server Standard EditionV1.0.0

マスタサーバ

本製品のマスタサーバ機能です。



本製品のスレーブサーバ機能です。



本製品の開発実行環境サーバ機能です。


連携サーバ

本製品の連携サーバ機能です。

2.1.2.1 ソフトウェア条件

ここでは、本製品をインストールする際のソフトウェア条件について説明します。

2.1.2.2 基本ソフトウェア

本製品を使用する場合、以下の基本ソフトウェアが必要です。

基本ソフトウェア

【マスタサーバ】、【スレーブサーバ】

OS種別基本ソフトウェア備考

Linux

Red Hat(R) Enterprise Linux(R) 5.6 (for Intel64) (*)Red Hat(R) Enterprise Linux(R) 5.7 (for Intel64) (*)Red Hat(R) Enterprise Linux(R) 5.8 (for Intel64) (*)Red Hat(R) Enterprise Linux(R) 6 (for Intel64) (*)Red Hat(R) Enterprise Linux(R) 6.1 (for Intel64) (*)Red Hat(R) Enterprise Linux(R) 6.2 (for Intel64) (*)

ドライバーキット、アップデート

キットなどの必須ソフトウェアが

ある場合は、それらを準備して

ください。

- 10 -


必須ソフトウェアについては、

各サーバ用の取扱説明書、ま

たはLinuxのインストールガイ

ドを参照してください。

*: クローニング機能のみ、WOW64 (Windows 32-bit On Windows 64-bit) サブシステム上で、32ビットアプリケーションとして動

作します。

【開発実行環境サーバ】、【連携サーバ】


Linux

Red Hat(R) Enterprise Linux(R) 5.6 (for Intel64)Red Hat(R) Enterprise Linux(R) 5.7 (for Intel64)Red Hat(R) Enterprise Linux(R) 5.8 (for Intel64)Red Hat(R) Enterprise Linux(R) 6 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.1 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.2 (for Intel64)

ドライバーキット、アップデート

キットなどの必須ソフトウェアが

ある場合は、それらを準備して

ください。

必須ソフトウェアについては、

各サーバ用の取扱説明書、ま

たはLinuxのインストールガイ

ドを参照してください。

必須パッケージ

本製品を使用する場合、「C.1 必須パッケージ一覧」に示す必須パッケージが必要です。

本製品のインストール時にインストールされていないパッケージが存在する場合は、エラーとなりますので、メッセージを確認して、必

要なパッケージをインストールしてください。

2.1.2.3 必須ソフトウェア

本製品を使用する場合、以下のソフトウェアが必要です。


ソフトウェア名バージョンレベル備考

IPMIドライバ新版を入手してく

ださいServerView添付のIPMIドライバ

Microsoft(R) LAN Managerモジュール

-プライマリサーバのみ必要となります。

Microsoft社のFTPサイトから入手してください。(*1)

*1: 以下のMicrosoft社のFTPサイトから入手してください。

Microsoft社のFTPサイト

URL:

ftp://ftp.microsoft.com/bussys/clients/msclient/DSK3-1.EXE (2012年5月時点)



ServerView Agent for Linux V4.50.12以降－


ださいServerView添付のIPMIドライバ


- 11 -



ださい

ServerView添付のIPMIドライバ




ださい

ServerView添付のIPMIドライバ

2.1.2.4 排他ソフトウェア

ありません。

2.1.2.5 関連ソフトウェア

必要に応じて、以下の関連ソフトウェアの導入をご検討ください。



ETERNUS マルチパスドライバ V2.0L22 ストレージシステムとの接続を冗長化する場合に必要です。






Interstage Application ServerEnterprise Edition V10 または、

Interstage Application ServerStandard-J Edition V10

V10.0.0

Hadoop上で動作する分析アプリケーション(MapReduceアプリ

ケーション)を開発する場合に必要です。





2.2 システムの設計

まず、本製品を使用するために事前に設計しておくことについて以下に示します。

1. システム構成の設計

2.2.1 システム構成の設計

本製品を構築するにあたって、以下に示すシステム構成の設計が必要となります。

- 12 -

1. サーバ構成の設計

2. システムの冗長化構成の設計

3. DFSファイルシステムの設計

サーバ構成の設計

本製品はスレーブサーバをスケールアウト構成とすることで、スレーブサーバを追加していくことで、スケーラブルに性能を向上するこ

とができます。このとき、必要となるスレーブサーバの台数は、Hadoopアプリケーション、処理するデータの量と特性などにより、処理時

間が変わるため、業務への適用の前に、プロトタイプによる検証を行い、サーバ台数の見積もりを行うことをお勧めします。そのうえで、

将来の増設分も含めたスレーブサーバの大台数を決定します。

システムの冗長化構成の設計

本製品に加えて、関連製品を導入することで、より信頼性の高いシステムを構築することができます。

本製品および関連製品で実現できるシステム構成は以下のとおりです。

表2.3 対応する冗長化構成

対応する構成対応するサーバ種別対応手段

サーバの二重化マスタサーバ本製品のみで対応可能

HAクラスタ構成 1:1運用待機構成

クラスタインターフェースの二重化／非二

重化マスタサーバ本製品のみで対応可能

業務LANの二重化／非二重化マスタサーバ


本製品のみで対応可能

マスタサーバ:NIC切替え方式(論理IPアドレス

引継ぎ)

スレーブサーバ:NIC切替え方式(物理IPアドレ

ス引継ぎ)

ストレージシステム接続の二重化／非二

重化

マスタサーバ



連携サーバ

関連製品「ETERNUS マルチパスドライバ」を導

入することで対応可能

「冗長化構成の対象」(赤枠の部分)のうち、お客様のご要件に応じた適切な構成を選択の上、システム構成を設計してください。

- 13 -

図2.1 冗長化構成の対象

DFSファイルシステムの設計

DFS ファイルシステムを利用するにあたって、事前に検討すべきファイルシステム設計が必要となります。

ファイルシステム設計の詳細については、「付録D DFSの環境構築」の「D.1 ファイルシステム設計」を参照してください。

本マニュアルでは、ファイルシステム構成について、以下に示す構成を例として説明しています。

・管理パーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370105

・代表パーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370106

・ファイルデータパーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370107 /dev/disk/by-id/scsi-1FUJITSU_300000370108

・マスタサーバ(プライマリ) ：master1

・マスタサーバ(セカンダリ) ：master2

ポイント

共用ディスクのデバイス名には、udev機能により生成される by-id 名を使用します。by-id 名は、ハードディスクに設定されている個別

識別情報から生成されるデバイス名です。

by-id 名を使用することにより、各サーバは常に同じデバイス名で特定のディスクにアクセスできます。

各サーバで、by-id 名のディスクパーティションが認識されているかを確認してください。

・ Red Hat(R) Enterprise Linux(R) 5の場合

# udevinfo -q symlink -n /dev/sdb <Enter>

disk/by-id/scsi-1FUJITSU_300000370105

# udevinfo -q symlink -n /dev/sdc <Enter>


- 14 -

# udevinfo -q symlink -n /dev/sdd <Enter>


# udevinfo -q symlink -n /dev/sde <Enter>



# udevadm info -q symlink -n /dev/sdb <Enter>

block/8:48 disk/by-id/ scsi-1FUJITSU_300000370105

# udevadm info -q symlink -n /dev/sdc <Enter>

block/8:48 disk /by-id/ scsi-1FUJITSU_300000370106

# udevadm info -q symlink -n /dev/sdd <Enter>


# udevadm info -q symlink -n /dev/sde <Enter>


2.2.2 構成ファイル bdpp.conf の設計

マスタサーバ、スレーブサーバ、開発実行環境サーバ、および連携サーバの各機能をインストールするために、構成ファイル“bdpp.conf”に指定するパラメーターを事前に設計および確認し設定内容を決定します。

構成ファイル“bdpp.conf”の詳細については、「A.2.1 bdpp.conf」を参照してください。

2.3 ベースシステムの準備

まず、本製品を使用するために事前に設計しておく点について以下に示します。

2.3.1 ベースシステムの準備

本製品を使用したシステム構築を行うには、以下の準備が必要となります。

サーバ環境の準備

次に示す各サーバごとに、基本ソフトウェアおよび基本ソフトウェアの必須パッケージが新規に導入されていることが前提となります。

基本ソフトウェアおよび必須パッケージについては、「2.1.2.2 基本ソフトウェア」および「付録C 必須パッケージ」を参照してください。

・マスタサーバ2台(プライマリサーバ、セカンダリサーバ)

・スレーブサーバ1台

・開発実行環境サーバ

・連携サーバ

さらに、ストレージシステムに ETERNUS を使用し接続を冗長化する場合には「ETERNUS マルチパスドライバ」も予め導入しておく必

要があります。

注意

SELinux(Security-Enhanced Linux)機能について

SELinux(Security-Enhanced Linux)機能が有効に設定されている Linux 環境には、本製品をインストールすることができません。本製

品をインストールするには、SELinux 機能を無効に設定してから、本製品をインストールしてください。SELinux 機能を無効に設定する

方法は、Linux のオンラインマニュアル等を参照してください。

- 15 -

ネットワーク環境の準備

各サーバおよびストレージシステムが、「2.1.1.2 ネットワーク構成」に示す構成で接続されていることが必要です。

各ハードウェアの接続構成を確認してください。

ストレージシステム環境の準備

分散ファイルシステムに DFS を利用するには、ストレージシステムに対する共用LUNの作成、iSCSI の設定、マルチパスの設定(iSCSIを二重化する場合)をそれぞれ予め完了させておく必要があります。

ストレージシステム、iSCSI の設定、および ETERNUS マルチパスドライバの導入・設定については、それぞれのマニュアルを参照し

てください。

2.3.2 サーバ導入前の事前準備

本製品をインストールする前に必要な事前準備について説明します。

・サーバの BIOS 設定

「サーバの BIOS 設定」を参照してください。

・ OS導入時のファイルシステム

「OS導入時のファイルシステム」を参照してください

・システムパラメーターの設定

「システムパラメーターの設定」を参照してください。

・ファイアーウォールの設定

「ファイアーウォールの設定」を参照してください。

・ホスト名の設定

「ホスト名の設定」を参照してください。

・業務 LAN のネットワークインターフェースの設定

「業務 LAN のネットワークインターフェースの設定」を参照してください。

・システム時刻の設定

「システム時刻の設定」を参照してください。

・必須ソフトウェアの準備と確認

「必須ソフトウェアの準備と確認」を参照してください。

サーバの BIOS 設定

クローニングによって、スレーブサーバを追加導入するためには、各スレーブサーバの BIOS 設定を以下のように設定する必要があり

ます。

システム BIOS

ブート順序を以下の順序で設定してください。

1. 管理 LAN で使用するネットワークインターフェースからのブート(１つ目のネットワークインターフェース)

2. DVD-ROM または CD-ROM からのブート(DVD-ROM または CD-ROM を接続している場合)

3. ストレージからのブート

注意

－管理対象サーバで運用を開始し、ディスクからブートする際も、ブート順序は変更しないでください。

- 16 -

－ネットワークインターフェースからのブート設定時に"UEFI"と"Legacy"が表示されたときは、"Legacy"を選択してください。

OS導入時のファイルシステム

クローニングによって、スレーブサーバを追加導入するためには、スレーブサーバに OS を導入する際のファイルシステムのタイプは

“EXT3”である必要があります。

ファイルシステムのタイプに“LVM (Logical Volume Manager)”が使用されている場合には、クローニングによるスレーブサーバの追加

導入が行えません。ファイルシステムのタイプを“EXT3”として、OS を導入してください。

システムパラメーターの設定

システムパラメーターのチューニングを行う必要があります。チューニングの設定方法は、「A.4 システムパラメーターのチューニング」

を参照し、マスタサーバのシステムパラメーターのチューニングを実施してください。

ファイアーウォールの設定

ファイアーウォール機能を利用している環境に本製品をインストールする場合には、ファイアーウォール機能に対して必要な通信(ポー

ト)を許可する必要があります。

ファイアーウォール機能に対して必要な通信(ポート)を許可する方法については、OS のマニュアルを参照してください。

本製品が使用するポートについては、「A.3 ポート一覧」を参照し、接続を許可する必要があります。

ホスト名の設定

マスタサーバ、スレーブサーバ、開発実行環境サーバ、および連携サーバが正しく動作するためには、Hadoop で使用する業務 LANのホスト名(“hostname コマンド”などで出力される正式なホスト名)の設定が必要です。

各サーバのホスト名は先頭文字を英字とし、半角英数字で構成された11文字以内の文字列でマスタサーバの hosts ファイルに記述し

てください。

また、プライマリおよびセカンダリの hosts ファイルの内容を一致させてください。

また、スレーブサーバ、開発実行環境サーバ、および連携サーバの hosts ファイルに記述するホスト情報は、マスタサーバで追加した

ホスト名を設定してください。

hosts ファイル

/etc/hosts

hosts ファイルの詳細については、“hosts” のヘルプを参照してください。

注意

hosts ファイルにローカルホストを登録する場合、以下に注意してください。

－ "127.0.0.1"にローカルホスト名を設定する場合、必ずリモートから参照可能な IP アドレスを先に記述してください。または、

"127.0.0.1"にはローカルホスト名を設定しないでください。

－ホスト名にエイリアス名は設定しないでください。

IPアドレスに、"10.10.10.10"をもつ、"master1"というホスト名を設定する例を以下に示します。

10.10.10.10 master1

127.0.0.1 localhost.localdomain localhost

- 17 -

業務 LAN のネットワークインターフェースの設定

各サーバの業務 LAN のネットワークインターフェースは、本製品を導入する前に、IP アドレスが設定されており、かつ、活性状態であ

る必要があります。

対象となるネットワークインターフェースの状態を ifconfig コマンドで確認して、未設定および未活性の状態であれば、IP アドレスの設

定および活性化してください。

例

# ifconfig eth5 <Enter>

eth5 Link encap:Ethernet HWaddr 00:19:99:8D:7E:90

inet addr:10.10.10.11 Bcast:192.168.1.255 Mask:255.255.255.0

・・・中略・・・

RX bytes:2440357552 (2.2 GiB) TX bytes:1144015405 (1.0 GiB)

Memory:cd400000-cd480000

システム時刻の設定

マスタサーバ、スレーブサーバ、開発実行環境サーバ、および連携サーバのシステム時刻は、NTP(Network Time Protocol)を使用し、

同じ時刻に同期するように設定してください。

必須ソフトウェアの準備と確認

本製品をインストールする前に、システムに「2.1.2.3 必須ソフトウェア」のソフトウェアがインストールされているか確認してください。イン

ストールされていない場合は、事前にインストールする必要があります。

注意

ServerView Agent の設定

PRIMERGY シリーズでは、本製品が正しく動作するために、ServerView Agent のインストールで必要な SNMP サービスの設定を

行ってください。

SNMP サービスの設定方法については、ServerView Agent のマニュアルを参照してください。

－ SNMP コミュニティー名には、iRMC に設定してある SNMP コミュニティー名と同じ値を設定してください。

－ SNMP コミュニティー名には、Read(参照権)または Write(参照更新権)を設定してください。

－ SNMP パケットを受け付けるホストは、マスタサーバの管理 LAN の IP アドレスを設定してください。

－ SNMP トラップ送信先には、マスタサーバの IP アドレスを設定してください。

－なお、SNMP トラップ送信先のマスタサーバが複数の NIC を持つ場合、スレーブサーバと接続されている側の管理 LAN の IPアドレスを設定してください。

2.3.3 必須ソフトウェアのインストール

マスタサーバ、スレーブサーバ、開発実行環境サーバ、および連携サーバに対して、「2.1.2.3 必須ソフトウェア」に示すソフトウェアをイ

ンストールしてください。

次に、マスタサーバの必須ソフトウェアにおける注意すべき設定について説明します。

- 18 -

2.3.3.1 必須ソフトウェアの入手と設定

必須ソフトウェアの入手

・ Microsoft LAN Manager モジュールの入手および展開

本作業は、プライマリサーバに対してのみで必要です。セカンダリサーバでは必要ありません。

Microsoft LAN Manager モジュールを以下の FTP サイトから入手してください。

なお、Microsoft LAN Manager モジュールは CPU アーキテクチャー(x86, x64)に関係なく利用できます。

URL:

ftp://ftp.microsoft.com/bussys/clients/msclient/DSK3-1.EXE (2012年5月時点)

ServerView Deployment Manager をインストールしてある環境に本製品をインストールする場合、Microsoft LAN Manager モジュー

ルを入手する必要はありません。

入手したモジュールを、CPU アーキテクチャー(x86)の Windows 上で、事前に Expand コマンドにより展開しておく必要がありま

す。展開方法については、以下の例を参照してください。

例

C:\tempにdsk3-1.exe を配置した場合

> cd /d c:\temp

> dsk3-1.exe

> Expand c:\temp\protman.do_ /r

> Expand c:\temp\protman.ex_ /r

フォルダー名やファイル名は Windowsの8.3 形式(*1)にしてください。

なお、展開した Microsoft LAN Manager モジュールはマネージャーのインストール後は必要ありません。

*1: ファイル名部分が大で8文字、拡張子部分が大で3文字とする規則です。

展開が完了した以下のモジュールを、インストールするシステムの作業用ディレクトリ(/tmp)に配置してください。

－ PROTMAN.DOS

－ PROTMAN.EXE

－ NETBIND.COM

必須ソフトウェア設定

・ SNMP トラップデーモンの設定

本作業は、プライマリサーバのみ必要です。セカンダリサーバでは必要ありません。

本製品が正しく動作するために、net-snmp パッケージのインストールと共に /etc/snmp/snmptrapd.conf ファイルに以下の設定を追

記してください。ファイルが存在しない場合は、ファイルを作成したあと、以下の設定を追記してください。

disableAuthorization yes

・ kdump の設定

1. kdump の確認

kdump サーバ機能が利用可能となっていることを確認してください。利用可能となっていない場合は、利用可能にしてくだ

さい。確認操作は”runlevel コマンド”と”chkconfig コマンド”で行います。

- “runlevel コマンド”で、現在のランレベルを確認します。

- 19 -

例

以下の場合、現在のランレベルは3です。

#/sbin/runlevel <Enter>

N 3

- “chkconfig コマンド”で、kdump の利用可能状態を確認します。

例

以下の場合、現在のランレベル3の kdump はオフです。

#/sbin/chkconfig --list kdump <Enter>

kdump 0:オフ 1:オフ 3:オフ 4:オフ 5:オフ 6:オフ

- 現在のランレベルで kdump がオフになっている場合、”chkconfig コマンド”でオンにし、serviceコマンドで kdump を起

動してください。

#/sbin/chkconfig kdump on <Enter>

# /sbin/service kdump start

- 20 -

第3章システム構築の方法

本章では、本製品を使用したシステム構築の方法について説明します。

3.1 システム構築の流れ

まず、本製品を使用したシステム構築の流れについて以下に示します。

1. マスタサーバの導入

2. 1台目のスレーブサーバの導入

3. 開発実行環境サーバの導入

4. 連携サーバの導入

5. DFSファイルシステム構成情報の配付

6. 1台目のスレーブサーバとの接続確認

7. 2台目以降のスレーブサーバの追加(*)

*：2台目以降のスレーブサーバは、スマートセットアップにより追加できます。

本マニュアルでは、初期導入のスレーブ台数が5台の場合を例として説明していますが、さらにスレーブサーバ台数を追加する場合も

同様の操作で実施できます。

3.1.1 マスタサーバの導入

「2.3.2 サーバ導入前の事前準備」を確認して、導入前の事前準備を行った上でマスタサーバの導入を行ってください。

マスタサーバの導入手順については、「4.1 マスタサーバへのインストール」を参照してください。

マスタサーバの導入後は、「6.1.1 修正の適用」を参照して、本製品および本製品に含まれるソフトウェアの修正を適用してください。

- 21 -

3.1.2 1台目のスレーブサーバの導入

「2.3.2 サーバ導入前の事前準備」を確認して、導入前の事前準備を行った上でスレーブサーバの導入を行ってください。

スレーブサーバの導入手順については、「4.2 スレーブサーバへのインストール」を参照してください。

スレーブサーバの導入後は、「6.1.1 修正の適用」を参照して、本製品および本製品に含まれるソフトウェアの修正を適用してください。

3.1.3 開発実行環境サーバの導入

「2.3.2 サーバ導入前の事前準備」を確認して、導入前の事前準備を行った上で開発実行環境サーバの導入を行ってください。

開発実行環境サーバの導入手順については、「4.3 開発実行環境サーバへのインストール」を参照してください。

開発実行環境サーバの導入後は、「6.1.1 修正の適用」を参照して、本製品および本製品に含まれるソフトウェアの修正を適用してく

ださい。

3.1.4 連携サーバの導入

「2.3.2 サーバ導入前の事前準備」を確認して、導入前の事前準備を行った上で連携サーバの導入を行ってください。

連携サーバの導入手順については、「4.4 連携サーバへのインストール」を参照してください。

連携サーバの導入後は、「6.1.1 修正の適用」を参照して、本製品および本製品に含まれるソフトウェアの修正を適用してください。

3.1.5 DFS ファイルシステム構成情報の配付

マスタサーバで生成した DFS のファイルシステム構成情報ファイルを、スレーブサーバ、開発実行環境サーバおよび連携サーバに配

付します。DFS ファイルシステムの生成については、「4.1.3.7 DFSファイルシステム構成情報の生成と配付」を参照してください。

ファイルシステムの構成情報配付の手順を、以下の環境を例に説明します。

・ファイルシステム ID ：1

・論理ファイルシステム名：pdfs1

・スレーブサーバ、開発実行環境サー

バ、および連携サーバ

：slave1, slave2, slave3, slave4, slave5, develop, collaborate

1. マスタサーバに、root 権限でログインします。

2. 「4.1.3.7 DFSファイルシステム構成情報の生成と配付」で作成した構成情報ファイルにMapReduce 実行用のユーザID が設定さ

れていることを確認します。

MapReduce 実行用のユーザID が設定されていない場合は、「4.1.3.3 MapReduce 実行用のユーザID の設定」を確認して、

MapReduce 実行用のユーザID を設定してください。

# cat <構成情報ファイルを作成したディレクトリ>/client.conf.pdfs1

FSID 1

MDS kawa4 29000

MDS kawa5 29000

DEV /dev/disk/by-id/scsi-1FUJITSU_300000370107 0 7341778

DEV /dev/disk/by-id/scsi-1FUJITSU_300000370108 0 6578704

MAPRED mapred ← MapReduce 実行用のユーザID が設定されていることを確認

- 22 -

3. 構成情報ファイルをスレーブサーバ、開発実行環境サーバ、および連携サーバに配付します。

# cd <構成情報ファイルを作成したディレクトリ>

# scp -p ./client.conf.pdfs1 root@slave1:/etc/pdfs/client.conf.pdfs1 <Enter>

# scp -p ./client.conf.pdfs1 root@develop:/etc/pdfs/client.conf.pdfs1 <Enter>

# scp -p ./client.conf.pdfs1 root@collaborate:/etc/pdfs/client.conf.pdfs1 <Enter>

注意

構成情報ファイルは、各サーバの“/etc/pdfs”配下に配置してください。

3.1.6 1台目のスレーブサーバとの接続確認

2台目以降のスレーブサーバを構築する前に、マスタサーバと導入済みの1台目のスレーブサーバとの接続が正常に行えることを確認

します。

1. マスタサーバ(プライマリ)にログインしていない場合は、root 権限でログインします。

2. 1台目のスレーブサーバとの接続確認用に、スレーブサーバ定義ファイル(/etc/opt/FJSVbdpp/conf/slaves)を編集するため、ス

レーブサーバ定義ファイルを一旦、バックアップします。

# cp /etc/opt/FJSVbdpp/conf/slaves /etc/opt/FJSVbdpp/conf/slaves.bak

3. スレーブサーバ定義ファイルを編集し、接続確認対象のスレーブサーバのみを残して、他のスレーブサーバを削除します。

編集前：

# cat /etc/opt/FJSVbdpp/conf/slaves

slaves1,slaves2,slaves3,slaves4,slaves5

編集後：

# cat /etc/opt/FJSVbdpp/conf/slaves

slaves1

4. “bdpp_changeslaves コマンド”を実行して、スレーブサーバ定義ファイルの変更を反映します。

“bdpp_changeslaves コマンド”の詳細は、「A.1.3 bdpp_changeslaves」を参照してください。

# /opt/FJSVbdpp/bin/bdpp_changeslaves <Enter>

5. Interstage Big Data Parallel Processing Server の Hadoop を起動します。

マスタサーバに root 権限でログインし、“bdpp_start コマンド”で、Interstage Big Data Parallel Processing Server の Hadoop を起

動します。

“bdpp_start コマンド” の詳細は、「A.1.11 bdpp_start」を参照してください。

# /opt/FJSVbdpp/bin/bdpp_start

6. Interstage Big Data Parallel Processing Server の状態表示で、対象のスレーブサーバ上で TaskTracker が起動されているか確

認します。

対象のスレーブサーバのシステムが起動されていることを確認してから、マスタサーバで“bdpp_stat コマンド”を使用して、InterstageBig Data Parallel Processing Server の Hadoop の状態を表示します。

“bdpp_stat コマンド”の詳細は、「A.1.12 bdpp_stat」を参照してください。

# /opt/FJSVbdpp/bin/bdpp_stat -all

cluster mapred 30595 jobtracker

slave1 mapred 11381 tasktracker ← slave1上でTaskTrackerが起動されていることを確認

bdpp: INFO : 003: bdpp Hadoop JobTracker is alive.

- 23 -

7. Hadoop ジョブを実行して、動作確認を行います。

Hadoop に付属するサンプル(teragen, terasort)などを利用して、Hadoop ジョブの動作確認をしてください。

Hadoop のジョブの実行については、「5.3 ジョブの実行・停止」を参照してください。

8. Interstage Big Data Parallel Processing Server の Hadoop を停止します。

“bdpp_stop コマンド”で、Interstage Big Data Parallel Processing Server の Hadoop を停止します。

“bdpp_stop コマンド” の詳細は、「A.1.13 bdpp_stop」を参照してください。

# /opt/FJSVbdpp/bin/bdpp_stop

9. マスタサーバと1台目のスレーブサーバとの接続確認の完了後、スレーブサーバ定義ファイルのバックアップを復元します。

# rm -fr /etc/opt/FJSVbdpp/conf/slaves

# cp /etc/opt/FJSVbdpp/conf/slaves.bak /etc/opt/FJSVbdpp/conf/slaves

10. “bdpp_changeslaves コマンド”を実行して、スレーブサーバ定義ファイルの変更を再反映します。


注意

Interstage Big Data Parallel Processing Server の Hadoop を起動および停止する場合、Hadoop は ssh 経由にて起動・停止を行

うため、パスワード入力のプロンプトが表示されます。

操作手間を考慮して、パスワード入力を回避したい場合には、マスタサーバの root ユーザの ssh の公開鍵をスレーブサーバお

よび開発実行環境サーバに配置し、ssh のパスワードなしの設定を行えます。詳細は、“ssh-keygen コマンド”のヘルプを参照し

てください。

3.1.7 2台目以降のスレーブサーバの追加

スレーブサーバの2台目以降は、クローニング機能を利用することによって、短時間、かつ簡単に追加することができます。

1. スレーブサーバを追加する前に Interstage Big Data Parallel Processing Server の Hadoop が動作している場合は停止します。



# /opt/FJSVbdpp/bin/bdpp_stop

2. スレーブサーバの追加手順については、「4.9.1.1 初回導入時のスレーブサーバの追加」を参照してください。


マスタサーバに root 権限でログインし、“bdpp_start コマンド”で、Interstage Big Data Parallel Processing Server の Hadoop を起

動します。



- 24 -

第4章導入と削除

本章では、本製品の導入および削除の方法について説明します。

4.1 マスタサーバへのインストール

マスタサーバへのマスタサーバ機能のインストールについて説明します。

マスタサーバは二重化構成とするためにマスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順でインストールを行います。

マスタサーバのインストールの流れを以下に示します。

図4.1 マスタサーバ機能のインストール手順

4.1.1 マスタサーバ機能のインストール

マスタサーバ機能のインストールの手順は、次のとおりです。

1. マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)間の ssh の設定

2. 構成ファイル bdpp.conf の作成

- 25 -

3. マスタサーバ機能のインストール

4.1.1.1 マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)間の ssh の設定

マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)間で、それぞれ公開鍵を作成して ssh がパスワードなしで通信できるように設定し

ておく必要があります。

公開鍵の作成については、“ssh-keygen コマンド”のヘルプを参照してください。

4.1.1.2 構成ファイル bdpp.conf の作成

マスタサーバ機能をインストールするために、構成ファイル“bdpp.conf”に対し、事前に設計した値を設定します。

構成ファイル“bdpp.conf”の詳細については、「A.2.1 bdpp.conf」の【マスタサーバ】を参照してください。

4.1.1.3 マスタサーバ機能のインストール

マスタサーバ機能は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順でインストールします。

マスタサーバ機能のインストール手順を以下に示します。

1. マスタサーバに、root 権限でログインします。

2. 環境変数“BDPP_CONF_PATH”を設定します。

環境変数“BDPP_CONF_PATH”に構成ファイル“bdpp.conf”が格納されているディレクトリを設定します。

例

構成ファイル“bdpp.conf”を“/home/data/master”ディレクトリの配下で作成した場合

# export BDPP_CONF_PATH=/home/data/master <Enter>

注意

構成ファイル“bdpp.conf”は、マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)で共通の設定である必要があります。

マスタサーバ(セカンダリ)のインストールを行う前に、マスタサーバ(プライマリ)で使用した構成ファイル“bdpp.conf”をマスタサー

バ(セカンダリ)にもコピーしておく必要があります。

3. DVD-ROM をマウントします。

DVD-ROM を DVD 装置にセットし、以下のコマンドを実行して DVD-ROM をマウントします。自動マウントデーモン(autofs)により、DVD-ROM の自動マウントを行うと、マウントオプションに“noexec”が設定されているため、インストーラの起動に失敗しま

す。

# mount /dev/hdc {DVD-ROMマウントポイント} <Enter>

4. インストーラを起動します。

“bdpp_inst”を実行してインストーラを起動してください。

# {DVD-ROMマウントポイント}/bdpp_inst <Enter>

5. "1. Master Server installation"を選択してください。

================================================================================

Interstage Big Data Parallel Processing Server

V1.0.0

All Rights Reserved, Copyright(c) FUJITSU LIMITED 2012

- 26 -

================================================================================

<< Menu >>

1. Master Server installation

2. Slave Server installation

3. Development Server installation

4. Collaboration Server installation

================================================================================

Please select number to start specified Server installation [?,q]

=> 1 <Enter>

注意

－インストーラーを起動する前に、業務 LAN 用のネットワークインターフェースにはIP アドレスが設定され、かつ、活性状態と

なっている必要があります。

－インストールに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてインストール

ログ(/var/tmp/bdpp_install.log)を参照して、失敗した原因を取り除き、再度インストールを実施してください。

4.1.2 HA クラスタのセットアップ

マスタサーバの HA クラスタのセットアップについても、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順で実施します。

HA クラスタのセットアップ手順を以下に示します。

1. マスタサーバ(プライマリ)からセットアップ作業を行います。

マスタサーバ(プライマリ)に root 権限でログインします。

2. クラスタインタコネクトの設定および活性化します。

a. /etc/sysconfig/network-scripts/ifcfg-ethX ファイルの編集

“/etc/sysconfig/network-scripts/ifcfg-ethX”ファイルの“ONBOOT”を以下のように編集します。

ONBOOT=yes

注意

ethX は、クラスタインタコネクトで使用するネットワークインターフェースです。

X は数字を指定します。

b. クラスタインタコネクトの確認

以下のコマンドにてインタコネクト用インターフェースの状態を確認します。

# ifconfig <該当インターフェース> <Enter>

c. 上記コマンド出力結果から、該当するインターフェースの状態が、“UP”になっていなければ以下のコマンドを実行して、

“UP”となることを確認します。

# ifconfig <該当インターフェース> up <Enter>

3. HA クラスタセットアップ1を実行します。

“cluster_setup”を実行します。

# /opt/FJSVbdpp/setup/cluster_setup <Enter>

- 27 -

4. 続いてマスタサーバ(セカンダリ)のセットアップ作業を行います。

マスタサーバ(セカンダリ)に root 権限でログインし、項番2から3までを実施します。

5. マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順で、HA クラスタセットアップ2を実行します。

各サーバで“cluster_setup2”を実行します。

# /opt/FJSVbdpp/setup/cluster_setup2 <Enter>

6. セットアップ完了後は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順で各サーバのシステムを再起動してください。

# shutdown -r now <Enter>

注意

HA クラスタセットアップ1および2に失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応

じてセットアップログ(/var/opt/FJSVbdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度 HA クラスタセットアップ

を実施してください。

4.1.3 DFS のセットアップ

DFS のセットアップ手順は次のとおりです。

1. 管理パーティションの作成

2. ファイルシステムの作成

3. MapReduce 実行用のユーザ ID の設定

4. スレーブサーバ、開発実行環境サーバ、および連携サーバ(DFS クライアント)情報の登録

5. マウントポイントの作成および fstab の設定

6. マウント

7. DFS ファイルシステム構成情報の生成と配付

4.1.3.1 管理パーティションの作成

管理パーティションの作成方法については、「付録D DFSの環境構築」の「D.3 管理パーティションの作成」を参照してください。

例

1. 管理パーティションの作成(マスタサーバ(プライマリ)で実施)

# pdfssetup -c /dev/disk/by-id/scsi-1FUJITSU_300000370105 <Enter>

2. 管理パーティションへのDFS 管理サーバ情報の登録(マスタサーバ(プライマリ)で実施し、マスタサーバ(セカンダリ)でも同じ操

作を実施)

# pdfssetup -a /dev/disk/by-id/scsi-1FUJITSU_300000370105 <Enter>

3. DFS 管理サーバ情報の登録確認(マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)で同じ操作を実施)

# pdfssetup <Enter>

HOSTID CIPNAME MP_PATH

80000001 master1RMS yes


# pdfssetup -p <Enter>

/dev/disk/by-id/scsi-1FUJITSU_300000370105

- 28 -

4. pdfsfrmd デーモンの起動(マスタサーバ(プライマリ)で実施し、マスタサーバ(セカンダリ)でも同じ操作を実施)

# pdfsfrmstart <Enter>

4.1.3.2 ファイルシステムの作成

ファイルシステムの作成方法については、「付録D DFSの環境構築」の「D.4 ファイルシステムの作成」を参照してください。

例

1. ファイルシステムの作成(マスタサーバ(プライマリ))

－代表パーティション：


－ファイルデータパーティション：

/dev/disk/by-id/scsi-1FUJITSU_300000370107/dev/disk/by-id/scsi-1FUJITSU_300000370108

－マスタサーバ(プライマリ)：master1

－マスタサーバ(セカンダリ)：master2

# pdfsmkfs -o dataopt=y,blocksz=8388608,data=/dev/disk/by-id/scsi-1FUJITSU_300000370107,data=/dev/disk/by-id/

scsi-1FUJITSU_300000370108,node=master1,master2 /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

2. ファイルシステム情報の確認

# pdfsinfo /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

/dev/disk/by-id/scsi-1FUJITSU_300000370106:

FSID special size Type mount

1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 25418 META -----

1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 5120 LOG -----

1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 232256 DATA -----



4.1.3.3 MapReduce 実行用のユーザID の設定

Hadoop の JobTracker、TaskTracker を mapred ユーザで実行するために、DFS にユーザを設定する必要があります。

ここでは、DFS への mapred ユーザの設定手順を説明します。

1. マスタサーバにログインしていない場合は、root 権限でログインします。

2. DFS がマウントされている場合は、アンマウントします。

# pdfsumntgl /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

3. ユーザ ID を設定します。

“pdfsadm コマンド”で MAPRED 変数に MapReduce を実行するユーザ ID を設定します。

# pdfsadm -o MAPRED=mapred /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

4. ユーザ ID が設定されていることを確認します。

# pdfsinfo -e /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

MAPRED=mapred

- 29 -

参照

設定した MAPRED 変数の削除方法など、“pdfsadm コマンド”の詳細については、「Primesoft Distributed File System for Hadoop V1ユーザーズガイド」の「コマンドリファレンス」で pdfsadm を参照してください。

4.1.3.4 スレーブサーバ、開発実行環境サーバ、および連携サーバ(DFS クライアント)情報の登録

スレーブサーバ、開発実行環境サーバ、および連携サーバ情報を接続許可リストに登録します。この接続許可リストの登録はマスタ

サーバ(プライマリ)で行いマスタサーバ(セカンダリ)に配付します。スレーブサーバ、開発実行環境サーバ、および連携サーバ(DFS クライアント)情報の登録については、「付録D DFSの環境構築」の「D.4.3 スレーブサーバ、開発実行環境サーバ、および連携サーバ情

報の登録」を参照してください。

例

1. ファイルシステムIDを確認します。









2. 接続許可リストファイルを作成します。

# cd /etc/pdfs <Enter>

# cp -p ./server.conf.sample ./server.conf.1 <Enter>

3. 接続許可リストファイルを編集し、スレーブサーバ、開発実行環境サーバ、および連携サーバ情報を定義します。

初に導入するスレーブサーバは1台ですが、ここで接続対象となるスレーブサーバ、開発実行環境サーバ、および連携サー

バを含めて、あらかじめ定義しておきます。

#

# Copyright (c) 2012 FUJITSU LIMITED. All rights reserved.

#

# /etc/pdfs/server.conf.<FSID>

#

# List of client hostnames of a file system.

#

# Notes:

# Do not describe hostnames of management servers.

#

# example:

#CLIENT nodeac1

#CLIENT nodeac2

#CLIENT nodeac3

#CLIENT nodeac4

#CLIENT nodeac5

CLIENT collaborate ← 追加する連携サーバ

CLIENT slave1 ← 追加するスレーブサーバ



- 30 -



4.1.3.5 マウントポイントの作成および fstab の設定

マウントポイントの作成

DFS として利用するストレージシステム上のディスクパーティションをマウントするマウントポイントを作成します。

マウントポイントの作成は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の両方でそれぞれ実施します。

例

“/mnt”の配下にマウントポイント“pdfs”を作成します。

# mkdir /mnt/pdfs <Enter>

fstab 設定

“/etc/fstab”に上記で作成したマウントポイントおよび DFS の代表パーティションを定義します。

fstab 設定は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の両方でそれぞれ実施します。

例

“/etc/fstab”にマウントポイント“/mnt/pdfs”および DFS の代表パーティションを定義した場合の例を示します。

LABEL=/ / ext3 defaults 1 1

LABEL=/boot /boot ext3 defaults 1 2

tmpfs /dev/shm tmpfs defaults 0 0

devpts /dev/pts devpts gid=5,mode=620 0 0

sysfs /sys sysfs defaults 0 0

proc /proc proc defaults 0 0

LABEL=SWAP-sda3 swap swap defaults 0 0

/dev/disk/by-id/scsi-1FUJITSU_300000370106 /mnt/pdfs pdfs noauto,noatime 0 0

4.1.3.6 マウント

DFS のファイルシステムをマスタサーバ(プライマリ)でマウントします。DFS のファイルシステムのマウントについては、「付録D DFSの環

境構築」の「D.4.6 マウント」を参照してください。

例

マスタサーバのマスタサーバ(プライマリ)で、DFS のファイルシステムをマウントします。

# pdfsmntgl /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

- 31 -

4.1.3.7 DFSファイルシステム構成情報の生成と配付

マスタサーバ(プライマリ)で DFS のファイルシステム構成情報ファイルを生成します。

ファイルシステムの構成情報生成の手順を、以下の環境を例に説明します。



・スレーブサーバ、開発実行環境サー

バ、および連携サーバ


1. マスタサーバ(プライマリ)に、root 権限でログインします。

2. ファイルシステム ID を確認します。

管理パーティションに記録されたファイルシステム情報から、対象となるファイルシステム ID を確認します。









3. DFS の構成情報ファイルを“pdfsmkconf コマンド”で生成します。

“pdfsmkconf コマンド”は、マスタサーバ(プライマリ)で実行します。

# pdfsmkconf <Enter>

4. 生成した構成情報ファイルの名前を、ファイルシステム ID から論理ファイルシステム名に変更します。

# cd pdfsmkconf_out <Enter>

# mv ./client.conf.1 client.conf.pdfs1 <Enter>

注意

構成情報ファイルは、“pdfsmkconf コマンド”を実行したディレクトリ配下に作成されます。

構成情報ファイルの名前は、ファイルシステム ID 部分以外 (client.conf.) を変更しないでください。

5. 構成情報ファイルをマスタサーバ(セカンダリ)に配付します。

# scp ./client.conf.pdfs1 root@master2:/etc/pdfs/client.conf.pdfs1 <Enter>

注意

構成情報ファイルは、各サーバの“/etc/pdfs”配下に配置してください。

参照

“pdfsmkconf コマンド”の詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレン

ス」で “pdfsmkconf” を参照してください。

- 32 -

4.1.4 ネットワーク二重化・Hadoop のセットアップ

ネットワーク二重化・Hadoop のセットアップについても、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順で実施します。

セットアップ手順を以下に示します。

1. スレーブサーバ定義ファイル slaves の編集

2. ネットワーク二重化・Hadoop のセットアップの実行

4.1.4.1 スレーブサーバ定義ファイル slaves の編集

接続対象となるスレーブサーバをマスタサーバ(プライマリ)上のスレーブサーバ定義ファイル(/etc/opt/FJSVbdpp/conf/slaves)を編集し

て定義します。

スレーブサーバ定義ファイル“slaves”の詳細については、「A.2.2 slaves」を参照してください。

編集したスレーブサーバ定義ファイルは、マスタサーバ(セカンダリ)にもコピーしてください。

4.1.4.2 ネットワーク二重化・Hadoop のセットアップの実行

ネットワーク二重化・Hadoop のセットアップ手順を以下に示します。


2. ネットワーク二重化・Hadoop のセットアップを実行します。

“bdpp_setup”を実行します。

# /opt/FJSVbdpp/setup/bdpp_setup <Enter>

注意

セットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップログ(/var/opt/FJSVbdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度インストールを実施してください。

参考

Hadoop のセットアップによって、本製品のデフォルトの設定として Hadoop および DFS の構成が設定されます。構成設定をチューニ

ングするには、「D.5 Hadoop 構成設定」を参照してください。

構成設定を変更した場合は、マスタサーバ(マスタサーバ(プライマリ)、およびマスタサーバ(セカンダリ))、スレーブサーバ、および開発

実行環境サーバの各構成設定情報をコピーして、同じ設定となるようにしてください。

4.2 スレーブサーバへのインストール

スレーブサーバへのスレーブサーバ機能のインストールについて説明します。

ここでは、新規にスレーブサーバを構築します。OS のみがインストールされている状態に対し、スレーブサーバ機能をインストールお

よびセットアップを行う場合の手順について説明します。

インストールおよびセットアップの手順は、次のとおりです。

1. スレーブサーバ機能のインストール

2. DFS のセットアップ

- 33 -

3. ネットワーク二重化・Hadoop のセットアップ

注意

2台目以降のスレーブサーバをクローニングによって追加導入する場合は、ここでのスレーブサーバの導入を実施する前に「2.3.2 サー

バ導入前の事前準備」－「OS導入時のファイルシステム」にも目を通して頂き、スレーブサーバのファイルシステムのタイプが“EXT3”として導入されているか確認してください。

4.2.1 スレーブサーバ機能のインストール

スレーブサーバ機能のインストールの手順は、次のとおりです。


2. スレーブサーバ機能のインストール


4. ネットワーク二重化・Hadoop のセットアップ


スレーブサーバ機能をインストールするために、構成ファイル bdpp.conf に対し、事前に設計した値を設定します。

構成ファイル bdpp.conf の詳細については、「A.2.1 bdpp.conf」の【スレーブサーバ】を参照してください。

ポイント

bdpp.conf ファイルの“BDPP_PDFS_FILESYSTEM”および”BDPP_PDFS_MOUNTPOINT”パラメーターの値には、マスタサーバの

bdpp.conf ファイルで指定したパラメーターと同じ値を指定してください。

4.2.1.2 スレーブサーバ機能のインストール

以下の手順で、スレーブサーバ機能をインストールします。

1. スレーブサーバに、root 権限でログインします。


環境変数“BDPP_CONF_PATH”に構成ファイル bdpp.conf が格納されているディレクトリを設定します。

例

構成ファイル bdpp.conf を“/home/data/slaves”ディレクトリの配下で作成した場合

# export BDPP_CONF_PATH=/home/data/slaves <Enter>


DVD-ROM を DVD 装置にセットし、以下のコマンドを実行して DVD-ROM をマウントします。自動マウントデーモン(autofs)により、DVD-ROM の自動マウントを行うと、マウントオプションに"noexec"が設定されているため、インストーラの起動に失敗しま

す。


- 34 -




5. "2. Slave Server installation"を選択してください。

================================================================================


V1.0.0


================================================================================

<< Menu >>





================================================================================


=> 2 <Enter>

6. インストール完了後は、システムを再起動してください。


注意

インストールに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてインストールログ

(/var/tmp/bdpp_install/log)を参照して、失敗した原因を取り除き、再度インストールを実施してください。


DFS のセットアップについて説明します。DFS のセットアップ手順は次のとおりです。


2. マウント




マウントポイントは、マスタサーバで指定したものと同じにしてください。

例



- 35 -

fstab 設定

“/etc/fstab”に上記で作成したマウントポイントおよび論理ファイルシステム名を定義します。

論理ファイルシステム名は、DFSファイルシステムを識別するための論理名です。マスタサーバでファイルシステムの構成情報を生成

する際に定義した名前を使用します。

例

“/etc/fstab”にマウントポイント“/mnt/pdfs”および論理ファイルシステム名“pdfs1”を定義した場合の例を示します。


LABEL=/home /home ext3 defaults 1 2







pdfs1 /mnt/pdfs pdfs _netdev 0 0

4.2.2.2 マウント

DFS ファイルシステムをマウントする前にスレーブサーバに「DFS ファイル構成情報」が配付されている必要があります。「DFS ファイル

構成情報」が配付されていない場合は、「3.1.5 DFS ファイルシステム構成情報の配付」を参照してください。

DFS ファイルシステムのマウントについては、「付録D DFSの環境構築」の「D.4.6 マウント」を参照してください。

例

スレーブサーバで、DFS ファイルシステムをマウントします。

# mount pdfs1

4.2.3 ネットワーク二重化・Hadoop のセットアップ

ネットワークの二重化およびHadoop のセットアップ手順を以下に示します。

1. スレーブサーバにログインしていない場合は、root 権限でログインします。

2. マスタサーバの「4.1.4.1 スレーブサーバ定義ファイル slaves の編集」で編集した slaves ファイルを”/etc/opt/FJSVbdpp/conf”配下にコピーします。

# scp -p root@master1:/etc/opt/FJSVbdpp/conf/slaves /etc/opt/FJSVbdpp/conf <Enter>

3. ネットワーク二重化・Hadoop のセットアップを実行します。

bdpp_setupを実行します。


- 36 -

注意

－ bdpp.conf ファイルの“ BDPP_GLS_ SERVER_CONNECT2”パラメーターの値が省略された場合は、ネットワーク二重化の

セットアップは行われず、Hadoop のセットアップのみを行います。

－セットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップ

ログ(/var/opt/FJSVbdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度セットアップを実施してください。

4.3 開発実行環境サーバへのインストール

開発実行環境サーバへの開発実行環境サーバ機能のインストールについて説明します。

開発実行環境サーバ機能のインストールおよびセットアップを行う場合の手順について説明します。

4.3.1 開発実行環境サーバ機能のインストール

開発実行環境サーバ機能のインストールの手順は、次のとおりです。


2. 開発実行環境サーバ機能のインストール


4. Hadoop のセットアップ


開発実行環境サーバ機能をインストールするために、構成ファイル bdpp.conf に対し、事前に設計した値を設定します。

構成ファイル bdpp.conf の詳細については、「A.2.1 bdpp.conf」の【開発実行環境サーバ】を参照してください。

4.3.1.2 開発実行環境サーバ機能のインストール

以下の手順で、開発実行環境サーバ機能をインストールします。

1. 開発実行環境サーバに、root 権限でログインします。


環境変数“BDPP_CONF_PATH”に構成ファイル bdpp.conf が格納されているディレクトリを設定します。

例

構成ファイルbdpp.confを“/home/data/slaves”ディレクトリの配下で作成した場合




す。


- 37 -




5. "3. Development Server installation"を選択してください。

================================================================================


V1.0.0


================================================================================

<< Menu >>





================================================================================


=> 3 <Enter>

注意






2. マウント




マウントポイントは、マスタサーバで指定したものと同じにしてください。

例



fstab設定


- 38 -

論理ファイルシステム名は、DFSファイルシステムを識別するための論理名です。マスタサーバでファイルシステムの構成情報を生成


例











4.3.2.2 マウント

DFS ファイルシステムをマウントする前にスレーブサーバに「DFS ファイル構成情報」が配付されている必要があります。「DFS ファイル

構成情報」が配付されていない場合は、「3.1.5 DFS ファイルシステム構成情報の配付」を参照してください。

DFSファイルシステムのマウントについては、「付録D DFSの環境構築」の「D.4.6 マウント」を参照してください。

例

スレーブサーバで、DFSファイルシステムをマウントします。

# mount pdfs1

Hadoop のセットアップの実行

Hadoop のセットアップ手順を以下に示します。

1. 開発実行環境サーバにログインしていない場合は、root 権限でログインします。

2. マスタサーバの「4.1.4.1 スレーブサーバ定義ファイル slaves の編集」で編集した slaves ファイルを”/etc/opt/FJSVbdpp/conf”配下にコピーします。

# scp -p root@master1:/etc/opt/FJSVbdpp/conf/slaves /etc/opt/FJSVbdpp/conf <Enter>

3. Hadoop のセットアップを実行します。

bdpp_setup を実行します。


注意

セットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップログ(/var/opt/FJSVbdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度セットアップを実施してください。

- 39 -

4.4 連携サーバへのインストール

連携サーバへの連携サーバ機能のインストールについて説明します。

連携サーバ機能をインストールおよびセットアップを行う場合の手順について説明します。


1. 連携サーバ機能のインストール

2. DFSのセットアップ

4.4.1 連携サーバ機能のインストール

連携サーバ機能のインストールの手順は、次のとおりです。


2. 連携サーバ機能のインストール


連携サーバ機能をインストールするために、構成ファイル“bdpp.conf”に対し、事前に設計した値を設定します。

構成ファイル“bdpp.conf”の詳細については、「A.2.1 bdpp.conf」の【連携サーバ】を参照してください。

4.4.1.2 連携サーバ機能のインストール

以下の手順で、連携サーバ機能をインストールします。

1. 連携サーバに、root 権限でログインします。


環境変数“BDPP_CONF_PATH”に構成ファイルbdpp.confが格納されているディレクトリを設定します。

例

構成ファイルbdpp.confを“/home/data/slaves”ディレクトリの配下で作成した場合




す。





5. "4. Collaboration Server installation"を選択してください。

================================================================================


- 40 -

V1.0.0


================================================================================

<< Menu >>





================================================================================


=> 4 <Enter>

注意






2. hadoop グループおよび mapred ユーザの登録

3. マウント

4.4.2.1 マウントポイントの作成およびfstabの設定



例



fstab設定


論理ファイルシステム名は、DFS ファイルシステムを識別するための論理名です。マスタサーバでファイルシステムの構成情報を生成


例






- 41 -






4.4.2.2 hadoop グループおよび mapred ユーザの登録

hadoop グループおよび mapred ユーザを登録します。

hadoop グループの GID および mapred ユーザの UID は、マスタサーバの hadoop グループの GID および mapred ユーザの UID と同じ値である必要があります。

マスタサーバの“/etc/passwd”ファイルを確認して、同じ値となるように登録してください。

例

1. マスタサーバで登録されているグループのうち、hadoop グループを確認する。

# cat /etc/group <Enter>

・・・中略・・・

hadoop:x:123:hbase

hbase:x:503:

bdppgroup:x:1500:

2. マスタサーバで登録されているユーザのうち、mapred ユーザを確認する。

# cat /etc/passwd <Enter>

・・・中略・・・

bdppuser1:x:1500:1500::/home/bdppuser1:/bin/bash

bdppuser2:x:1501:1500::/home/bdppuser2:/bin/bash

mapred:x:202:123:Hadoop MapReduce:/tmp:/bin/bash

hdfs:x:201:123:Hadoop HDFS:/tmp:/bin/bash

hbase:x:203:503::/tmp:/bin/bash

3. hadoop グループを登録する。

# groupadd -g 123 hadoop

4. mapred ユーザを登録する。

# useradd -g hadoop -u 202 -c "Hadoop MapReduce" -d /tmp -s /bin/bash mapred

注意

連携サーバで、すでに GID および UID が登録済となっているために別の GID、UID に変更する必要がある場合には、マスタサー

バ、スレーブサーバ、および開発実行環境サーバに登録されている hadoop グループの GID、mapred ユーザの UID もすべて同じ値

となるように変更してください。

4.4.2.3 マウント

DFS ファイルシステムをマウントする前に連携サーバに「DFS ファイル構成情報」が配付されている必要があります。

「DFS ファイル構成情報」が配付されていない場合は、「3.1.5 DFS ファイルシステム構成情報の配付」を参照してください。

- 42 -

DFS ファイルシステムのマウントについては、「付録D DFSの環境構築」の「D.4.6 マウント」を参照してください。

例

スレーブサーバで、DFS ファイルシステムをマウントします。

# mount pdfs1 <Enter>

4.5 マスタサーバからのアンインストール

マスタサーバからのマスタサーバ機能のアンインストールについて説明します。

マスタサーバのアンインストールの流れを以下に示します。

図4.2 マスタサーバ機能のアンインストール手順

4.5.1 ネットワーク二重化のアンセットアップ

ネットワーク二重化のアンセットアップ手順を以下に示します。


- 43 -

2. ネットワーク二重化のアンセットアップを実行します。

bdpp_unsetup を実行します。

# /opt/FJSVbdpp/setup/bdpp_unsetup <Enter>

注意

アンセットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップ

ログ(/var/opt/FJSVbdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度アンセットアップを実施してください。

4.5.2 DFS のアンセットアップ

DFS のアンセットアップについては、「付録E DFS の運用変更」の「E.1 ファイルシステムの削除」を参照してください。

4.5.3 HA クラスタのアンセットアップ

HA クラスタのアンセットアップ手順を以下に示します。


2. アンセットアップを実行します。

“bdpp_cluster_unsetup”を実行します。

# /opt/FJSVbdpp/setup/cluster_unsetup <Enter>

注意



4.5.4 マスタサーバ機能のアンインストール

マスタサーバ機能のアンインストール手順を以下に示します。

1. 本製品および以下に示す本製品に含まれる製品の UpdateSite 形式の修正を適用している場合は、修正を削除します。

－ PRIMECLUSTER Clusterring Base

－ PRIMECLUSTER GLS

－ Primesoft Distributed File System for Hadoop

－ ServerView Resource Orchestrator Virtual Edition (マスタサーバ(プライマリ)のみ)

参照

詳細は、「UpdateAdvisor(ミドルウェア)」の help および各修正パッチの修正情報ファイルを参照してください。


- 44 -

3. システム起動時にシングルユーザモードで起動するようにデフォルトランレベルを変更します。

“/etc/inittab”ファイルの id エントリーの内容を 1 に変更してください。

注意

アンインストール後は元に戻すため、変更前のデフォルトランレベルを記録しておいてください。

# Default runlevel. The runlevels used are:

# 0 - halt (Do NOT set initdefault to this)

# 1 - Single user mode

# 2 - Multiuser, without NFS (The same as 3, if you do not have networking)

# 3 - Full multiuser mode

# 4 - unused

# 5 - X11

# 6 - reboot (Do NOT set initdefault to this)

#

id:1:initdefault: ← この行を変更してください。

4. シングルユーザモードでリブートします。


5. アンインストーラーを実行します。

ネットワークインターフェースを起動してから、”bdpp_mgruninstall”を実行します。

# /etc/init.d/network start <Enter>

# /opt/FJSVbdpp/manager/bdpp_mgruninstall <Enter>

6. システム起動時のデフォルトランレベルを元に戻します。

3. の手順で記録しておいた、デフォルトランレベルに戻してください。






# 4 - unused

# 5 - X11


#

id:5:initdefault: ← この行を元に戻してください。

注意

アンインストールに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてインストール

ログ(/var/tmp/bdpp_install.log)を参照して、失敗した原因を取り除き、再度アンインストールを実施してください。

注意

本製品では、本製品および関連製品のパッチ適用に備えて、「UpdateAdvisor(ミドルウェア)」のインストールも行っていますが、本製品

のアンインストーラーでは、「UpdateAdvisor(ミドルウェア)」のアンインストールは行いません。

「UpdateAdvisor(ミドルウェア)」のアンインストールについては、「UpdateAdvisor(ミドルウェア)」の help を参照してください。

- 45 -

4.5.5 アンインストール後の作業

ここでは、マスタサーバのアンインストール後の作業について説明します。

4.5.5.1 アンインストール後に残るディレクトリおよびファイルについて

アンインストール後にディレクトリおよびファイルが残る場合があります。

以下に示すディレクトリ(ディレクトリ配下に存在するディレクトリやファイルも含みます)およびファイルを削除してください。

・ /opt/FJSVbdpp

・ /etc/opt/FJSVbdpp

・ /etc/opt/FJSVwvbs

・ /etc/pdfs

・ /var/opt/FJSVbdpp

・ /var/opt/FJSVpdfs

4.5.5.2 「インストールと管理(ミドルウェア)」のアンインストール

「インストールと管理(ミドルウェア)」は、富士通ミドルウェア製品共通のツールです。

ここでは、「インストールと管理(ミドルウェア)」のアンインストール方法や注意事項について説明します。

「インストールと管理(ミドルウェア)」をアンインストールする場合は、以下の手順を実施してください。

1. 「インストールと管理(ミドルウェア)」を起動して他の富士通ミドルウェア製品が残っていないか確認します。起動方法は以下のと

おりです。

# /opt/FJSVcir/cir/bin/cimanager.sh [-c] <Enter>

-c:コマンドインターフェース

注意

コマンドのパスに空白を含めると起動に失敗しますので、空白を含むディレクトリに移動させないでください。

参考

コマンドモードで起動する場合は、-c を指定してください。-c の指定がない場合は、GUI 環境がある場合は GUI モード、GUI環境がない場合はコマンドモードで起動されます。

2. インストールされている富士通ミドルウェア製品が何もない場合、下記のアンインストールコマンドを実行します。

# /opt/FJSVcir/bin/cirremove.sh <Enter>

3. "本ソフトウェアは富士通製品共通のツールです。本当に削除しますか？[y/n]:"と表示されたら、「y」を入力して継続します。

数秒ほどでアンインストールが完了します。

4. アンインストール完了後、以下のディレクトリおよびその配下のファイルが残りますので削除します。

－ /var/opt/FJSVcir/cir/internal

－ /var/opt/FJSVcir/cir/logs

－ /var/opt/FJSVcir/cir/meta_db

- 46 -

4.5.6 システムの再起動

アンインストール完了後、マスタサーバにログインしていない場合は、root 権限でログインして、システムの再起動を行います。


4.6 スレーブサーバからのアンインストール

スレーブサーバからのスレーブサーバ機能のアンインストールについて説明します。


1. ネットワーク二重化・Hadoop のアンセットアップ

2. DFS のアンセットアップ

3. スレーブサーバ機能のアンインストール

4.6.1 ネットワーク二重化・Hadoop のアンセットアップ

ネットワーク二重化のアンセットアップ手順を以下に示します。


2. セットアップを実行します。

“bdpp_unsetup”を実行します。

# /opt/FJSVbdpp/setup/bdpp_unsetup <Enter>

注意





4.6.3 スレーブサーバ機能のアンインストール

スレーブサーバ機能のアンインストール手順を以下に示します。


－ PRIMECLUSTER GLS


- 47 -

参照

詳細は、UpdateAdvisor(ミドルウェア)の help および各修正パッチの修正情報ファイルを参照してください。




注意







# 4 - unused

# 5 - X11


#




5. アンインストールを実行します。

ネットワークインターフェースを起動してから、“bdpp_agtuninstall”を実行します。


# /opt/FJSVbdpp/agent/bdpp_agtuninstall <Enter>








# 4 - unused

# 5 - X11


#


注意


ログ(/var/opt/FJSVbdpp/log/bdpp_install.log)を参照して、失敗した原因を取り除き、再度アンインストールを実施してください。

- 48 -

注意



「UpdateAdvisor(ミドルウェア)」のアンインストールについては、「UpdateAdvisor(ミドルウェア)」のhelpを参照してください。


ここでは、スレーブサーバのアンインストール後の作業について説明します。




・ /opt/FJSVbdpp


・ /etc/pdfs



4.6.4.2 「インストールと管理(ミドルウェア)」のアンインストール

詳細は、「4.5.5.2 「インストールと管理(ミドルウェア)」のアンインストール」を参照してください。




4.7 開発実行環境サーバからのアンインストール

開発実行環境サーバからの開発実行環境サーバ機能のアンインストールについて説明します。



4.7.2 開発実行環境サーバ機能のアンインストール

アンインストール手順を以下に示します。

- 49 -



参照


2. 開発実行環境サーバにログインしていない場合は、root 権限でログインします。



注意







# 4 - unused

# 5 - X11


#





ネットワークインターフェースを起動してから、“bdpp_devuninstall”を実行します。


# /opt/FJSVbdpp/agent/bdpp_devuninstall <Enter>








# 4 - unused

# 5 - X11


#


注意



- 50 -

注意



「UpdateAdvisor(ミドルウェア)」のアンインストールについては、「UpdateAdvisor(ミドルウェア)」のhelpを参照してください。


ここでは、開発実行環境サーバのアンインストール後の作業について説明します。




・ /opt/FJSVbdpp


・ /etc/pdfs






4.8 連携サーバからのアンインストール

連携サーバからの連携サーバ機能のアンインストールについて説明します。


1. DFSのアンセットアップ

2. アンインストール



4.8.2 連携サーバ機能のアンインストール

アンインストール手順を以下に示します。

- 51 -



参照


2. 連携サーバにログインしていない場合は、root 権限でログインします。



注意







# 4 - unused

# 5 - X11


#





ネットワークインターフェースを起動してから、“bdpp_coouninstall”を実行します。


# /opt/FJSVbdpp/agent/bdpp_coouninstall <Enter>








# 4 - unused

# 5 - X11


#


注意



- 52 -

注意



「UpdateAdvisor(ミドルウェア)」のアンインストールについては、「UpdateAdvisor(ミドルウェア)」の help を参照してください。


ここでは、連携サーバのアンインストール後の作業について説明します。




・ /opt/FJSVbdpp


・ /etc/pdfs






4.9 スレーブサーバの追加・削除

ここでは、スレーブサーバの追加および削除を行う方法について説明します。

4.9.1 スレーブサーバの追加

スレーブサーバをクローニングによって追加する場合、スレーブサーバの導入タイミングの違いによって、次の2つのパターンがありま

す。

1. 初回導入時のスレーブサーバの追加

初回導入時、1台のスレーブサーバを導入してから、そのクローニングイメージを採取して、他の導入予定の複数台のスレーブ

サーバへクローニングによって追加導入を行う。

2. 運用開始後のスレーブサーバの追加

運用開始後、さらにスレーブサーバの追加導入を行う。

それぞれのパターンについての手順を以降で説明します。

- 53 -

4.9.1.1 初回導入時のスレーブサーバの追加

初回導入時にスレーブサーバを追加する場合の手順を以下に示します。

1. 1台目のスレーブサーバの導入

「3.1.2 1台目のスレーブサーバの導入」を参照して、追加導入するスレーブサーバの1台目(クローニングイメージを採取するス

レーブサーバ)を導入してください。

2. スレーブサーバの登録

3. ネットワークパラメーター自動設定機能の登録

4. クローニングイメージの作成

5. クローニング

6. DFS クライアントの追加／スケールアウト

4.9.1.1.1 スレーブサーバの登録

クローニング作業を行うために、導入予定のすべてのスレーブサーバをマスタサーバに登録します。

スレーブサーバの登録手順を以下に示します。

1. クローニングサーバ定義ファイル(clone.conf)を作成します。クローニングイメージを採取するスレーブサーバ、および導入予定

のクローニングイメージの配付対象となるすべてのスレーブサーバをクローニングサーバ定義ファイルに指定します。

ここでは、以下の構成を例に説明します。

・クローニングイメージを採取するスレーブサーバ：slave1

・その他の導入予定のスレーブサーバ：slave2、slave3、slave4、slave5

クローニングサーバ定義ファイルの詳細は、「A.2.3 clone.conf」を参照してください。

例

クローニングサーバ定義ファイル(clone.conf)の定義例：

RCXCSV,V3.4

[Server]

operation,chassis_name,slot_no,server_name,ip_address,mac_address,second_mac_address,snmp_community_name,ipmi_ip_ad

dress,ipmi_user_name,ipmi_passwd,ipmi_passwd_enc,admin_lan1_nic_number,admin_lan2_nic_number,admin_lan_nic_redundan

cy

new,,,slave1, 10.10.10.13,A0:A0:A0:A0:A0:A1,,public,192.168.1.13,admin,admin,plain,,,OFF ← 登録対象サーバ





[ServerAgent]

operation,server_name

new,slave1 ← クローニングイメージの採取対象サーバ

2. マスタサーバ(プライマリ)に、root 権限でログインします。

3. “bdpp_addserver コマンド”を実行し、スレーブサーバの登録を行います。

“bdpp_addserver コマンド”の詳細は、「A.1.1 bdpp_addserver」を参照してください。

# /opt/FJSVbdpp/bin/bdpp_addserver {clone.confファイルの格納ディレクトリ}/clone.conf <Enter>

4. スレーブサーバが登録できたことを“bdpp_listserver コマンド”で確認します。

“bdpp_listserver コマンド”の詳細は、「A.1.8 bdpp_listserver」を参照してください。

# /opt/FJSVbdpp/bin/bdpp_listserver <Enter>

- 54 -

例

スレーブサーバの登録状況の確認例：

> /opt/FJSVbdpp/bin/bdpp_listimage <Enter>

PHYSICAL_SERVER SERVER ADMIN_IP STATUS MAINTENANCE

--------------- ------ -------- ------ -----------

slave1 slave1 192.168.1.21 normal OFF

slave2 - 192.168.1.22 stop -

slave3 - 192.168.1.23 stop -

slave4 - 192.168.1.24 stop -

slave5 - 192.168.1.25 stop -

4.9.1.1.2 ネットワークパラメーター自動設定機能の登録

事前にすべてのスレーブサーバ分の業務 LAN のネットワークパラメーターの定義を行い、クローニングイメージを採取することで、ク

ローニングイメージを配付する際にスレーブサーバの業務 LAN の設定を自動的に行うことができます。

ここでは、ネットワークパラメーターの自動設定のための登録方法について説明します。

ネットワークパラメーター自動設定機能の登録手順を以下に示します。

1. マスタサーバ（プライマリ）で、ネットワークパラメーター自動設定用の定義ファイル (FJSVrcx.conf、ipaddr.conf)を作成します。

定義ファイル(FJSVrcx.conf)の詳細は、「A.2.4 FJSVrcx.conf」を参照してください。

定義ファイル(ipaddr.conf)には、クローニングイメージを採取するスレーブサーバ、およびクローニングイメージを配付するすべ

てのスレーブサーバの業務 LAN の情報を指定します。詳細は、「A.2.5 ipaddr.conf」を参照してください。

2. マスタサーバ（プライマリ）で、クローニングイメージを採取するスレーブサーバの管理 LAN の IP アドレス、定義ファイル

(FJSVrcx.conf)、および定義ファイル (ipaddr.conf)を指定して、“bdpp_lanctl コマンド”を実行します。

“bdpp_lanctl コマンド”の詳細は、「A.1.6 bdpp_lanctl」を参照してください。

# /opt/FJSVbdpp/bin/bdpp_lanctl <管理 LAN の IP アドレス> <FJSVrcx.confファイル> <ipaddr.conf ファイル> <Enter>

4.9.1.1.3 クローニングイメージの作成

導入済みのスレーブサーバから、クローニングイメージを作成します。

クローニングイメージの作成対象となるサーバとクローニングの対象サーバは、以下の条件を満たしている必要があります。条件が異

なる場合は、条件に当てはまるグループごとにクローニングイメージを作成する必要があります。

・モデル名が同じであること。

・オプションカードおよび拡張ボードとその搭載位置など、ハードウェア構成が同じであること。

・「サーバの BIOS 設定」に従って同じ BIOS 設定がされていること。

・ LAN、SAN の接続が同じ冗長化方式、冗長パス数で、同一のネットワーク装置やストレージ装置にアクセスできること。

なお、カスケード接続された LAN スイッチやファイバーチャネルスイッチは、1台の装置とみなします。

- 55 -

クローニングイメージの作成手順を以下に示します。

1. クローニングイメージの作成の前に、クローニングイメージを採取するスレーブサーバが、マスタサーバと正常に接続できることを

確認しておく必要があります。

確認方法については、「3.1.6 1台目のスレーブサーバとの接続確認」を参照してください。

2. マスタサーバ(マスタサーバ(プライマリ))にログインしていない場合は、root 権限でログインします。

3. イメージ格納ディレクトリを変更する場合は、“bdpp_changeimagedir コマンド”を実行します。

“bdpp_changeimagedir コマンド”の詳細は、「A.1.2 bdpp_changeimagedir」を参照してください。

# /opt/FJSVbdpp/bin/bdpp_changeimagedir {イメージ格納ディレクトリ名} <Enter>

4. 採取対象のサーバ名とクローニングイメージ名を指定した“bdpp_getimage コマンド”を実行します。

“bdpp_getimage コマンド”の詳細は、「A.1.5 bdpp_getimage」を参照してください。

# /opt/FJSVbdpp/bin/bdpp_getimage {サーバ名} {クローニングイメージ名} <Enter>

5. クローニングイメージが採取できたことを“bdpp_listimage コマンド”で確認します。

“bdpp_listimage”コマンドの詳細は、「A.1.7 bdpp_listimage」を参照してください。

# /opt/FJSVbdpp/bin/bdpp_listimage <Enter>

例

クローニングイメージの採取状況の確認例：

> /opt/FJSVbdpp/bin/bdpp_listimage <Enter>

IMAGEDIRECTORY

--------------

imagedir: /data/imagedir

NAME VERSION CREATIONDATE COMMENT

---- ------- ------------ -------

RX200img 1 2012/04/20-22:39:59 -

RX300img 1 2012/04/20-22:41:13 -

6. 採取対象のスレーブサーバをリブートします。


- 56 -

4.9.1.1.4 クローニング

クローニングの手順を以下に示します。

1. マスタサーバ(マスタサーバ(プライマリ))にログインしていない場合は、root 権限でログインします。

2. イメージの配付先のサーバとクローニングイメージ名を指定した“bdpp_deployimage コマンド”を実行します。

“bdpp_deployimage コマンド”の詳細は、「A.1.4 bdpp_deployimage」を参照してください。

# /opt/FJSVbdpp/bin/bdpp_deployimage {サーバ名} {クローニングイメージ名} <Enter>

3. イメージの配付先のスレーブサーバにログインしていない場合は、root 権限でログインします。

4. イメージ配付先のスレーブサーバのiscsiイニシエータネームおよびIPアドレスを設定します。設定方法については、「ETERNUSDX ディスクアレイユーザーズガイド」を参照してください。

5. イメージ配付先のスレーブサーバのシステムを再起動します。


4.9.1.1.5 スレーブサーバ・連携サーバの追加／スケールアウト

スレーブサーバ・連携サーバの追加／スケールアウトについては、「付録E DFS の運用変更」の「E.3 スレーブサーバの追加/スケール

アウト」を参照してください。

4.9.1.2 運用開始後のスレーブサーバの追加

運用開始後にさらにスレーブサーバを追加する場合の手順を説明します。

以下に示す手順のうち、手順1から6までは、「4.9.1.1 初回導入時のスレーブサーバの追加」の手順1から6と同じです。

ここでは、「初回導入時のスレーブサーバの追加」で構築済みの構成に加えて、さらに追加導入する次の構成をもとに、追加する定義

情報などの差分について説明します。

・「初回導入時のスレーブサーバの追加」で導入済みの


：slave1、slave2、slave3、slave4、slave5

・新規に導入し、クローニングイメージを新たに採取するスレーブ

サーバ

：slave6

・その他の追加導入予定のスレーブサーバ：slave7、slave8、slave9、slave10

1. スレーブサーバの導入

「初回導入時のスレーブサーバの追加」と同様に導入してください。

2. スレーブサーバの登録

「運用開始後に登録するスレーブサーバのクローニングサーバ定義ファイルの例」にて、追加した際の定義例を示します。

操作については、「初回導入時のスレーブサーバの追加」と同様です。

3. ネットワークパラメーター自動設定機能の登録

「初回導入時のスレーブサーバの追加」と同様に操作してください。

4. クローニングイメージの作成


5. クローニング


6. DFS クライアントの追加／スケールアウト

「運用開始後に登録するスレーブサーバの接続許可リストファイルの例」にて、追加した際の定義例を示します。

操作については、「初回導入時のスレーブサーバの追加」と同様です。

- 57 -

7. スレーブサーバ定義ファイルの編集および反映

「4.9.1.2.1 スレーブサーバ定義ファイルの編集および反映」を参照してください。

運用開始後に登録するスレーブサーバのクローニングサーバ定義ファイルの例

例

クローニングサーバ定義ファイル(clone.conf)の定義例：

RCXCSV,V3.4

[Server]

operation,chassis_name,slot_no,server_name,ip_address,mac_address,second_mac_address,snmp_community_name,ipmi_ip_address

,ipmi_user_name,ipmi_passwd,ipmi_passwd_enc,admin_lan1_nic_number,admin_lan2_nic_number,admin_lan_nic_redundancy

-,,,slave1, 10.10.10.13,A0:A0:A0:A0:A0:A1,,public,192.168.1.13,admin,admin,plain,,,OFF









new,,,slave10, 10.10.10.22,A0:A0:A0:A0:A0:B0,,public,192.168.1.22,admin,admin,plain,,,OFF ← 登録対象サーバ

[ServerAgent]


new,slave6 ← クローニングイメージの採取対象サーバ

スレーブサーバの登録状況の確認例：

> /opt/FJSVbdpp/bin/bdpp_listserver <Enter>


--------------- ------ -------- ------ -----------







slave7 - 192.168.1.19 stop -

slave8 - 192.168.1.20 stop -

slave9 - 192.168.1.21 stop -

slave10 - 192.168.1.22 stop -

運用開始後に登録するスレーブサーバの接続許可リストファイルの例

例

# cat /etc/pdfs/server.conf.1 <Enter>

#


#


#


#

# Notes:


- 58 -

#

# example:

#CLIENT nodeac1

#CLIENT nodeac2

#CLIENT nodeac3

#CLIENT nodeac4

#CLIENT nodeac5

CLIENT slave1

CLIENT slave2

CLIENT slave3

CLIENT slave4

CLIENT slave5

CLIENT develop

CLIENT collaborate






4.9.1.2.1 スレーブサーバ定義ファイルの編集および反映

スレーブサーバ定義ファイルの編集および反映の手順について説明します。


2. スレーブサーバを追加する前に Interstage Big Data Parallel Processing Server の Hadoop が動作している場合は停止します。



# /opt/FJSVbdpp/bin/bdpp_stop <Enter>

3. 追加するスレーブサーバをスレーブサーバ定義ファイル(/etc/opt/FJSVbdpp/conf/slaves)、およびTaskTracker 定義ファイル(/etc/hadoop/mapred.include)をそれぞれ編集して定義します。

スレーブサーバ定義ファイルの詳細については、「A.2.2 slaves」を参照してください。

例

スレーブサーバ定義ファイルの定義例：

slave1,slave2,slave3,slave4,slave5,slave6,slave7,slave8,slave9,slave10

TaskTracker 定義ファイルの定義例：

slave1

slave2

slave3

slave4

slave5

slave6

slave7

slave8

slave9

slave10

(注) 下線部は、追加するスレーブサーバを示します。

- 59 -




5. 変更したファイルをマスタサーバ(セカンダリ)、スレーブサーバ、および開発実行環境サーバにコピーします。

# scp -p /etc/opt/FJSVbdpp/conf/slaves root@master2:/etc/opt/FJSVbdpp/conf <Enter>

# scp -pr /etc/opt/FJSVbdpp/data root@master2:/etc/opt/FJSVbdpp/ <Enter>

# scp -p /etc/hadoop/mapred.include root@master2:/etc/hadoop <Enter>

同様にスレーブサーバ、および開発実行環境サーバにも変更したファイルをコピーします。


“bdpp_start コマンド”で、Interstage Big Data Parallel Processing Server の Hadoop を起動します。



7. Interstage Big Data Parallel Processing Server の状態表示で、対象のスレーブサーバ上で TaskTracker が起動されているか確

認します。

対象のスレーブサーバのシステムが起動されていることを確認してから、マスタサーバで“bdpp_stat コマンド”を使用して、InterstageBig Data Parallel Processing Server の Hadoop の状態を表示します。


# /opt/FJSVbdpp/bin/bdpp_stat -all


slave1 mapred 29615 tasktracker











4.9.2 スレーブサーバの削除

スレーブサーバを削除する手順を以下に示します。

1. スレーブサーバ定義ファイルの編集および反映

2. DFS クライアントの削除

4.9.2.1 スレーブサーバ定義ファイルの編集および反映

スレーブサーバ定義ファイルの編集および反映の手順について説明します。


2. スレーブサーバを削除する前に Interstage Big Data Parallel Processing Server の Hadoop が動作している場合は停止します。



# /opt/FJSVbdpp/bin/bdpp_stop <Enter>

3. スレーブサーバ定義ファイル(/etc/opt/FJSVbdpp/conf/slaves) 、およびTaskTracker 定義ファイル(/etc/hadoop/mapred.include)から削除するスレーブサーバを編集により削除します。

スレーブサーバ定義ファイルの詳細については、「A.2.2 slaves」を参照してください。

- 60 -




5. 変更したファイルをマスタサーバ(セカンダリ)、スレーブサーバ、および開発実行環境サーバにコピーします。

# scp -p /etc/opt/FJSVbdpp/conf/slaves root@master2:/etc/opt/FJSVbdpp/conf <Enter>

# scp -pr /etc/opt/FJSVbdpp/data root@master2:/etc/opt/FJSVbdpp/ <Enter>

# scp -p /etc/hadoop/mapred.include root@master2:/etc/hadoop <Enter>

同様にスレーブサーバ、および開発実行環境サーバにも変更したファイルをコピーします。


“bdpp_start コマンド”で、Interstage Big Data Parallel Processing Server の Hadoop を起動します。



4.9.2.2 DFS クライアントの削除

DFS クライアントの削除については、「付録E DFS の運用変更」の「E.4 スレーブサーバの削除」を参照してください。

- 61 -

第5章運用

本章では、本製品の運用の方法について説明します。

なお、本製品の運用は Apache Hadoop の運用仕様に加え、以下の運用機能を提供しています。

・マスタサーバおよびスレーブサーバの起動/停止

・マスタサーバ二重化

5.1 Interstage Big Data Parallel Processing Server の起動・停止

5.1.1 Interstage Big Data Parallel Processing Server の起動

マスタサーバ(プライマリ)、マスターサーバ(セカンダリ)の順でサーバの起動を行ったあとで、スレーブサーバ、および開発実行環境

サーバをそれぞれ起動します。連携サーバについては、マスタサーバの起動が完了したのちに、DFS のマウントが可能となります。

マスタサーバおよびすべてのスレーブサーバが起動した段階で、Interstage Big Data Parallel Processing Server の Hadoop の起動が

可能となります。

Interstage Big Data Parallel Processing Server の Hadoop の起動は、“bdpp_start コマンド”で行います。

“bdpp_start コマンド”の詳細は、「A.1.11 bdpp_start」を参照してください。

注意

マスタサーバは HA クラスタ構成となっており、マスタサーバ上の Apache Hadoop の”JobTracker”を直接、起動または停止することは

できません。

Interstage Big Data Parallel Processing Server の Hadoop の起動または停止する場合は必ず、“bdpp_start コマンド”または“bdpp_stopコマンド”を使用してください。

Apache Hadoop の利用方法については、「Hadoop プロジェクトトップページ http://hadoop.apache.org/」を参照してください。

Interstage Big Data Parallel Processing Server の起動を行うと、次に示す Hadoop のプロセスが起動されます。

- 62 -

http://hadoop.apache.org/

・マスタサーバ

－ JobTracker

・スレーブサーバ

－ TaskTracker

5.1.2 Interstage Big Data Parallel Processing Server の停止

Interstage Big Data Parallel Processing Server の停止は、“bdpp_stop コマンド”で行います。

コマンドの実行によって、マスタサーバおよびスレーブサーバで動作する Hadoop プロセスが停止されます。

“bdpp_stop コマンド”の詳細は、「A.1.13 bdpp_stop」を参照してください。

さらに、各サーバを停止する場合は、連携サーバで DFS をアンマウントしたのちに、開発実行環境サーバ、スレーブサーバ、マスタ

サーバ(セカンダリ)、およびマスターサーバ(プライマリ)の順でサーバの停止を行ってください。

注意

マスタサーバは HA クラスタ構成となっており、マスタサーバ上の Apache Hadoop の”JobTracker”を直接、起動または停止することは

できません。Interstage Big Data Parallel Processing Server の Hadoop の起動または停止する場合は必ず、“bdpp_start コマンド”また

は“bdpp_stop コマンド”を使用してください。

Apache Hadoop の利用方法については、「Hadoop プロジェクトトップページ http://hadoop.apache.org/」などを参照してください。

5.1.3 Interstage Big Data Parallel Processing Server の状態表示

Interstage Big Data Parallel Processing Server の状態表示は、“bdpp_stat コマンド”で行います。

コマンドの実行によって、マスタサーバ上で動作する Hadoop プロセスの状態を表示することができます。


- 63 -

http://hadoop.apache.org/

5.2 アプリケーションの開発と登録

ここでは、Hadoop で実行するアプリケーションの開発手法について説明します。

5.2.1 アプリケーションの開発環境

開発実行環境サーバ上にインストールされる Hadoop、Hive、Pig、HBase の各機能が提供するAPIや言語インターフェースを利用し

て、アプリケーションを開発します。

Hadoop の API を利用した Java プログラム開発を行う場合は、Eclipse および Eclipse の Hadoop 専用プラグインを利用することによっ

て、開発容易性が向上します。

5.2.2 アプリケーションの開発

従来、大量データの並列分散処理を実現するためには、同期処理などの複雑なプログラムを作成する必要がありました。Hadoop では、並列分散処理を考慮したプログラムを作成する必要はありません。利用者は、MapReduce アルゴリズムにしたがって Map 処理と

Reduce 処理の2つをアプリケーションとして作成するだけです。データの分散格納・抽出や作成した処理の並列実行は、すべて Hadoopが担っています。

5.2.2.1 アプリケーションの概要

Hadoop 上で処理を行うためのアプリケーションには、以下の種類があります。

・ MapReduce アプリケーション

Hadoop の MapReduce フレームワーク上で動作する Java プログラムを、Hadoop API を利用して開発します。

・ Hive クエリ

Hadoop API を利用することなく、The Apache Software Foundation で開発された Apache Hive を利用して、SQL 相当の言語

(HiveQL)で記述するクエリです。

・ Pigスクリプト

Hive と同様に、Hadoop API を利用することなく、SQL言語相当の機能を有する Pig Latin 言語を利用したスクリプトを記述します。

・ HBase アプリケーション

HBase に対するデータ入出力、HBase 上のデータに対する操作を行う Java プログラムを、HBase API を利用して開発します。

以降、MapReduce アプリケーションの開発について説明します。その他のアプリケーション開発については、Apache Hadoop プロジェ

クトのWebページ等を参照してください。

5.2.2.2 アプリケーションの設計

アプリケーションの処理ロジックを設計します。並列分散処理を行うために従来設計が必要であった、入力ファイル分割やマージなど

の処理は、Hadoop のフレームワークが実行するため設計が不要です。そのため、業務に必要なロジックの設計に専念することができ

ます。

MapReduce アプリケーションの場合、アプリケーション開発者は Hadoop API を理解し、MapReduce フレームワークに従った設計が必

要となります。主に、以下の設計を行う必要があります。

・ Key、Value に該当する項目の決定

・ Map 処理の内容

・ Reduce 処理の内容

- 64 -

5.2.2.3 アプリケーション作成

アプリケーションを設計した結果をもとに、アプリケーションを作成します。

MapReduce アプリケーション

通常の Java アプリケーションの作成と同様に、Javaプロジェクトを作成し、コーディングを行います。

Eclipse のビルドパスに Hadoop の jar ファイルを追加することで、Hadoop API を使用することができます。

なお、hadoop -core-xxx.jar の指定は必須です(「xxx」には Hadoop のバージョンが入ります)。なお、その他の Hadoopのライブラリは、

使用する Hadoop API に応じて適宜指定してください。

5.2.2.4 MapReduce アプリケーション開発のためのリファレンス

MapReduce アプリケーションのリファレンスについては、以下に示す Apache Hadoop が提供する情報を参照してください。

Hadoop API を利用する場合

・ Hadoop プロジェクトトップページ

http://hadoop.apache.org/mapreduce/

－スタートガイド

－リリース情報

－ドキュメント

・ MapReduce プロジェクトページ

http://hadoop.apache.org/mapreduce/

・ MapReduce チュートリアル

http://hadoop.apache.org/common/docs/r1.0.1/mapred_tutorial.html

※上記の MapReduce チュートリアルで記載されているサンプル、および説明は、パッケージ「org.apache.hadoop.mapred」を基本

に記載されていますが、これらのパッケージは現在のステーブルな Hadoop のバージョンでは非推奨になっており、チュートリアル

で書いてある内容が動かない場合もあるため、参考程度に参照してください。

5.2.3 アプリケーションの登録

作成した Java プログラム（jar ファイル）を、開発実行環境サーバ上の任意のディレクトリに格納します。

5.3 ジョブの実行・停止

Hadoop ジョブの実行、停止、状態表示などの操作は、Hadoop が提供するコマンドを利用して行うことができます。

Hadoop および Hadoop を動作させるためのシステムや Java のチューニング、Hadoop コマンド仕様の詳細は、Apache Hadoop プロジェ

クトの Web ページを参照してください。

なお、インストール時に“bdpp.conf ファイル”の“BDPP_HADOOP_DEFAULT_USERS パラメーター”で指定したユーザ ID 以外で

Hadoop ジョブを実行するためには、ユーザアカウントの設定を行う必要があります。ユーザアカウントの設定についての詳細は、「D.6Hadoop 利用ユーザごとの設定」を参照してください。

- 65 -

5.3.1 ジョブの実行

Hadoop ジョブを実行可能なユーザアカウントで“hadoop コマンド”を利用して、MapReduce プログラム（Javaプログラム）を実行します。

jar オプションまたは、job オプションを利用します。

例

コマンド実行例：

$ hadoop jar sample.jar input output

5.3.2 ジョブの停止

Hadoop ジョブを実行可能なユーザアカウントで“hadoop コマンド”を利用して、実行中の Hadoop ジョブを停止することができます。jobオプションを利用します。

例


$ hadoop job -kill <ジョブID>

5.3.3 ジョブの状態表示

Hadoop ジョブを実行可能なユーザアカウントで“hadoop コマンド”を利用して、実行中の Hadoop ジョブの状態を表示、確認することが

できます。job オプションを利用します。

以下の例は、すべての Hadoop ジョブ(実行中／実行完了／実行失敗／待機中)のリストを表示するコマンドです。ジョブID、状態、開

始時間等を確認するコマンドです。

例


$ hadoop job -list all <Enter>

5.4 異常時の操作

5.4.1 マスタサーバ異常時の操作

ここでは、以下の場合でマスタサーバに異常が発生した際の動作について説明します。

・システムの運用中の異常

・システム起動時の異常

- 66 -

5.4.1.1 システム運用中の異常

システムの運用中に、マスタサーバ(プライマリ)に以下に示す事象が発生した場合、マスタサーバ(セカンダリ)へ切り替えが発生しま

す。

・システムがパニックまたは、強制電源切断などで停止した場合

・システムがハングアップした場合

・クラスタインターコネクトに異常が発生した場合

クラスタインターコネクトを二重化している場合は、その両方に異常が発生した場合

・業務 LAN のネットワークに異常が発生した場合

業務 LAN を二重化している場合は、その両方に異常が発生した場合

・ iSCSI のネットワークに異常が発生した場合

マルチパスドライバを利用して、iSCSI を二重化している場合は、その両方に異常が発生した場合

・ JobTracker が異常終了または、“bdpp_stop コマンド”以外の方法(*)で停止した場合

*： Apache Hadoop の機能を直接利用して、JobTracker を停止した場合

注意

業務 LAN のネットワーク、またはiSCSI のネットワークに異常が発生した場合

業務 LAN のネットワーク、またはiSCSI のネットワークに異常が発生して、マスタサーバ(プライマリ)からマスタサーバ(セカンダリ)へ切

り替えられた場合は、「5.4.1.3 ネットワークに異常が発生した場合」を参照して操作を行う必要があります。

ジョブの実行中にマスタサーバの切り替えが発生した場合、ジョブの実行が中断されますので、ジョブの実行状況を確認し、切り替わっ

た側(マスタサーバ(セカンダリ))で、必要に応じて再度ジョブを実行してください。

マスタサーバ(プライマリ)に異常が発生し、マスタサーバ(セカンダリ)に切り替わった場合は、マスタサーバ(プライマリ)で異常の原因を

取り除いてシステムを再起動させた後、マスタサーバ(セカンダリ)で切り戻しコマンドを実行する、またはシステムを再起動してマスタ

サーバ(プライマリ)に切り戻しを行うことができます。

- 67 -

図5.1 異常発生から業務再開までの流れ

コマンドで、マスタサーバ(セカンダリ)からマスタサーバ(プライマリ)へ切り戻しを行うには、“hvswitch コマンド”を使用します。

# hvswitch app1 <Enter>

“app1”は、固定の文字列です。

約30秒程度で切り戻されるため、マスタサーバ(プライマリ)で“bdpp_stat コマンド”を実行し、Hadoop がマスタサーバ(プライマリ)上で動

作していることを確認してください。

“hvswitch コマンド”の詳細は、「PRIMECLUSTER 活用ガイド <コマンドリファレンス編>」－「第7章」－「hvswitch」、“bdpp_stat コマン

ド”の詳細は、「A.1.12 bdpp_stat」をそれぞれ参照してください。

注意

「4.9.1 スレーブサーバの追加」を行うためのマスタサーバの機能は、切り替えの対象とはなりません。

マスタサーバ(プライマリ)に異常が発生し、マスタサーバ(セカンダリ)に切り替わった場合は、マスタサーバ(プライマリ)で異常の原因を

取り除いた後、マスタサーバ(プライマリ)へ切り戻しを行ってから、再度「4.9.1 スレーブサーバの追加」を実施してください。

5.4.1.2 システム起動時の異常

システムの起動時に、マスタサーバに以下の事象が発生した場合、通常の起動操作が出来ません。

ここでは、片系運用の場合において運用を開始する場合の操作について説明します。

・マスタサーバ(プライマリ)が起動していない場合のシステム起動

マスタサーバ(プライマリ)が何等かの異常により動作しない状況で、システムをマスタサーバ(セカンダリ)だけで起動した場合、

“bdpp_start コマンド”による Hadoop の起動が可能です。

Hadoop の起動については、「A.1.11 bdpp_start」を参照してください。

- 68 -

・マスタサーバ(セカンダリ)が起動していない場合のシステム起動

マスタサーバ(セカンダリ)が何等かの異常により動作しない状況で、システムをマスタサーバ(プライマリ)だけで起動した場合、

“bdpp_start コマンド”による Hadoop の起動が可能です。


5.4.1.3 ネットワークに異常が発生した場合

ネットワークに異常が発生して、マスタサーバ(プライマリ)からマスタサーバ(セカンダリ)に切り替えられた場合、以下に示す操作が必要

です。

1. 異常が発生したサーバに、root 権限でログインします。

2. DFS の状態を確認します。

# pdfsrscinfo -m <Enter>


FSID MDS/AC STATE S-STATE RID-1 RID-2 RID-N hostname

1 MDS(P) run - 0 0 0 master1 ← マスタサーバ(プライマリ)がrun状態

1 AC run - 0 0 0 master1

1 MDS(S) wait - 0 0 0 master2


3. 異常が発生したサーバで DFS をアンマウント、システムを停止、または再起動します。

# pdfsumount /mnt/pdfs <Enter> または、

# shutdown -h now <Enter> または、


4. 次に、切り替えられたサーバに、root 権限でログインします。

5. DFS をアンマウントします。

# pdfsumount /mnt/pdfs <Enter>

6. DFS をマウントします。

# pdfsmount /mnt/pdfs <Enter>

7. “pdfsrscinfo コマンド”で、切り替えられたサーバの DFS が“run”状態であることを確認します。

# pdfsrscinfo -m <Enter>

/dev/disk/by-id/scsi-36000c298b3c931387b26aaa0a9ee314f-part2:

FSID MDS/AC STATE S-STATE RID-1 RID-2 RID-N hostname

1 MDS(P) stop - 0 0 0 master1

1 AC stop - 0 0 0 master1

1 MDS(S) run - 0 0 0 master2 ← マスタサーバ(セカンダリ)がrun状態


8. マスタサーバに接続されるすべてのサーバ(スレーブサーバ、開発実行環境サーバ、連携サーバ)で、それぞれ root 権限でログ

インして、DFS をアンマウント、および再マウントします。

# umount pdfs1 <Enter>


以上で操作は完了です。以後、業務を再開することができます。

9. 異常が発生したサーバが復旧し、元のサーバに切り戻す場合は、「異常が発生したサーバ」を「切り替えられたサーバ」、「切り替

えられたサーバ」を「復旧後のサーバ」にそれぞれ読み替えて、1から7までの手順を実施します。

- 69 -

10. “hvswitch コマンド”でサーバの切り戻しを行います。

# hvswitch app1 <Enter>

“app1”は、固定の文字列です。

参照

pdfsrscinfo, pdfsumount, pdfsmount の各コマンドについては、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の

「コマンドリファレンス」で各コマンドを参照してください。

“hvswitch コマンド”の詳細は、「PRIMECLUSTER 活用ガイド <コマンドリファレンス編>」－「第7章」－「hvswitch」を参照してください。

5.4.2 スレーブサーバ異常時の操作

ここでは、スレーブサーバに異常が発生した際の動作について説明します。

スレーブサーバに以下に示す異常が発生した場合、他のスレーブサーバが実行中のジョブを代替し、処理が継続されます。

・スレーブサーバが停止した場合

スレーブサーバのシャットダウン、システムのパニック、強制電源切断などの場合

・スレーブサーバがハングアップなど無応答となった場合

・スレーブサーバのネットワークに異常が発生した場合

業務LANを二重化している場合は、その両方に異常が発生した場合

スレーブサーバに異常が発生した場合は、スレーブサーバのシステムログなどを確認して対処してから、マスタサーバから“bdpp_startコマンド”を実行し、異常となったスレーブサーバ上の Hadoop を再起動してください。


注意

一部のスレーブサーバのHadoopを再起動するために、“bdpp_start コマンド”を実行した場合、「bdpp:WARN:001」メッセージが出力さ

れますが、スレーブサーバの Hadoop の再起動には問題ありません。

5.4.3 異常の確認方法

マスタサーバ(プライマリ)に異常が発生してマスタサーバ(セカンダリ)に切り替えられた場合や二重化されたネットワークの片側に異常

が発生してもう片側に切り替えられた場合、システムログ(/var/log/messages)に出力されるメッセージを確認してください。

また、HA クラスタおよびネットワーク二重化の状態は、次に示すコマンドで確認できます。

マスタサーバの HA クラスタの状態確認

マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)のそれぞれのサーバで、“hvdisp コマンド”を実行することで状態を確認するこ

とができます。

“hvdisp コマンド”の詳細については、「PRIMECLUSTER 活用ガイド <コマンドリファレンス編>」－「第7章」－「hvdisp」を参照して

ください。

- 70 -

次の例は、マスタサーバ(プライマリ)に異常が発生し、マスタサーバ(セカンダリ)に切り替わった場合の状態を表示したものです。

マスタサーバ(プライマリ)の HA クラスタの状態表示(例)

# hvdisp -a

Local System: master1RMS

Configuration: /opt/SMAW/SMAWRrms/build/bdpp.us

Resource Type HostName State StateDetails

-----------------------------------------------------------------------------

master1RMS SysNode Online


app1 userApp Faulted Failed Over

Machine001_app1 andOp master1RMS

Machine000_app1 andOp master2RMS Offline

ManageProgram000_Cmd_APP1 gRes Offline

Ipaddress000_Gls_APP1 gRes Offline

マスタサーバ(セカンダリ) の HA クラスタの状態表示(例)

# hvdisp -a

Local System: master2RMS

Configuration: /opt/SMAW/SMAWRrms/build/bdpp.us

Resource Type HostName State StateDetails

-----------------------------------------------------------------------------



app1 userApp Online

app1 userApp kawa4RMS Online

Machine001_app1 andOp kawa5RMS Online

Machine000_app1 andOp kawa4RMS

ManageProgram000_Cmd_APP1 gRes Online

Ipaddress000_Gls_APP1 gRes Online

ネットワーク二重化の状態確認

“dsphanet コマンド”により、状態が確認できます。マスタサーバおよびスレーブサーバで状態を確認することができます。

“dsphanet コマンド”の詳細については、「PRIMECLUSTER Global Link Services 説明書 4.3 （伝送路二重化機能編）」－「第7章コマンドリファレンス」－「7.4 dsphanetコマンド」を参照してください。

マスタサーバ(プライマリ) のネットワーク二重化の状態表示(例)

# /opt/FJSVhanet/usr/sbin/dsphanet

[IPv4,Patrol / Virtual NIC]

Name Status Mode CL Device

+----------+--------+----+----+------------------------------------------------+

sha0 Active d ON eth5(ON),eth9(OFF)

sha1 Active p OFF sha0(ON)

[IPv6]


+----------+--------+----+----+------------------------------------------------+

スレーブサーバのネットワーク二重化の状態表示(例)

# /opt/FJSVhanet/usr/sbin/dsphanet

[IPv4,Patrol / Virtual NIC]


- 71 -

+----------+--------+----+----+------------------------------------------------+

sha0 Active e OFF eth5(ON),eth9(OFF)

sha1 Active p OFF sha0(ON)

[IPv6]


+----------+--------+----+----+------------------------------------------------+

5.5 ストレージシステムの追加・削除

ここでは、ストレージシステムの追加および削除を行う方法について説明します。

5.5.1 ストレージシステムの追加

共用ディスクの追加／スケールアウトについては、「付録E DFS の運用変更」の「E.5 共有ディスクの追加／スケールアウト」を参照して

ください。

5.5.2 ストレージシステムの削除

共用ディスクの削除については、「付録E DFS の運用変更」の「E.6 共有ディスクの削除」を参照してください。

- 72 -

第6章保守

本章では、本製品の保守の方法について説明します。

6.1 保守の方法

ここでは、製品に対する修正の適用、ならびにトラブルが発生した際の調査について説明します。

6.1.1 修正の適用

本製品をはじめソフトウェア製品から提供される修正情報は、「ソフトウェア修正情報提供統合サイト」である"アップデートサイト"から入

手することができます。

1. アップデートサイトにログインします。

2. 製品名、世代から修正を検索します。

3. 検索結果から、使用する機能に該当する修正あるいはすべての修正を本製品に適用してください。

4. 本製品では、以下の各製品から公開されている修正を適用してください。

－ ServerView Resource Orchestrator Virtual Edition V3.0.0

－ PRIMECLUSTER 4.3A10

－ Primesoft Distributed File System for Hadoop V1.0

*：該当する製品にはさらに同梱している製品があるため、それらの修正も適用することを推奨します。

5. 修正に添付されている修正情報ファイルから、マニュアルも修正されている場合は、新マニュアルを下記のサイトから入手して

ください。

URL:

http://software.fujitsu.com/jp/manual/ (2012年5月時点)

6.1.2 調査資料の採取

ここでは、本製品を使用しているシステムで問題が発生した場合、当社技術員が発生した問題の原因を切り分けるために必要な調査

資料の採取方法について説明します。

本製品には、以下の調査資料があります。

・ Interstage Big Data Parallel Processing Server のログ

「6.1.2.1 Interstage Big Data Parallel Processing Server のログ」を参照してください。

・調査資料採取ツール

「6.1.2.2 調査資料採取ツール」を参照してください。

さらに、Interstage Big Data Parallel Processing Server のログに出力されているメッセージ、またはシステムログ(“/var/log/messages”)に出力されているメッセージのうち、「B.3.2 その他のメッセージ」に関連するトラブルの調査資料については、本製品が組み込んでいる

各機能ごとに調査資料を採取する必要があります。

各機能ごとの資料採取方法については、「6.1.2.3 各機能ごとの調査資料」を参照してください。

- 73 -

6.1.2.1 Interstage Big Data Parallel Processing Server のログ

ここでは、Interstage Big Data Parallel Processing Server のログについて説明します。

Interstage Big Data Parallel Processing Server のログは、処理ごとに出力されます。

処理ごとのログは次の表のとおりです。

なお、Apache Hadoop 自体のログについては、Apache Hadoop が提供する情報を参照してください。

表6.1 ログの種類および格納場所

ログの種類ログファイルおよび格納場所

インストール／アンインストールのログ・ /var/tmp/bdpp_install.log

セットアップ／アンセットアップのログ・ /var/opt/FJSVbdpp/log/bdpp_setup.log

Interstage Big Data Parallel Processing Server 起動、

停止処理のログ

・ /var/opt/FJSVbdpp/log/bdpp_hadoop.log

・ /var/opt/FJSVbdpp/log/bdpp_pcl_hadoop.log

スレーブサーバの追加・削除処理のログ・ /var/opt/FJSVbdpp/log/bdpp_ROR.log

6.1.2.2 調査資料採取ツール

ここでは、Interstage Big Data Parallel Processing Server の調査資料採取ツールについて説明します。

次の表に示すツールを実行し、出力結果を調査資料として採取してください。

表6.2 調査資料採取ツールの種類および格納場所

調査資料採取ツールの種類調査資料採取ツールおよび格納場所

導入構成の表示ツール・ /opt/FJSVbdpp/bin/sys/bdpp_show_config.sh

導入状態の表示ツール・ /opt/FJSVbdpp/bin/sys/bdpp_show_status.sh

6.1.2.3 各機能ごとの調査資料

本製品が組み込んでいる各機能ごとの調査資料については、各機能ごとに調査資料を採取する必要があります。

6.1.2.3.1 HA クラスタのセットアップ、切り替えでトラブルが発生した場合

HA クラスタのセットアップや切り替えでトラブルが発生した際の調査資料の採取方法について説明します。

詳細は、「PRIMECLUSTER 活用ガイド<トラブルシューティング編>」を参照してください。

調査資料の採取方法

HA クラスタシステムに障害が発生した場合は、調査に必要な以下の情報を、マスタサーバ(プライマリ)およびマスタサーバ(セカンダ

リ)から収集します。

1. HA クラスタの調査情報

－ fjsnap を使用して、エラー調査に必要な情報を収集します。

「fjsnap コマンドの実行」を参照してください。

－システムの調査情報を収集します。

- 74 -

2. クラッシュダンプ

障害が発生したサーバでクラッシュダンプの採取が可能な場合、サーバの再起動を行う前に手動でクラッシュダンプを採取して

ください。

OS に依存する障害の場合、クラッシュダンプが有用となります。

例）予期せぬリソース故障により切替えが発生した場合

クラスタアプリケーションの切替えが完了した後、リソース故障が発生したノードでクラッシュダンプを採取します。

クラッシュダンプの詳細については、「クラッシュダンプ」を参照してください。

3. 障害が再現可能な場合には、障害再現手順マニュアル

参考

障害情報を当社技術員に報告する際は、エラー調査に必要な情報を正確に収集する必要があります。収集した情報は、問題の確認

および障害再現の実行のために使用されます。よって、情報が正確でないと、問題の再現および診断に時間がかかってしまうか、そ

れらが不可能となる場合があります。

調査用資料は、マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)から速やかに収集してください。特に、fjsnap が収集する情

報は、障害の発生後に時間が長く経過すると、必要な情報が失われてしまうことがあるので注意してください。

fjsnap コマンドの実行

1. マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)に、root 権限でログインします。

2. 各サーバで“fjsnap コマンド”を実行します。

# /usr/sbin/fjsnap -a output <Enter>

output には、“fjsnap コマンド”を使用して収集したエラー情報の出力先となる出力ファイル名を指定します。

参照

“fjsnap コマンド”の詳細については、FJSVsnap パッケージに含まれている README ファイルを参照してください。

参考

fjsnap コマンドの実行タイミングについて

エラーメッセージが出力された場合などの通常運用時のトラブルは、トラブル発生時に即座に“fjsnap コマンド”を実行してくだ

さい。

システムハング等のため“fjsnap コマンド”が実行できない場合は、クラッシュダンプを採取してください。その後、シングルユー

ザモードで起動し、“fjsnap コマンド”を実行してください。クラッシュダンプの採取については、「クラッシュダンプ」を参照してく

ださい。

トラブル発生後に、ノードが自動的に再起動してしまった（シングルユーザモードで起動できなかった）場合や、誤ってマルチ

ユーザモードで起動してしまった場合にも、“fjsnap コマンド”を実行してください。

“fjsnap コマンド”がエラーになる、または“fjsnap コマンド”が復帰しない等により調査情報が採取できない場合は、クラッシュダ

ンプを採取してください。

pclsnapコマンドの実行

1. マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)に、root 権限でログインします。

2. 各サーバで“pclsnap コマンド”を実行します。

# /opt/FJSVpclsnap/bin/pclsnap -a output または -h output <Enter>

- 75 -

-a はすべての詳細情報を収集するため、データが大きくなります。-h を指定すると、クラスタ制御情報のみが収集されます。

output には、pclsnap コマンドを使用して収集したエラー情報の出力先となる出力媒体の特殊なファイル名または出力ファイ

ル名 (/dev/st0 など) を指定します。

ディレクトリを含む出力ファイル名にカレントディレクトリからの相対パスを指定する場合、パスは "./" から始めてください。

参照

“pclsnap コマンド”の詳細については、FJSVpclsnap パッケージに含まれている README ファイルを参照してください。

参考

pclsnap コマンドの実行タイミングについて

エラーメッセージが出力された場合などの通常運用時のトラブルは、トラブル発生時に即座に“pclsnap コマンド”を実行してくだ

さい。

システムハング等のため“pclsnap コマンド”が実行できない場合は、クラッシュダンプを採取してください。その後、シングルユー

ザモードで起動し、pclsnap コマンドを実行してください。クラッシュダンプの採取については、「クラッシュダンプ」を参照してく

ださい。

トラブル発生後に、ノードが自動的に再起動してしまった（シングルユーザモードで起動できなかった）場合や、誤ってマルチ

ユーザモードで起動してしまった場合にも、“pclsnap コマンド”を実行してください。

“pclsnap コマンド”がエラーになる、または“pclsnap コマンド”が復帰しない等により調査情報が採取できない場合は、クラッシュ

ダンプを採取してください。

参考

pclsnap コマンドの実行に必要なディレクトリの空き容量について

“pclsnap コマンド”の実行に必要なディレクトリの空き容量の目安を、以下の表に示します。

ディレクトリの種類デフォルトディレクトリ空き容量(目安) (MB)

出力ディレクトリコマンド実行時のカレントディレクトリ 300

一時ディレクト /tmp 500

注意

システム環境によっては、上記目安値(300MB, 500MB)では空き容量不足となる場合があります。

ディレクトリの空き容量不足を原因として情報採取が正常に行われなかった場合、“pclsnap コマンド”は終了時にエラーメッセージ

または警告メッセージを出力します。この場合、以下に示す対処方法に従って、再度コマンドを実行してください。

出力ディレクトリの空き容量不足への対処

“pclsnap コマンド”を実行して、出力ファイルの生成に失敗した場合、次のエラーメッセージが出力されます。

ERROR: failed to generate the output file "xxx".

DIAG: ...

対処方法：

出力ディレクトリを空き容量の大きなディレクトリに変更して、再度コマンドを実行してください。

例：

出力ディレクトリを /var/crash にする場合

- 76 -

# /opt/FJSVpclsnap/bin/pclsnap -a /var/crash/output <Enter>

一時ディレクトリの空き容量不足への対処

“pclsnap コマンド”を実行すると、次の警告メッセージが出力されることがあります。

WARNING: The output file "xxx" may not contain some data files.

DIAG: ...

この警告メッセージが出力された場合、pclsnap コマンドの出力ファイルは生成されますが、一部の採取対象情報が出力ファイ

ルに含まれていない可能性があります。

対処方法：

一時ディレクトリを空き容量の大きなディレクトリに変更して、再度コマンドを実行してください。

例：

一時ディレクトリを /var/crash に変更する場合

# /opt/FJSVpclsnap/bin/pclsnap -a -T/var/crash output <Enter>

一時ディレクトリを変更しても同様の警告メッセージが出力される場合、次の原因が考えられます。

(1) システム状態に起因して、特定の情報採取コマンドがタイムアウトする

(2) 採取対象ファイルが、一時ディレクトリの空き領域と比較して大きい

(1) の場合は、“pclsnap コマンド”の出力ファイルに含まれる pclsnap.elog ファイルにタイムアウト発生のログが記録されていま

す。“pclsnap コマンド”の出力ファイルとともに、可能であればクラッシュダンプを採取してください。

(2) の場合は、次の (a) (b) などが一時ディレクトリの空き容量よりも大きくなっていないか、確認してください。

ログファイルのサイズ

・ /var/log/messages

・ /var/opt/SMAW*/log/ 配下のログファイル (SMAWsf/log/rcsd.log など)

コアファイルの合計サイズ

・ GFS のコアファイル：/var/opt/FJSVsfcfs/cores/*

・ GDS のコアファイル：/var/opt/FJSVsdx/*core/*

これらが一時ディレクトリの空き容量よりも大きい場合には、該当ファイルを出力ディレクトリおよび一時ディレクトリとは別のパー

ティションに移動して、再度“pclsnap コマンド”を実行してください。なお、移動したファイルは削除せずに保存しておいてくださ

い。

クラッシュダンプ

Linux Kernel Crash Dump(LKCD)、Netdump、あるいは diskdump がインストールされた環境では、調査資料としてクラッシュダンプ

を採取することができます。

クラッシュダンプの採取タイミング

- カーネルで Oops が発生した場合

- カーネルでパニックが発生した場合

- システム管理者がコンソールで＜Alt＞+＜SysRq＞+＜C＞キーを押した場合

- 本体の NMI ボタンを押した場合

クラッシュダンプの採取方法は以下のとおりです。

1. システムパニック時のクラッシュダンプ採取方法

クラッシュダンプの保存ディレクトリ配下に、切替え発生時刻以降のクラッシュダンプが存在するか否かを確認してくださ

- 77 -

い。切替え発生時刻以降のクラッシュダンプが存在する場合、クラッシュダンプを収集してください。切替え発生時刻以

降のクラッシュダンプが存在しない場合、可能な限り手動でクラッシュダンプを採取してください。

2. 手動によるクラッシュダンプの採取方法

以下のいずれかの方法でクラッシュダンプを採取し、クラッシュダンプの保存ディレクトリ配下にあるクラッシュダンプを収

集してください。

・本体装置の NMI ボタンを押下する

・コンソールで＜Alt＞+＜SysRq＞+＜C＞キーを押下する

クラッシュダンプの保存ディレクトリ

クラッシュダンプは異常が発生したノード(LKCD、diskdumpの場合)、あるいは Netdump サーバ上 (Netdump の場合) にファイ

ルとして保存されます。

保存先ディレクトリは/var/crash です。

6.1.2.3.2 スレーブサーバの追加・削除時のクローニングイメージの作成、クローニングでトラブルが発生した場合

スレーブサーバの追加・削除時のクローニングイメージの作成、クローニングでトラブルが発生した際の調査資料の採取方法について

説明します。

詳細は、「ServerView Resource Orchestrator Virtual Edition V3.0.0 運用ガイド」－「第15章トラブルシューティング」を参照してくださ

い。

調査資料の種類

本製品を使用しているシステムで問題が発生した場合、当社技術員が調査するための調査資料を採取してください。

調査資料は2種類存在し、以下に記載する用途に応じて、資料を採取してください。

1. 初期調査資料の採取

発生した問題の原因について、初期切分けを行うために必要な資料を採取し、当社技術員に連絡してください。

採取する資料は、サイズが小さく、電子メールなどで簡単に送付できるサイズになります。

詳細は、「初期調査資料の採取」を参照してください。

2. 詳細調査資料の採取

初期調査資料だけで原因を特定できる場合もありますが、発生した問題の内容に応じて、さらに多くの調査資料が必要になる

場合があります。

このため、初期調査資料だけで原因を特定できなかった場合に備え、初期調査資料を採取したあと、原因を特定するための詳

細な調査で必要になる資料も採取します。

詳細調査資料は、発生した問題の原因を特定するために必要な多数の資料を採取するため、発生した問題の切分け用として

採取する初期調査資料よりもサイズが大きくなります。

当社技術員から依頼があった場合、採取した詳細調査資料を送付してください。

詳細は、「詳細調査資料の採取」を参照してください。

注意

問題が発生した場合、すみやかに調査資料を採取してください。時間の経過と共に、調査に必要な情報が失われてしまう可能性があ

ります。

初期調査資料の採取

ここでは、発生した問題の原因を切り分けるために必要な調査資料の採取方法について説明します。

採取方法について

初期調査資料は、以下の方法で採取できます。

採取方法の特徴を踏まえ、問題が発生した環境やシステムの状態に応じて、適切な方法で資料を採取してください。

- 78 -

－マスタサーバから資料を採取する方法

マスタサーバ上で調査資料の採取コマンド(rcxadm mgrctl snap -all)を実行する方法です。

ネットワークを利用して各管理対象サーバの調査資料を一括採取できるため、各管理対象サーバ上でコマンドを実行するより

も簡単に資料を採取できます。

「管理サーバから資料を採取する方法(rcxadm mgrctl snap -all)」を参照し、資料を採取してください。

rcxadm mgrctl snap -allコマンドを実行するためには、約65Mバイトに加え、サーバの登録台数 * 約30Mバイトの空き容量が必

要です。

－各サーバ上で資料を採取する方法

各サーバ上で調査資料の採取コマンド(rcxadm mgrctl snap、rcxadm agtctl snap)を実行する方法です。

「各サーバ上で資料を採取する方法(rcxadm mgrctl snap、rcxadm agtctl snap)」を参照し、資料を採取してください。

rcxadm mgrctl snapコマンドを実行するためには、約65Mバイトの空き容量が必要です。

rcxadm agtctl snapコマンドを実行するためには、約30Mバイトの空き容量が必要です。

管理サーバから資料を採取する方法(rcxadm mgrctl snap -all)

管理サーバ上で調査資料の採取コマンド(rcxadm mgrctl snap -all)を実行することで、各管理対象サーバの調査資料を一括して採

取できます。

調査資料の採取コマンド(rcxadm mgrctl snap -all)を実行して資料を採取する方法を以下に示します。

採取方法

以下の手順で、管理サーバ上の資料を採取します。

1. OSの管理者権限で管理サーバにログインします。

2. rcxadm mgrctl snap -allコマンドを実行します。

# /opt/FJSVrcvmr/bin/rcxadm mgrctl snap [-dir directory] -all <Enter>

3. 採取した調査資料を当社技術員に送付します。

注意

- 管理サーバから資料を採取する場合、管理サーバ上でマネージャーが動作している必要があります。マネージャーが動作

できない場合、各サーバ上で資料を採取してください。

- 管理サーバから資料を採取する方法では、以下の場合、管理対象サーバの調査資料は採取されません。

通信経路が確立できない場合

停止している管理対象サーバがある場合

どちらの場合も、ほかの管理対象サーバに対する調査資料の採取処理は継続されます。

実行結果はコマンドの実行ログで確認してください。

詳細は、「ServerView Resource Orchestrator Virtual Edition V3.0.0 コマンドリファレンス」の「5.7 rcxadm mgrctl」を参照してくだ

さい。

採取に失敗した管理対象サーバについては、管理サーバ上でrcxadm mgrctl snap -allコマンドを再実行するか、失敗した管理

対象サーバ上でrcxadm agtctl snapコマンドを実行して資料を採取してください。

各サーバ上で資料を採取する方法(rcxadm mgrctl snap、rcxadm agtctl snap)

管理サーバから一括で管理対象サーバの調査資料を採取できるrcxadm mgrctl snap -allコマンドとは別に、実行したサーバの情報

だけを採取できるrcxadm mgrctl snapコマンドとrcxadm agtctl snapコマンドがあります。

調査資料の採取コマンド(rcxadm mgrctl snapまたはrcxadm agtctl snap)を実行して資料を採取する方法を以下に示します。

採取方法

以下の手順で、サーバ上の資料を採取します。

- 79 -

1. OSの管理者権限でサーバにログインします。

2. rcxadm mgrctl snapまたはrcxadm agtctl snapコマンドを実行します。

資料を採取するサーバに応じて実行するコマンドが異なるため注意してください。

【マスタサーバの場合】

# /opt/FJSVrcvmr/bin/rcxadm mgrctl snap [-dir directory] <Enter>

【スレーブサーバの場合】

# /opt/FJSVrcxat/bin/rcxadm agtctl snap [-dir directory] <Enter>


詳細は、「ServerView Resource Orchestrator Virtual Edition V3.0.0 コマンドリファレンス」の「5.1 rcxadm agtctl」または「5.7 rcxadmmgrctl」を参照してください。

詳細調査資料の採取

ここでは、問題の原因を特定するために必要な詳細調査資料の採取方法について説明します。

初期調査資料だけで問題の原因を特定できなかった場合、さらに詳細な調査資料が必要です。

採取方法について

問題の原因を特定するための調査資料は、各サーバ上で調査資料の採取コマンド(rcxadm mgrctl snap -full、rcxadm agtctl snap -full)を実行して資料を採取します。

本機能を実行するためには、約80Mバイトの空き容量が必要です。

採取方法

資料を採取するサーバ上で、以下の手順で資料を採取します。

1. OSの管理者権限でサーバにログインします。

2. rcxadm mgrctl snap -fullまたはrcxadm agtctl snap -fullコマンドを実行します。

資料を採取するサーバに応じて実行するコマンドが異なるため注意してください。

【マスタサーバの場合】

# /opt/FJSVrcvmr/bin/rcxadm mgrctl snap -full [-dir directory] <Enter>

【スレーブサーバの場合】

# /opt/FJSVrcxat/bin/rcxadm agtctl snap -full [-dir directory] <Enter>


詳細は、「ServerView Resource Orchestrator Virtual Edition V3.0.0 コマンドリファレンス」の「5.1 rcxadm agtctl」または「5.7 rcxadmmgrctl」を参照してください。

6.1.2.3.3 DFS のセットアップ、共用ディスクでトラブルが発生した場合

DFS のセットアップ、共用ディスクでトラブルが発生した際の調査資料の採取方法について説明します。

詳細は、「Primesoft Distributed File System for Hadoop V1.0 ユーザーズガイド」の「4.6.2 DFSの調査資料採取」を参照してください。

DFSの調査資料採取

出力されたメッセージの対処として、当社技術員への調査を依頼する場合は、root 権限でログインして、以下の資料を採取してくださ

い。

資料を採取する際は、できるだけ事象が発生している状態で採取してください。

事象が終息後やシステム再起動後に採取された資料では、システム状況が変化して調査できない場合があります。

- 80 -

1. 資料採取ツール(pdfssnap, fjsnap)の出力結果

2. クラッシュダンプ

3. “pdfsck コマンド”の実行結果

4. デーモンのコアイメージの採取

なお、調査資料を至急送付する必要がある場合は、初期調査用の資料として以下を採取してください。

a. 資料採取ツール(pdfssnap)の出力結果

b. /var/log/messages*

初期調査用の資料を採取したあとで、必ずほかの資料も採取してください。

資料採取ツール(pdfssnap, fjsnap)の出力結果

“pdfssnap.sh”および“fjsnap コマンド”を使用して調査資料を採取してください。

可能な限り DFS を共用する、すべてのサーバで採取してください。

“pdfssnap.sh”の実行

# /etc/opt/FJSVpdfs/bin/pdfssnap.sh <Enter>

注意

“pdfssnap.sh”では、コマンドを実行したディレクトリ配下に調査資料が採取されます。そのため、コマンドを実行するファイルシ

ステムに100MB 程度の空き領域が必要となります。

fjsnapの実行

# /opt/FJSVsnap/bin/fjsnap -a 任意のファイル名 <Enter>

クラッシュダンプの採取

サーバがパニックした場合など、トラブル調査資料としてクラッシュダンプファイルも採取してください。

通常は、パニック後のサーバ起動時に "/var/crash/パニックした時刻" 配下に保存されています。パニックが発生したすべてのサー

バで採取してください。

pdfsck コマンドの実行結果

DFS で不整合が発生して、復旧が必要な場合に採取してください。

# pdfsck -N -o nolog 代表パーティションのブロック特殊ファイル <Enter>

デーモンのコアイメージの採取

DFS のエラーメッセージの対処で、各デーモンにおけるコアイメージの採取が必要となる場合があります。

コアイメージの採取は、すべての DFS 管理サーバで行ってください。

以下に pdfsfrmd デーモンのコアイメージの採取を例として手順を示します。

1. プロセス ID の特定

“ps コマンド”により、プロセス ID を特定します。pdfsfrmd デーモン以外が対象の場合は、“grep コマンド”の引数を変えてく

ださい。

- 81 -

# /bin/ps -e | /bin/grep pdfsfrmd <Enter>

5639 ? 00:00:25 pdfsfrmd

出力の先頭が pdfsfrmd デーモンのプロセス ID です。pdfsfrmd デーモンが動作していない場合は、出力されません。動作

していない場合は、ほかのサーバで採取してください。

参考

MDS のコアイメージを採取する際は、“grep コマンド”の引数に pdfsmg を指定してください。

参照

“ps コマンド”および“grep コマンド”の詳細は、オンラインマニュアルページを参照してください。

2. コアイメージの取得

“gcore コマンド”により、pdfsfrmd のコアイメージをファイル /var/tmp/pdfsfrmd_node1.5639 へ採取します。その後、“tar コマ

ンド”でファイルを圧縮します。

# /usr/bin/gcore -o /var/tmp/pdfsfrmd_node1 5639 <Enter>

gcore: /var/tmp/pdfsfrmd_node1.5639 dumped

# /bin/tar czvf /var/tmp/pdfsfrmd_node1.5639.tar.gz /var/tmp/pdfsfrmd_node1.5639 <Enter>

# /bin/ls -l /var/tmp/pdfsfrmd_node1.5639.tar.gz <Enter>

-rw-rw-r-- 1 root other 1075577 6月 12日 16:30 /var/tmp/

pdfsfrmd_node1.5639.tar.gz

参照

“tar コマンド”の詳細は、オンラインマニュアルページを参照してください。

6.1.2.3.4 Hadoopでトラブルが発生した場合

“/opt/FJSVbdpp/products/HADOOP/bin/HADOOP-collect.sh”を実行し、カレントディレクトリに出力される “collectinfo.tar.gz”を採取し

てください。

形式

HADOOP-collect.sh --servers servername[,servername]

オプション

--servers servername[,servername]

カンマで区切って、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)、スレーブサーバ、および開発実行環境サーバの各ホ

スト名を指定します。空白は含めないでください。

必要な権限・実行環境

権限

OS の管理者

実行環境

マスタサーバ

- 82 -

例

# /opt/FJSVbdpp/products/HADOOP/bin/HADOOP-collect.sh --

servers=master1,master2,slave1,slave2,slave3,slave4,slave5,develop <Enter>

注意

情報収集元の root ユーザが収集先のサーバにパスワードなしで ssh 接続できるよう設定されていない場合、実行中にパスワードを要

求されます。

操作手間を考慮して、パスワード入力を回避したい場合には、マスタサーバの root ユーザの ssh の公開鍵をスレーブサーバおよび開

発実行環境サーバに配置し、ssh のパスワードなしの設定を行えます。詳細は、“ssh-keygen コマンド”のヘルプを参照してください。

- 83 -

付録A リファレンス

本付録では、本製品のコマンドおよび定義ファイルについて説明します。

A.1 コマンド

ここでは、本製品が提供するコマンドの概要について説明します。

コマンド一覧

コマンド名機能

実行環境

マスタサーバスレーブ

サーバ

開発実行

環境サー

バ

連携サー

バプライマリセカンダリ

A.1.1 bdpp_addserverクローニングイメージの採取および配備対

象のスレーブサーバを登録します。○ × × × ×

A.1.2bdpp_changeimagedir

クローニングイメージ格納ディレクトリを変

更します。○ × × × ×

A.1.3bdpp_changeslaves

スレーブサーバ定義ファイル(slaves)で変

更されたスレーブサーバ情報を反映しま

す。

○ ○(*) × × ×

A.1.4bdpp_deployimage

“bdpp_getimage コマンド”で採取したス

レーブサーバのシステムイメージを別の

サーバに配備します。

○ × × × ×

A.1.5 bdpp_getimageスレーブサーバのクローニングのためのシ

ステムイメージを採取します。○ × × × ×

A.1.6 bdpp_lanctlネットワークパラメーターの自動設定を有

効にします。○ × × × ×

A.1.7 bdpp_listimageクローニングイメージの登録状況を確認し

ます。○ × × × ×

A.1.8 bdpp_listserver“bdpp_addserver コマンド”で登録したス

レーブサーバの登録状況を表示します。○ × × × ×

A.1.9bdpp_removeimage

“bdpp_getimage コマンド”で採取したク

ローニングイメージを削除します。○ × × × ×

A.1.10bdpp_removeserver

“bdpp_addserver コマンド”で登録したス

レーブサーバを削除します。○ × × × ×

A.1.11 bdpp_start Hadoop を起動します。 ○ ○(*) × × ×

A.1.12 bdpp_statHadoop の起動または停止状態を確認し

ます。○ ○(*) × × ×

A.1.13 bdpp_stop Hadoop を停止します ○ ○(*) × × ×

○：使用できます。

×：使用できません。

*：フェールオーバーによって、マスタサーバ(セカンダリ)で運用を実施する際に利用可能なコマンドです。マスタサーバ(プライマ

リ)で運用中の場合は、コマンドは利用しないでください。

ポイント

コマンドは、以下のディレクトリに配置されています。

- 84 -

・ /opt/FJSVbdpp/bin

A.1.1 bdpp_addserver名前

/opt/FJSVbdpp/bin/bdpp_addserver －クローニングイメージの採取および配備対象のスレーブサーバの登録

形式

bdpp_addserver clone.conf ファイルの格納ディレクトリ

機能説明

クローニングイメージを採取するおよび配備するスレーブサーバを登録します。

引数

clone.conf ファイルの格納ディレクトリ

clone.conf ファイルが格納されたディレクトリ名、またはclone.conf ファイルの絶対パス名を指定します。


権限

OS の管理者

実行環境

マスタサーバ

終了ステータス

以下のステータスが返されます。

0

正常に処理されました。

0以外

エラーが発生しました。

A.1.2 bdpp_changeimagedir名前

/opt/FJSVbdpp/bin/bdpp_changeimagedir －クローニングイメージ格納ディレクトリの変更

形式

bdpp_changeimagedir クローニングイメージ格納ディレクトリ

機能説明

クローニングイメージ格納ディレクトリを変更します。

注意

本コマンドを実行した場合、クローニングイメージファイルがコピーされるため、時間がかかることがあります。

引数

クローニングイメージ格納ディレクトリ

変更先のクローニングイメージ格納ディレクトリ名を指定します。

- 85 -

指定するディレクトリは、以下の条件を満たす必要があります。

－クローニングイメージファイル格納フォルダーまでのパスが100文字以内であること

－ディレクトリ名に全角文字と以下の記号を含まないこと

"""、"|"、":"、"*"、"?"、"."、"<"、">"、","、"%"、"&"、"^"、"="、"!"、";"、"#"、"'"、"+"、"["、"]"、"{"、"}"、"\"

－指定先が以下のディレクトリ配下ではないこと

- /opt/FJSVrcvmr

- /etc/opt/FJSVrcvmr

- /var/opt/FJSVrcvmr

－指定ディレクトリが空であること

クローニングイメージファイル格納先として新規ファイルシステムを作成した場合、"lost+found"という名前のディレクトリが作成

されるため、空にはなりません。

－作成したファイルシステムの配下にディレクトリを作成し、そのディレクトリを指定してください。

－権限に問題がないこと

安全のため、クローニングイメージファイル格納ディレクトリのすべての親ディレクトリのアクセス権は、以下のどれかに設定して

ください。

- システム管理者だけが書込みできる

- スティッキービットを設定し、ほかのユーザーがファイルの名前を変更、削除できないようにする

このような設定がされていなかった場合、クローニングイメージファイル格納フォルダーの変更処理が失敗することがあります。


権限

OS の管理者

実行環境

マスタサーバ



0


0以外


A.1.3 bdpp_changeslaves名前

/opt/FJSVbdpp/bin/bdpp_changeslaves －スレーブサーバ定義ファイルの反映

形式

bdpp_changeslaves

機能説明

スレーブサーバ定義ファイル(slaves)で変更されたスレーブサーバ情報を反映します。

オプション

ありません

- 86 -


権限

OS の管理者

実行環境

マスタサーバ



0


0以外


注意

本コマンドは、同時に複数実行しないようにしてください。

A.1.4 bdpp_deployimage名前

/opt/FJSVbdpp/bin/bdpp_deployimage －クローニングイメージの配備

形式

bdpp_deployimage servername [[:hostname],...] imagename

機能説明

サーバシステムのイメージを他のサーバに配備します。

注意

－本コマンドを実行した場合、クローニングイメージファイルをサーバに配付するため、時間がかかることがあります。

－クローニングイメージの採取および配備は同時に4つの処理まで実行できます。5つ以上の処理が要求された場合、実行中の

処理が完了するまで待機状態になります。

引数

servername [[:hostname],...]

クローニングイメージを配付する物理サーバ名を指定します。

カンマ(",")を区切り文字として、配付する物理サーバを複数指定できます。

hostname には、配付後のサーバ名を指定できます。それぞれの物理サーバ名のあとにコロン(":")を付け、hostname に配付後

のサーバ名を指定します。

imagename

配付するクローニングイメージ名を指定します。


権限

OS の管理者

- 87 -

実行環境

マスタサーバ



0


0以外


A.1.5 bdpp_getimage名前

/opt/FJSVbdpp/bin/bdpp_getimage －クローニングイメージの採取

形式

bdpp_getimage servername imagename

機能説明

スレーブサーバのクローニングのためのサーバシステムのイメージを採取します。

注意

－本コマンドを実行した場合、クローニングイメージファイルをサーバに配付するため、時間がかかることがあります。

－クローニングイメージの採取および配備は同時に4つの処理まで実行できます。5つ以上の処理が要求された場合、実行中の

処理が完了するまで待機状態になります。

引数

servername

採取対象のサーバ名を指定します。

imagename

採取するクローニングイメージを識別する名前を指定します。

クローニングイメージの名前は、先頭文字が英字の32文字以内の文字列を指定します。使用可能文字は半角英数字とアンダー

スコア("_")です。

採取済のクローニングイメージの名前とは別の識別名を指定してください。同名を指定した場合はコマンドがエラー復帰しま

す。


権限

OSの管理者

実行環境

マスタサーバ



0


- 88 -

0以外


A.1.6 bdpp_lanctl名前

/opt/FJSVbdpp/bin/bdpp_lanctl －ネットワークパラメーターの自動設定の登録

形式

bdpp_lanctl ipaddr file1 file2

機能説明

クローニングイメージの採取および配付におけるネットワークパラメーターの自動設定を有効にします。

引数

ipaddr

クローニングイメージを採取するスレーブサーバの管理 LAN の IP アドレスを指定します。

file1

クローニングイメージを採取するスレーブサーバに合わせて作成した管理 LAN 情報の定義ファイル(FJSVrcx.conf)を絶対パス

名で指定します。

file2

ネットワークパラメーター自動設定用の定義ファイル(ipaddr.conf)を絶対パス名で指定します。


権限

OS の管理者

実行環境

マスタサーバ



0


0以外


A.1.7 bdpp_listimage名前

/opt/FJSVbdpp/bin/bdpp_listimage －クローニングイメージの登録状況表示

形式

bdpp_listimage

機能説明

クローニングイメージの登録状況を確認します。

以下の項目を一覧表示します。

- 89 -

項目名内容

NAME クローニングイメージのイメージ名

VERSION 固定で、”1”を表示します。

CREATIONDATE クローニングイメージを採取した日時

COMMENT 固定で、”-”を表示します。


権限

OS の管理者

実行環境

マスタサーバ



0


0以外


使用例

# /opt/FJSVbdpp/bin/bdpp_listimage <Enter>

IMAGEDIRECTORY

--------------

imagedir: /data/imagedir

NAME VERSION CREATIONDATE COMMENT

---- ------- ------------ -------

RX200img 1 2012/04/20-22:39:59 -

RX300img 1 2012/04/20-22:41:13 -

A.1.8 bdpp_listserver名前

/opt/FJSVbdpp/bin/bdpp_listserver －スレーブサーバの登録状況の表示

形式

bdpp_listserver

機能説明

クローニングイメージの採取および配備対象のスレーブサーバの登録状況を表示します。


項目名内容

PHYSICAL_SERVER 物理サーバ名

SERVER サーバ(物理OS/VMホスト)名

ADMIN_IP 管理LANのIPアドレス

STATUSサーバの状態

以下のどれかが表示されます。

- 90 -

項目名内容

・ normal

・ warning

・ unknown

・ stop

・ error

・ fatal

サーバの状態については、「運用ガイド VE」の「5.2 リソース状態」を参照してください。

MAINTENANCE

保守モードの状態

・保守モードに設定されている場合

"ON"が表示されます。

・保守モードが解除されている場合

"OFF"が表示されます。


権限

OS の管理者

実行環境

マスタサーバ



0


0以外


使用例

# /opt/FJSVbdpp/bin/bdpp_listserver <Enter>


--------------- ------ -------- ------ -----------


slave2 - 192.168.1.22 stop -

slave3 - 192.168.1.23 stop -

slave4 - 192.168.1.24 stop -

slave5 - 192.168.1.25 stop -

A.1.9 bdpp_removeimage名前

/opt/FJSVbdpp/bin/bdpp_removeimage －クローニングイメージの削除

形式

bdpp_removeimage imagename

機能説明

bdpp_getimageコマンドで採取したクローニングイメージを削除します。

- 91 -

引数

imagename

クローニングイメージ名を指定します。


権限

OS の管理者

実行環境

マスタサーバ



0


0以外


A.1.10 bdpp_removeserver名前

/opt/FJSVbdpp/bin/bdpp_removeserver －スレーブサーバの削除

形式

bdpp_removeserver servername

機能説明

“bdpp_addserver コマンド”で登録したクローニング採取および配備対象のスレーブサーバを削除します。

引数

servername

削除対象のサーバ名を指定します。


権限

OS の管理者

実行環境

マスタサーバ



0


0以外


- 92 -

A.1.11 bdpp_start名前

/opt/FJSVbdpp/bin/bdpp_start － Interstage Big Data Parallel Processing Server の起動

形式

bdpp_start

機能説明

Hadoop を起動します。

マスタサーバの Hadoop の JobTracker、接続対象となるすべてのスレーブサーバの Hadoop の TaskTracker をそれぞれ起動しま

す。

オプション

ありません


権限

OS の管理者

実行環境

マスタサーバ



0


0以外


注意

“bdpp_start コマンド”と“bdpp_stop コマンド”が同時に実行された場合、マスタサーバの Hadoop の JobTracker、またはスレーブサー

バの Hadoop の TaskTracker の起動状態に不整合を生じることがあります。

この場合、“bdpp_stat -all コマンド”により状態を確認した上で、再度“bdpp_start コマンド”を実行することで、下表に示すようにマスタ

サーバの Hadoop の JobTracker、およびスレーブサーバの Hadoop の TaskTracker をすべて起動させることができます。

表A.1 “bdpp_stat -all コマンド”の状態と“bdpp_start コマンド”の実行結果

マスタサーバのJobTracker スレーブサーバのTaskTracker bdpp_startの実行結果

起動されていない起動されていない・マスタサーバのJobTracker、およびす

べてのスレーブサーバのTaskTrackerを起動する

一部のスレーブサーバで起動されている・マスタサーバのJobTracker、およびス

レーブサーバのうち未起動の

TaskTrackerを起動する

すべてのスレーブサーバで起動されている・マスタサーバのJobTrackerのみ起動す

る

起動されている起動されていない・ "bdpp: WARN : 001: bdpp Hadoop isalready started."メッセージの出力

・すべてのスレーブサーバの

TraskTrackerを起動する

- 93 -

マスタサーバのJobTracker スレーブサーバのTaskTracker bdpp_startの実行結果

一部のスレーブサーバで起動されている・ "bdpp: WARN : 001: bdpp Hadoop isalready started."メッセージの出力

・スレーブサーバのうち未起動の

TaskTrackerを起動する

すべてのスレーブサーバで起動されている・ "bdpp: WARN : 001: bdpp Hadoop isalready started."メッセージの出力のみ

A.1.12 bdpp_stat名前

/opt/FJSVbdpp/bin/bdpp_stat － Interstage Big Data Parallel Processing Server の状態確認

形式

bdpp_stat [-all]

機能説明

Hadoop の起動または停止状態を確認します。

オプション

-all

マスタサーバ上のJobTracker およびスレーブサーバ上の TaskTracker プロセスを表示します。


内容

プロセスが起動しているサーバ名

プロセスを起動したユーザ名(mapred固定)

プロセスが起動しているサーバ上のプロセスID

プロセス名(jobtrackerまたはtasktracker)

省略時

マスタサーバ上のJobTracker の状態を表示します。


権限

OS の管理者

実行環境

マスタサーバ



0

Hadoop は起動されています。

1

Hadoop は起動されていません。

- 94 -

表示例

-allを指定した場合

# /opt/FJSVbdpp/bin/bdpp_stat -all <Enter>








省略した場合

# /opt/FJSVbdpp/bin/bdpp_stat <Enter>


注意

“bdpp_stat コマンド”を複数同時に実行した場合、異常となることがあります。その場合には、改めて“bdpp_stat コマンド”をもう一度実

行してください。

A.1.13 bdpp_stop名前

/opt/FJSVbdpp/bin/bdpp_stop － Interstage Big Data Parallel Processing Server の停止

形式

bdpp_stop

機能説明

Hadoop を停止します。

マスタサーバの Hadoop の JobTracker、接続対象となるすべてのスレーブサーバの Hadoop の TaskTracker をそれぞれ停止しま

す。

オプション

ありません


権限

OS の管理者

実行環境

マスタサーバ



0


0以外


- 95 -

注意

“bdpp_start コマンド”と“bdpp_stop コマンド”が同時に実行された場合、マスタサーバの JobTracker、またはスレーブサーバの TaskTrackerの起動状態に不整合を生じることがあります。

この場合は、“bdpp_start コマンド”の注意を確認し、Hadoop の JobTracker および TrackTracker を再起動した上で、必要に応じて停

止してください。

A.2 定義ファイル

ここでは、本製品が提供する定義ファイルの概要について説明します。

定義ファイル一覧

定義ファイルファイル概要説明

bdpp.conf 構成ファイル本製品のインストールおよびセットアップに必要な情報を定義

するファイルです。

slaves スレーブサーバ定義ファイルマスタサーバの接続対象となるスレーブサーバを定義するファ

イルです。

clone.conf クローニングサーバ定義ファイルスマートセットアップのための、クローニングによるスレーブサー

バを追加・削除する際に定義するファイルです。

FJSVrcx.confネットワークパラメーター自動設定定

義ファイル

クローニング後にネットワークパラメーターを自動設定するため

の定義ファイルです。

ipaddr.confネットワークパラメーター自動設定定

義ファイル

クローニング後にネットワークパラメーターを自動設定するため

の定義ファイルです。

A.2.1 bdpp.conf本製品で使用する構成ファイル(bdpp.conf)について説明します。

ファイルの格納場所

・ /etc/opt/FJSVbdpp/conf/bdpp.conf

ポイント

bdpp.confファイルのひな形が、本製品の提供媒体(DVD-ROM)の“/DISK1/config_template”配下にサーバの種別単位に格納されて

います。該当のひな形をシステムの作業ディレクトリにコピーしてからパラメーターを編集して作成してください。

注意

インストール時は、任意のディレクトリに構成ファイルを作成してください。インストール前に環境変数“BDPP_CONF_PATH”に作成し

た構成ファイルの格納ディレクトリを指定する必要があります。

ファイル内容

本製品のインストールおよびセットアップに必要な情報を定義するファイルです。

各サーバ機能ごとにファイルを作成する必要があります。

注意

指定値が選択となっているパラメーターについては、“パラメーター=”までを記述し、値を省略してください。

- 96 -

省略時の例：

BDPP_PCL_ PRIMARY_CONNECT2=

【マスタサーバ】項番パラメーター必須／選択指定値(設定例) 説明

1 BDPP_CLUSTER_NAME 必須 cluster

クラスタに設定する仮想ホスト

名を指定します。

ホスト名は、先頭文字を英字

とし、半角英数字で構成され

た11文字以下の英数字で指

定してください。

2 BDPP_CLUSTER_IP 必須 10.10.10.1クラスタに設定する仮想IPアドレスを指定します。

3 BDPP_PRIMARY_NAME 必須 master1

マスタサーバ(プライマリ)の代

表ホスト名を指定します。





4 BDPP_PRIMARY_IP 必須 10.10.10.11

マスタサーバ(プライマリ)の業

務LANに接続する代表IPアド

レスを指定します。

(図中の業務LAN1に接続す

るIPアドレス)

5 BDPP_PRIMARY_ADM_IP 必須 192.168.1.1

マスタサーバ(プライマリ)の管

理LANに接続するIPアドレス

を指定します。

(図中の管理LANに接続する

IPアドレス)

6 BDPP_SECONDARY_NAME 必須 master2

マスタサーバ(セカンダリ)の代

表ホスト名を指定します。





7 BDPP_SECONDARY_IP 必須 10.10.10.12

マスタサーバ(セカンダリ)の業

務LANに接続する代表IPアド

レスを指定します。


るIPアドレス)

8 BDPP_ SECONDARY_ADM_IP 必須 192.168.1.2

マスタサーバ(セカンダリ)の管

理LANに接続するIPアドレス


(図中の管理LANに接続する

IPアドレス)

9 BDPP_PCL_CLUSTER_GROUP 必須 bdppclusterクラスタに設定するクラスタグ

ループ名を指定します。

10 BDPP_PCL_PRIMARY_iRMC_IP 必須 192.168.1.11マスタサーバ(プライマリ)のリ

モートマネージメントコントロー

- 97 -

項番パラメーター必須／選択指定値(設定例) 説明

ラーのIPアドレスを指定しま

す。

11 BDPP_PCL_PRIMARY_iRMC_ACCOUNT 必須 root

マスタサーバ(プライマリ)のリ


ラーのアカウントを指定しま

す。

12 BDPP_PCL_PRIMARY_iRMC_PASS 必須 password

マスタサーバ(プライマリ)のリ


ラーのパスワードを指定しま

す。

13 BDPP_PCL_SECONDARY_iRMC_IP 必須 192.168.1.12

マスタサーバ(セカンダリ)のリ


ラーのIPアドレスを指定しま

す。

14BDPP_PCL_SECONDARY_iRMC_ACCOUNT

必須 root



ラーのアカウントを指定しま

す。

15 BDPP_PCL_SECONDARY_iRMC_PASS 必須 password



ラーのパスワードを指定しま

す。

16 BDPP_PCL_PRIMARY_CIP 必須 192.168.2.11

マスタサーバ(プライマリ)のCIP(クラスタインタコネクトプロ

トコル)に使用するIPアドレス

(*)を指定します。

17 BDPP_PCL_SECONDARY_CIP 必須 192.168.2.12

マスタサーバ(セカンダリ)のCIP(クラスタインタコネクトプロ

トコル)に使用するIPアドレス

(*)を指定します。

18 BDPP_PCL_ PRIMARY_CONNECT1 必須 eth5クラスタ間の接続に使用する

マスタサーバ(プライマリ)側の

NIC名(NIC5)を指定します。

19 BDPP_PCL_ PRIMARY_CONNECT2 選択 eth6クラスタ間の接続に使用する

マスタサーバ(プライマリ)側の


20 BDPP_PCL_ SECONDARY_CONNECT1 必須 eth5クラスタ間の接続に使用する

マスタサーバ(セカンダリ)側の


21 BDPP_PCL_ SECONDARY_CONNECT2 選択 eth6クラスタ間の接続に使用する

マスタサーバ(セカンダリ)側の


22 BDPP_GLS_ PRIMARY_CONNECT1 必須 eth1

スレーブサーバ間の接続に使

用するマスタサーバ(プライマ

リ)のNIC名(NIC1)を指定しま

す。


るNIC)

23 BDPP_GLS_ PRIMARY_CONNECT2 選択 eth2スレーブサーバ間の接続に使

用するマスタサーバ(プライマ

- 98 -



す。


るNIC)

24 BDPP_GLS_ SECONDARY_CONNECT1 必須 eth1


用するマスタサーバ(セカンダ


す。


るNIC)

25 BDPP_GLS_ SECONDARY_CONNECT2 選択 eth2


用するマスタサーバ(セカンダ


す。


るNIC)

26 BDPP_GLS_POLLING1_IP 必須 10.10.10.100

監視先HUBホストのIPアドレ

スを指定します。

(図中の業務LAN1上の監視

先HUBホスト)

27 BDPP_GLS_POLLING2_IP 選択 10.10.10.101




先HUBホスト)

28 BDPP_DISKARRAY_iSCSI1_IP 必須 10.10.11.11

接続するストレージシステムの

ディスクアレイのiSCSI-CAポートのIPアドレスを指定しま

す。

29 BDPP_DISKARRAY_iSCSI2_IP 選択 10.10.12.11

ストレージシステムとの接続を

二重化している場合、接続す

るストレージシステムのディス

クアレイのiSCSI-CAポートの

もう一方のIPアドレスを指定し

ます。

30 BDPP_ROR_ADMIN_IP 必須 192.168.1.1

RORのインストール時に指定

するマスタサーバ(プライマリ)の管理LANのIPアドレスを指

定します。

31 BDPP_ROR_ADMIN_ACCOUNT 必須 rootRORのインストール時に指定

する自サーバのアカウントを

指定します。

32 BDPP_ROR_ADMIN_PASS 必須 passwordRORのインストール時に指定

する自サーバのパスワードを

指定します。

33 BDPP_PDFS_FILESYSTEM 必須 YESファイルシステムとして、DFSを使用する場合にYES(yesも可)を指定します。

34 BDPP_PDFS_MOUNTPOINT 選択 /mnt/pdfsDFSのマウントポイントを指定

します。

- 99 -


本パラメーターは、

BDPP_PDFS_FILESYSTEMにYESを指定した場合、必

須となります。

35 BDPP_HADOOP_DEFAULT_USERS 選択 bdppuser1,1500

MapReduceの実行およびファ

イルシステム(DFS)へのアクセ

ス権を持つユーザIDを登録

する場合にユーザ名および

UIDを指定します。

ユーザIDを複数登録したい

場合には、“ ”(空白)区切りで

ユーザ名とUIDを複数指定し

ます。

例

bdppuser1,1500bdppuser2,1501bdppuser2,1502

36 BDPP_HADOOP_DEFAULT_GROUP 選択 bdppgroup,1500

MapReduceの実行およびファ

イルシステム(DFS)へのアクセ

スするためのユーザグループ

名およびGIDを登録する場合

に指定します。

37 BDPP_HADOOP_TOP_DIR 選択 /hadoop

ファイルシステム(DFS)上の

Hadoopで利用するデータを

格納するための上位ディレ

クトリ名を指定します。

ここで指定されたディレクトリ

配下にHadoopで利用する

データの格納やHadoopで処

理された結果データが格納さ

れます。

*：インタコネクトのプライベートIPインターフェースは、プライベートネットワーク用に用意されたIPアドレスを使用することにより、

構成が可能です。

- 100 -

図A.1 マスタサーバのネットワーク構成とbdpp.confパラメーター

【スレーブサーバ】項番パラメーター必須／選択指定値(設定例) 説明


マスタサーバのbdpp.confのBDPP_CLUSTER_NAMEパラメーターに指定した値を指

定します。

2 BDPP_CLUSTER_IP 必須 10.10.10.1

マスタサーバのbdpp.confのBDPP_CLUSTER_IPパラ

メーターに指定した値を指定

します。


マスタサーバのbdpp.confのBDPP_PRIMARY_NAMEパラメーターに指定した値を

指定します。


マスタサーバのbdpp.confのBDPP_SECONDARY_NAMEパラメーターに指定した値


5 BDPP_SERVER_NAME 必須 slave1

スレーブサーバの代表ホスト

名を指定します。



- 101 -




6 BDPP_SERVER_IP 必須 10.10.10.21スレーブサーバの業務LANに接続する代表IPアドレスを

指定します。

7 BDPP_GLS_ SERVER_CONNECT1 選択 eth1


用するスレーブサーバのNIC名(NIC1)を指定します。


るNIC)

8 BDPP_GLS_ SERVER_CONNECT2 選択 eth2


用するスレーブリサーバの



るNIC)

9 BDPP_GLS_SERVER_POLLING1_IP 選択 10.10.10.100




先HUBホスト)

10 BDPP_GLS_SERVER_POLLING2_IP 選択 10.10.10.101




先HUBホスト)

11 BDPP_ROR_ADMIN_IP 必須 192.168.1.1

マスタサーバのbdpp.confのBDPP_ROR_ADMIN_IPパラメーターに指定した値を指

定します。

12 BDPP_PDFS_FILESYSTEM 必須 YES

マスタサーバのbdpp.confのBDPP_PDFS_FILESYSTEMパラメーターに指定した値


13 BDPP_PDFS_MOUNTPOINT 選択 /mnt/pdfs

マスタサーバのbdpp.confのBDPP_PDFS_MOUNTPOINTパラメーターに指定した値を

指定します。


マスタサーバのbdpp.confのBDPP_HADOOP_DEFAULT_USERSパラメーターに指

定した値を指定します。


マスタサーバのbdpp.confのBDPP_HADOOP_DEFAULT_GROUPパラメーターに指

定した値を指定します


マスタサーバのbdpp.confのBDPP_HADOOP_TOP_DIRパラメーターに指定した値を

指定します。

- 102 -

図A.2 スレーブサーバのネットワーク構成とbdpp.confパラメーター

【開発実行環境サーバ】項番パラメーター必須／選択指定値(設定例) 説明


マスタサーバのbdpp.confのBDPP_CLUSTER_NAMEパラメーターに指定した値を指

定します。

2 BDPP_CLUSTER_IP 必須 10.10.10.1

マスタサーバのbdpp.confのBDPP_CLUSTER_IPパラ

メーターに指定した値を指定

します。


マスタサーバのbdpp.confのBDPP_PRIMARY_NAMEパラメーターに指定した値を

指定します。


マスタサーバのbdpp.confのBDPP_SECONDARY_NAMEパラメーターに指定した値


5 BDPP_SERVER_NAME 必須 develop

開発実行環境サーバの代表

ホスト名を指定します。





6 BDPP_SERVER_IP 必須 10.10.10.30開発実行環境サーバの代表

IPアドレスを指定します。

- 103 -



ファイルシステムとして、PDFSを使用する場合にYES(yesも可)を指定します。

本パラメーターは、マスタサー

バの設定に合わせる必要が

あります。


PDFSのマウントポイントを指

定します。






あります。









指定します。

図A.3 開発実行環境サーバのネットワーク構成とbdpp.confパラメーター



1 BDPP_SERVER_NAME 必須 colｌaborate連携サーバの代表ホスト名を

指定します。

- 104 -






2 BDPP_SERVER_IP 必須 10.10.10.31連携サーバの代表IPアドレス



ファイルシステムとして、PDFSを使用する場合にYES(yesも可)を指定します。



あります。


PDFSのマウントポイントを指

定します。






あります。









指定します。

- 105 -

図A.4 連携サーバのネットワーク構成とbdpp.confパラメーター

定義例


BDPP_CLUSTER_NAME=cluster

BDPP_CLUSTER_IP=10.10.10.1

BDPP_PRIMARY_NAME=master1

BDPP_PRIMARY_IP=10.10.10.11

BDPP_PRIMARY_ADM=192.168.1.1

BDPP_SECONDARY_NAME=master2

BDPP_SECONDARY_IP=10.10.10.12

BDPP_SECONDARY _ADM=192.168.1.2

BDPP_PCL_CLUSTER_GROUP=bdppcluster

BDPP_PCL_PRIMARY_iRMC_IP=192.168.1.11

BDPP_PCL_PRIMARY_iRMC_ACCOUNT=irmc

BDPP_PCL_PRIMARY_iRMC_PASS=password

BDPP_PCL_SECONDARY_iRMC_IP=192.168.1.12

BDPP_PCL_SECONDARY_iRMC_ACCOUNT=irmc

BDPP_PCL_SECONDARY_iRMC_PASS=password

BDPP_PCL_PRIMARY_CIP=192.168.2.11

BDPP_PCL_SECONDARY_CIP=192.168.2.12

BDPP_PCL_PRIMARY_CONNECT1=eth5

BDPP_PCL_PRIMARY_CONNECT2=eth6

BDPP_PCL_SECONDARY_CONNECT1=eth5

BDPP_PCL_SECONDARY_CONNECT2=eth6

BDPP_GLS_PRIMARY_CONNECT1=eth1

BDPP_GLS_PRIMARY_CONNECT2=eth2

BDPP_GLS_SECONDARY_CONNECT1=eth1

BDPP_GLS_SECONDARY_CONNECT2=eth2

BDPP_GLS_POLLING1_IP=10.10.10.100


BDPP_DISKARRAY_iSCSI1_IP=10.10.11.11

BDPP_DISKARRAY_iSCSI2_IP=10.10.12.11

BDPP_ROR_ADMIN_IP=192.168.1.1

BDPP_ROR_ADMIN_ACCOUNT=admin

BDPP_ROR_ADMIN_PASS=password

BDPP_PDFS_FILESYSTEM=YES

BDPP_PDFS_MOUNTPOINT=/mnt/pdfs

BDPP_HADOOP_DEFAULT_USERS=bdppuser1,1500

BDPP_HADOOP_DEFAULT_GROUP=bdppgroup,1500

BDPP_HADOOP_TOP_DIR=/hadoop

- 106 -






BDPP_SERVER_NAME=slave1

BDPP_SERVER_IP=10.10.10.21

BDPP_GLS_SERVER_CONNECT1=eth1

BDPP_GLS_SERVER_CONNECT2=eth2



BDPP_ROR_ADMIN_IP=192.168.1.1











BDPP_SERVER_NAME=develop








BDPP_SERVER_NAME=collaborate







A.2.2 slaves本製品で使用する接続対象スレーブサーバ定義ファイル(slaves)について説明します。


・ /etc/opt/FJSVbdpp/conf/slaves

ファイル内容

接続対象となるスレーブサーバを定義します。接続対象のスレーブサーバが複数台の場合は、カンマで区切って定義します。

定義例

slave1,slave2,slave3,slave4,slave5

- 107 -

A.2.3 clone.conf本製品で使用するクローニングサーバ定義ファイル(clone.conf)について説明します。


・任意のディレクトリ

ファイル内容

クローニングイメージを採取するスレーブサーバ、およびスマートセットアップを利用して追加するスレーブサーバを定義します。構

成定義ファイルは、1行ごとに定義する項目をカンマ(",")区切りで記述します。

各行は、以下の形式で記述します。

ファイル形式の定義

ファイルの先頭の1行は、必ず以下の内容で始めてください。

RCXCSV,V3.4

コメント

以下の内容の行はコメントとみなしてスキップされます。

- 行頭の文字がコメント記号("#")で始まる文字列の行

例

#開発環境の定義

- 空白(" ")、タブ記号、改行だけの行

- カンマ(",")だけの行

- 認識できないリソース定義

リソース定義

SeverセクションおよびServerAgentセクションを定義します。

【セクション名】

[Server]を指定します。

【セクションヘッダー】

セクションヘッダーおよび指定値には、以下を指定します。

セクションヘッダー指定値(設定例) 内容

operation new

リソースの操作内容として、以下を指定します。

登録：new

変更：change

ハイフン("-")：何もしない

chassis_name －この情報は、省略してください。

slot_no －この情報は、省略してください。

server_name slave1

スレーブサーバの管理 LAN に接続する NIC に対応す

るホスト名を指定します。

ホスト名は、先頭文字を英字とし、半角英数字で構成さ

れた11文字以内の文字列を指定してください。

- 108 -


注意

スレーブサーバのホスト名は、15文字以内であれば、入

力は可能ですが、マスタサーバでは11文字以内とする必

要があるため、システム間で整合を取るためにスレーブ

サーバのホスト名についても11文字以内となるように指定

してください。

ip_address 192.168.1.13スレーブサーバの管理LANに接続する NIC に割り振っ

た IP アドレスを指定します。

mac_addressA0-A0-A0-A0-A0-

A0

管理 LAN に接続する NIC の MAC アドレスを指定しま

す。

ハイフン("-")またはコロン(":")で区切られた形式("xx-xx-xx-xx-xx-xx"または"xx:xx:xx:xx:xx:xx")で入力します。

second_mac_address －この情報は、省略してください。

snmp_community_name public

サーバに設定されている SNMP コミュニティー名(参照

権)を指定します。

半角英数字、アンダースコア("_")およびハイフン("-")で構成された32文字以内の文字列を指定します。

ipmi_ip_address 10.10.10.13サーバを管理するリモートマネジメントコントローラーの IPアドレスを指定します。

ipmi_user_name admin

サーバを管理するリモートマネジメントコントローラーの

Administrator 権限以上を持つユーザー名を指定します。

半角英数字および記号が ASCII 文字(0x20～0x7e)で構

成された16文字以内の文字列を指定します。

ipmi_passwd admin

サーバを管理するリモートマネジメントコントローラーのパ

スワードを指定します。

半角英数字および記号が ASCII 文字(0x20～0x7e)で構

成された16文字以内の文字列を指定します。

パスワードが設定されていない場合は指定する必要はあ

りません。

注意

すでに17文字以上のパスワードをリモートマネジメントコ

ントローラーに設定している場合、新規ユーザーを追加

するか、16文字以内に再設定してください。

ipmi_passwd_enc plain

以下のどちらかを指定します。

・ ipmi_passwd の文字列が平文の場合： "plain"

・暗号化されている場合： "encrypted"

admin_lan1_nic_number －この情報は、省略してください。

admin_lan2_nic_number －この情報は、省略してください。

admin_lan_nic_redundancy OFF この情報は、OFF を指定してください。

【セクション名】

[ServerAgent]を指定します。

- 109 -

【セクションヘッダー】

セクションヘッダーおよび指定値には、以下を指定します。


operation new

リソースの操作内容として、以下を指定します。

登録：new

変更：change

ハイフン("-")：何もしない

server_name slave1

クローニングイメージを採取するスレーブサーバの管理

LANに接続するNICに対応するホスト名を指定します。

ホスト名は、先頭文字を英字とし、半角英数字で構成さ

れた11文字以下の英数字で指定してください。

定義例

RCXCSV,V3.4

[Server]

operation,chassis_name,slot_no,server_name,ip_address,mac_address,second_mac_address,snmp_community_name,ipmi_ip_addr

ess,ipmi_user_name,ipmi_passwd,ipmi_passwd_enc,admin_lan1_nic_number,admin_lan2_nic_number,admin_lan_nic_redundancy

new,,,slave1, 10.10.10.13,A0:A0:A0:A0:A0:A1,,public,192.168.1.13,admin,admin,plain,,,OFF





[ServerAgent]


new,slave1

A.2.4 FJSVrcx.confクローニング後にネットワークパラメーターを自動設定するための定義ファイル(FJSVrcx.conf)について説明します。

ファイル内容

admin_LAN=192.168.1.11

hostname=slave1

－ admin_LAN

クローニングイメージを採取するスレーブサーバの管理 LAN の IP アドレスを指定します。

－ hostname

クローニングイメージを採取するスレーブサーバのホスト名を指定します。

ホスト名は、先頭文字を英字とし、半角英数字で構成された11文字以下の英数字で指定してください。

A.2.5 ipaddr.confクローニング後にネットワークパラメーターを自動設定するための定義ファイル(ipaddr.conf)について説明します。

ファイル内容

スマートセットアップによってスレーブサーバを追加する際に、クローンイメージを採取するサーバおよび配付するサーバすべての

スレーブサーバにおける業務LANを定義します。定義ファイルは、以下のエントリーで構成されます。

－ 1つ以上のノードエントリー

- 110 -

－ノードエントリー配下に1つ以上のインターフェースエントリー(冗長化無/有)

ノードエントリー

以下の表に示す定義キーワードに対応する設定値を記述してください。

注意

ここでは、将来追加する可能性があるサーバ名も含めて、サーバ1台ごとに1エントリーずつすべて記述してください。

定義内容キーワード設定値説明

スレーブサーバ名 NODE_NAME スレーブサーバ名スレーブサーバの登録時に設定したサーバ名

を設定します。

インターフェースエントリー(冗長化無)


インターフェース名ごとに各定義キーワードの末尾に0～99の数字を付けて定義してください。

注意

各定義キーワードの末尾に付ける数字は、必ず0から昇順の値を使用してください。


インターフェース名 IF_NAME ethX Xは0以上の整数です。

IPアドレス IF_IPADxxx.xxx.xxx.xxx形式

のIPアドレス-

サブネットマスク IF_MASKxxx.xxx.xxx.xxx形式

のサブネットマスク-

インターフェースエントリー(冗長化有)


インターフェース名ごとに各定義キーワードの末尾に0～99の数字を付けて定義してください。

同一ノードエントリー内でインターフェース名が重複しないインターフェースエントリー(冗長化無)と混在して定義できます。

注意

各定義キーワードの末尾に付ける数字は、必ず0から昇順の値を使用してください。

冗長化無のインターフェースと混在する場合、冗長化無インターフェースと併せて昇順に値を設定してください。


仮想インターフェース

名VIF_NAME shaX Xは0～255の整数です。

仮想インターフェース

に設定するIPアドレスVIF_IPAD

xxx.xxx.xxx.xxx形式

のIPアドレス-

サブネットマスク VIF_MASKxxx.xxx.xxx.xxx形式

のサブネットマスク-

プライマリーインター

フェース名PRI_NAME

インターフェース名

(ethX)Xは0以上の整数です。

- 111 -


ペアになるインターフェース名のうち、プライマ

リーのインターフェース名を設定します。

セカンダリインター

フェース名SCD_NAME

インターフェース名

(ethY)

Yは0以上の整数です。

ペアになるインターフェース名のうち、セカン

ダリのインターフェース名を設定します。

監視先IPアドレス POL_ADDRxxx.xxx.xxx.xxx形式

のIPアドレス

カンマ(“,”)区切りで2つまで指定できます。

HUB-HUB間監視を行う場合、監視先を2つ指


待機パトロール用の仮

想インターフェース名PAT_NAME shaY

Yは0～255の整数です。

仮想インターフェース名とは異なる値を指定し

てください。

待機パトロールを設定しない場合、何も設定

しないでください。

HUB-HUB間監視の

有無POL_HUBS ON/OFF

HUB-HUB間監視を行う場合はONを、行わな

い場合はOFFを指定します。

本定義では、監視先を2つ指定した場合だけ

有効です。

監視先を1だけ指定した場合、本定義は無効

になり、OFFとして処理されます。

定義例

NODE_NAME="slave1" ← クローニングイメージを採取するスレーブサーバ

VIF_NAME0="sha0"

VIF_IPAD0="192.168.20.11"

VIF_MASK0="255.255.255.0"

PRI_NAME0="eth2"

SCD_NAME0="eth3"

POL_ADDR0="192.168.20.100,192.168.20.200"

PAT_NAME0="sha1"

POL_HUBS0="ON"

NODE_NAME="slave2" ← クローニングイメージの配付対象のスレーブサーバ

VIF_NAME0="sha0"

VIF_IPAD0="192.168.20.12"

VIF_MASK0="255.255.255.0"

PRI_NAME0="eth2"

SCD_NAME0="eth3"

POL_ADDR0="192.168.20.100,192.168.20.200"

PAT_NAME0="sha1"

POL_HUBS0="ON"


VIF_NAME0="sha0"

VIF_IPAD0="192.168.20.13"

VIF_MASK0="255.255.255.0"

PRI_NAME0="eth2"

SCD_NAME0="eth3"

POL_ADDR0="192.168.20.100,192.168.20.200"

PAT_NAME0="sha1"

POL_HUBS0="ON"


VIF_NAME0="sha0"

VIF_IPAD0="192.168.20.14"

- 112 -

VIF_MASK0="255.255.255.0"

PRI_NAME0="eth2"

SCD_NAME0="eth3"

POL_ADDR0="192.168.20.100,192.168.20.200"

PAT_NAME0="sha1"

POL_HUBS0="ON"


VIF_NAME0="sha0"

VIF_IPAD0="192.168.20.15"

VIF_MASK0="255.255.255.0"

PRI_NAME0="eth2"

SCD_NAME0="eth3"

POL_ADDR0="192.168.20.100,192.168.20.200"

PAT_NAME0="sha1"

POL_HUBS0="ON"

A.3 ポート一覧

本製品で使用するポートについて説明します。

表A.2 マスタサーバ

機能概要

送信元送信先プロトコ

ルサーバサービスポート変更サー

バサービスポート変更

バックアッ

プ・リストア、

クローニン

グ

マスタ

サーバ－ 4972 不可

ス

レー

ブ

サー

バ

－ 4973 不可 udp

スレー

ブサー

バ

－ 4973 不可マス

タ

サー

バ

－ 4972 不可 udp

bootpc 68 不可 bootpc 67 不可 udp

－不定値－ pxc 4011 不可 udp

－不定値－ tftp 69 不可 udp

マスタ

サーバ－不定値－

マス

タ

サー

バ

－ 4971 不可ｔｃｐ

バックアップ

クローニン

グ採取

マスタ

サーバ－

4974~4989

－

マス

タ

サー

バ

－4974~4989

－ udp

バックアップ

クローニン

グ配付

スレー

ブサー

バ

－不定値－

マス

タ

サー

バ

－4974~4989

－tcp

udp

Hadoop

スレー

ブサー

バ

Hadoop(DataNode)

不定不可マス

タ

サー

バ

Hadoop(NameNode) (*)

8020 不可 tcp開発実

行環境

サーバ

Hadoop(Client)

不定不可

- 113 -

機能概要




開発実

行環境

サーバ

Hadoop(Client)

不定不可

ス

レー

ブ

サー

バ

Hadoop(DataNode) (*)

50010 不可 tcp

スレー

ブサー

バ

Hadoop(DataNode)

不定不可ス

レー

ブ

サー

バ



行環境

サーバ

Hadoop(Client)

不定不可

マスタ

サーバ

Hadoop(SecondaryNodeName)

不定不可マス

タ

サー

バ



行環境

サーバ

Hadoop(Client)

不定不可

スレー

ブサー

バ

Hadoop(DataNode)

不定不可ス

レー

ブ

サー

バ



行環境

サーバ

Hadoop(Client)

不定不可

マスタ

サーバ

Hadoop(NodeName)

不定不可

マス

タ

サー

バ

Hadoop(Secondary

NodeName) (*)50090 不可 tcp

マスタ

サーバ


不定不可マス

タ

サー

バ



行環境

サーバ

Hadoop(Client)

不定不可

スレー

ブサー

バ

Hadoop(DataNode)

不定不可ス

レー

ブ

サー

バ



行環境

サーバ

Hadoop(Client)

不定不可

スレー

ブサー

バ

Hadoop(TaskTracker)

不定不可

マス

タ

サー

バ Hadoop(JobTracker)

9000 不可 tcp

開発実

行環境

サーバ

Hadoop(Client)

不定不可

マス

タ

サー

バ

- 114 -

機能概要




開発実

行環境

サーバ

Hadoop(Client)

不定不可

マス

タ

サー

バ

Hadoop(JobTracker)

50030 不可 tcp

スレー

ブサー

バ

Hadoop(TaskTracker)

不定不可

ス

レー

ブ

サー

バ

Hadoop(TaskTracker)

50060 不可 tcp

スレー

ブサー

バ

HBbase(RegionServer)

不定不可マス

タ

サー

バ

HBase(Hmaster)

(BackupHmaster)60000 不可 tcp

開発実

行環境

サーバ

HBase(Client)

不定不可

開発実

行環境

サーバ

HBase(Client)

不定不可

マス

タ

サー

バ

HBase(Hmaster)


マスタ

サーバ

HBase

(Hmaster)

(BackupHmaster)

不定不可

ス

レー

ブ

サー

バ

HBase

(RegionServer)60020 不可 tcp

スレー

ブサー

バ

HBase

(RegionServer)不定不可

開発実

行環境

サーバ

HBase

(Client)不定不可

開発実

行環境

サーバ

HBase


ス

レー

ブ

サー

バ

HBase


マスタ

サーバ

HBase

(Hmaster)

(BackupHmaster)

不定不可

ス

レー

ブ

サー

バ

ZooKeeper 2081 不可 tcpスレー

ブサー

バ

HBase


開発実

行環境

サーバ

HBase


スレー

ブサー

バ

ZooKeeper 不定不可

ス

レー

ブ

サー

バ

ZooKeeper 2888 不可 tcp

- 115 -

機能概要




スレー

ブサー

バ

ZooKeeper 不定不可

ス

レー

ブ

サー

バ


表A.3 スレーブサーバ

機能概要




クローニング

マスタ

サーバ－ 4972 不可

ス

レー

ブ

サー

バ

－ 4973 不可 udp

スレーブ

サーバ

－ 4973 不可マス

タ

サー

バ

－ 4972 不可 udp

－不定値－ tftp 69 不可 udp

Hadoop

スレーブ

サーバ

Hadoop(DataNode)

不定不可マス

タ

サー

バ



行環境

サーバ

Hadoop(Client)

不定不可

開発実

行環境

サーバ

Hadoop(Client)

不定不可

ス

レー

ブ

サー

バ


50010 不可 tcp

スレーブ

サーバ

Hadoop(DataNode)

不定不可ス

レー

ブ

サー

バ



行環境

サーバ

Hadoop(Client)

不定不可

マスタ

サーバ


不定不可マス

タ

サー

バ



行環境

サーバ

Hadoop(Client)

不定不可

スレーブ

サーバ

Hadoop(DataNode)

不定不可ス

レー

ブ

サー

バ



行環境

サーバ

Hadoop(Client)

不定不可

マスタ

サーバ

Hadoop(NodeName)

不定不可マス

タ

Hadoop(Secondary

NodeName) (*)50090 不可 tcp

- 116 -

機能概要




サー

バ

マスタ

サーバ


不定不可マス

タ

サー

バ



行環境

サーバ

Hadoop(Client)

不定不可

スレーブ

サーバ

Hadoop(DataNode)

不定不可ス

レー

ブ

サー

バ



行環境

サーバ

Hadoop(Client)

不定不可

スレーブ

サーバ

Hadoop(TaskTracker)

不定不可

マス

タ

サー

バ Hadoop(JobTracker)

9000 不可 tcp

開発実

行環境

サーバ

Hadoop(Client)

不定不可

マス

タ

サー

バ

開発実

行環境

サーバ

Hadoop(Client)

不定不可

マス

タ

サー

バ

Hadoop(JobTracker)

50030 不可 tcp

スレーブ

サーバ

Hadoop(TaskTracker)

不定不可

ス

レー

ブ

サー

バ

Hadoop(TaskTracker)

50060 不可 tcp

スレーブ

サーバ

HBase(RegionServer)

不定不可マス

タ

サー

バ

HBase(Hmaster)

(BackupHmaster)60000 不可 tcp開発実

行環境

サーバ

HBase(Client)

不定不可

開発実

行環境

サーバ

HBase(Client)

不定不可

マス

タ

サー

バ

HBase(Hmaster)


マスタ

サーバ

HBase

(Hmaster)

(BackupHmaster)

不定不可ス

レー

ブ

サー

バ

HBase


スレーブ

サーバ

HBase


- 117 -

機能概要




開発実

行環境

サーバ

HBase


開発実

行環境

サーバ

HBase


ス

レー

ブ

サー

バ

HBase


マスタ

サーバ

HBase

(Hmaster)

(BackupHmaster)

不定不可

ス

レー

ブ

サー

バ

ZooKeeper 2081 不可 tcpスレーブ

サーバ

HBase


開発実

行環境

サーバ

HBase


スレーブ

サーバZooKeeper 不定不可

ス

レー

ブ

サー

バ


スレーブ

サーバZooKeeper 不定不可

ス

レー

ブ

サー

バ


A.4 システムパラメーターのチューニング

チューニングが必要なシステムパラメーターとその値については、以下の「A.4.1 システムパラメーターのチューニング値」を参照してく

ださい。

パラメーターの"種別"により、以下のように設定してください。

・種別が" 大"の場合

すでに設定されている値（初期値または以前の設定値）が表の値以上の場合は変更不要です。表の値より小さい場合は、表の値

に変更してください。

・種別が"加算"の場合

すでに設定されている値（初期値または以前の設定値）に表の値を加算してください。加算する前にシステム上限値を確認し、加

算した値がシステム上限値を超える場合は、システム上限値を設定してください。

詳細については、「Linuxのマニュアル」などを参照してください。

A.4.1 システムパラメーターのチューニング値

- 118 -

マスタサーバ

共有メモリ

パラメーター説明設定値種別

kernel.shmmax 共有メモリの大セグメントサイズ 1048576＋2776×共用ディスク

デバイスのディスク

数(*)×3×2

大

kernel.shmmni 共有メモリセグメントの大数 30 大

*： “共用ディスクデバイスのディスク数”には、以下を指定します。

－ディスクアレイユニットの場合は論理ユニット数 (LUN)

－ディスクアレイユニット以外の場合は、物理ディスク数

セマフォ

セマフォの設定値は、各パラメーター値を以下の形式で指定します。

kernel.sem = SEMMSL値 SEMMNS値 SEMOPM値 SEMMNI値


SEMMSL値セマフォ識別子あたりの大セマフォ数変更なし－

SEMMNS値システム全体のセマフォ数 11

低41以上必要

加算

SEMOPM値セマフォコールあたりの大演算子数変更なし－

SEMMNI値システム全体のセマフォ演算子数 2

低22以上必要

加算

メッセージキュー


kernel.msgmax メッセージの大サイズ 16384 大

kernel.msgmnb 1つのメッセージキューに保持できるメッセージの

大値

4194304 大

kernel.msgmni システム全体のメッセージキューの大値 8192 大

スレーブサーバ／連携サーバ

セマフォ

セマフォの設定値は、各パラメーター値を以下の形式で指定します。

kernel.sem = SEMMSL値 SEMMNS値 SEMOPM値 SEMOPM値


SEMMSL値セマフォ識別子あたりの大セマフォ数変更なし－

SEMMNS値システム全体のセマフォ数 11

低41以上必要

加算

SEMOPM値セマフォコールあたりの大演算子数変更なし－

- 119 -


SEMOPM値システム全体のセマフォ演算子数 2

低22以上必要

加算

A.4.2 チューニング作業手順

1. 以下のコマンドを使用して、現在システムに設定されている該当するパラメーターの設定値を確認します。

/sbin/sysctl -a

例

# /sbin/sysctl -a

・・・

(省略)

・・・

kernel.sem = 250 32000 32 128

kernel.msgmnb = 4194304

kernel.msgmni = 8192

kernel.msgmax = 65536

kernel.shmmni = 4096

kernel.shmall = 4294967296

kernel.shmmax = 68719476736

・・・

(省略)

・・・

2. 「A.4.1 システムパラメーターのチューニング値」を参照し、現在の設定値と比較を行い、パラメーターごとに大、加算の種別を

考慮して、適切な設定値を算出します。

3. "/etc/sysctl.conf"を編集します。以下の例のように編集します。

例

kernel.sem = 250 32002 32 130




4. "/etc/sysctl/conf"へ編集内容が反映されていることを、以下のコマンドで確認します。

# /bin/cat /etc/sysctl.conf

5. 3.の設定を有効にするために、次のどちらかの方法を実行します。

－システムをリブートして設定を反映

# /sbin/shutdown -r now

－ /sbin/sysctl -p を使用して設定を反映

# /sbin/sysctl -p /etc/sysctl.conf (*)

*: このコマンドを使用した場合は、リブートの必要がありません。

- 120 -

6. 設定したシステムパラメーターが反映されていることを、以下のコマンドの出力で確認します。

# /sbin/sysctl -a

例

# /sbin/sysctl -a

・・・

(省略)

・・・

kernel.sem = 250 32002 32 130



kernel.msgmax = 65536


kernel.shmall = 4294967296

kernel.shmmax = 68719476736

・・・

(省略)

・・・

- 121 -

付録B メッセージ

本付録では、本製品で出力または表示されるメッセージについて説明します。

B.1 インストール時のメッセージ

ここでは、本製品のインストール時に出力または表示するメッセージについて説明します。

bdpp_inst: ERROR: 001: Configuration file bdpp.conf does not exist. 【メッセージの意味】

構成ファイル bdpp.conf が存在しません。

【対処方法】

bdpp.conf を作成し、bdpp.conf ファイルのパスを環境変数 BDPP_CONF_PATH に指定してください。

bdpp_inst: ERROR: 002: bdpp.conf parameter error. ($NUM: $LINE) 【メッセージの意味】

構成ファイル bdpp.conf 内の $NUM(行番号)：$LINE (パラメーターおよび指定値)に示すパラメーターに誤りがあります。

【対処方法】

bdpp.conf を参照してパラメーターを確認し、正しい内容に修正してください。

bdpp_inst: ERROR: 004: This server's IP does not match primary IP ($BDPP_PRIMARY_IP) nor secondaryIP ($BDPP_SECONDARY_IP). 【メッセージの意味】

マスタサーバをインストールしようとしているサーバの IP アドレスが、構成ファイル bdpp.conf に指定されたパラメーター

(BDPP_PRIMARY_IPまたはBDPP_SECONDARY_IP)の値と一致しません。

【対処方法】

以下に示す、いずれかの内容を確認して対処を行ってください。

・構成ファイル bdpp.conf に指定した BDPP_PRIMARY_IP または BDPP_SECONDARY_IP が業務 LAN の接続用に割り当て

られた IP アドレスと一致していないことが考えられます。

業務 LAN の接続用に割り当てられた IP アドレスが指定されているかを確認し、正しい値を指定してから、再度インストールを

実施してください。

・業務 LAN のネットワークインターフェースが活性化されているかを確認し、活性化されていない場合は、業務 LAN のネット

ワークインターフェースを活性化してから、再度インストールを実施してください。

例

# /etc/init.d/netowork restart <Enter>

bdpp_inst: ERROR: 005: The value is not specified for BDPP_PDFS_MOUNTPOINT. 【メッセージの意味】

“BDPP_PDFS_FILESYSTEM”で、DFS ファイルシステムを使用しようとしているにも関わらず、“BDPP_PDFS_MOUNTPOINT”にマウントポイントが指定されていません。

【対処方法】

“BDPP_PDFS_MOUNTPOINT” に PDFS のマウントポイントを指定してください。

- 122 -

bdpp_inst: ERROR: 010: Installation failed. ($PROCESS) 【メッセージの意味】

$PROCESS に示すインストール処理で失敗しました。

【対処方法】

・ $PROCESS が“groupadd”または、“useradd”の場合

groupadd コマンドまたは、 useradd コマンドの処理に失敗しています。 bdpp.conf ファイルに指定されている

“BDPP_HADOOP_GROUP”または、“BDPP_HADOOP_USER”の指定値が、すでにシステムに登録されていないかを確認

し、登録されている場合は削除してから、再度インストールを実施してください。

・ $PROCESS が“PDFS”の場合

ディレクトリ"/opt/FJSVpdfs"、"/etc/opt/FJSVpdfs"、"/var/opt/FJSVpdfs"、または"/etc/pdfs"が残ったままとなっていることが考えら

れます。バックアップが必要な場合はバックアップした後、該当のディレクトリを削除してから、インストーラーを再実行してくださ

い。

・ $PROCESS が“ServerView Resource Orchestrator”の場合

「2.3.3.1 必須ソフトウェアの入手と設定」－「必須ソフトウェアの入手」の「Microsoft LAN Manager モジュールの入手および展

開」に示す"Microsoft LAN Manager モジュール"が、システムの作業用ディレクトリ(/tmp)に存在しないことが考えられま

す。"Microsoft LAN Manager モジュール"をシステムの作業用ディレクトリ(/tmp)に配置してから、インストーラーを再実行してく

ださい。

・ $PROCESS が上記以外の場合

インストールログ“/var/tmp/bdpp_inst.log”を参照して、エラー原因を取り除いてから再度インストールを実施してください。

bdpp_inst: ERROR: 011: Uninstallation failed. ($PROCESS) 【メッセージの意味】

$PROCESSに示すアンインストーラー処理でアンインストールに失敗しました。

【対処方法】

インストールログ“/var/tmp/bdpp_inst.log”を参照して、エラー原因を取り除いてから再度アンインストールを実施してください。

bdpp_inst: ERROR: 101: Administrator privilege is required. 【メッセージの意味】

実行する利用者に管理者権限がありません。

【対処方法】

システム管理者権限で再実行してください。

bdpp_inst: ERROR: 102: $PKG package is not installed. 【メッセージの意味】

$PKGに示す必須パッケージがインストールされていません。

【対処方法】

$PKGに示す必須パッケージをインストールしてください。

注意

上記メッセージ以外のエラーメッセージが出力または表示された場合、当社技術員に連絡してください。

- 123 -

B.2 セットアップ時のメッセージ

ここでは、本製品のセットアップ時に出力または表示するメッセージについて説明します。

bdpp_setup: ERROR: 001: Setup of the cluster failed. 【メッセージの意味】

クラスタのセットアップに失敗しました。

【対処方法】

・ cluster_setup2 で、セットアップに失敗する場合

クラスタインタコネクトの NIC 設定が"ONBOOT=YES"になっていないことが考えられます。

"/etc/sysconfig/network-scripts"の"ifcfg-ethX"(*)の設定で"ONBOOT=YES"になっているかを確認し、"NO"の場合は"YES"に変更した後、ネットワークインターフェースを再起動してから、cluster_setup2 を再実行してください。

*: ethX は、クラスタインタコネクトで使用するネットワークインターフェースです。X は数字を指定します。

・上記以外の場合

本メッセージの前に出力されるメッセージを確認し、対処を行った上で再度クラスタのセットアップを実施してください。

bdpp_setup: ERROR: 002: Removal of the cluster failed. 【メッセージの意味】

クラスタのアンセットアップに失敗しました。

【対処方法】

本メッセージの前に出力されるメッセージを確認し、対処を行った上で再度クラスタのアンセットアップを実施してください。

bdpp_setup: ERROR: 003: Setup failed. ($PROCESS) 【メッセージの意味】

$PROCESSに示すセットアップ処理でセットアップに失敗しました。

【対処方法】

・ $PROCESS が “PRIMECLUSTER GLS”の場合

インストール後に再起動が行われていないことが考えられます。システムを再起動してから、再度セットアップを実施してくださ

い。

・ $PROCESS が上記以外の場合

セットアップログ“/var/opt/FJSVbdpp/log/bdpp_setup.log”を参照して、エラー原因を取り除いてから再度セットアップを実施して

ください。

bdpp_setup: ERROR: 004: Removal failed. ($PROCESS) 【メッセージの意味】

$PROCESSに示すアンセットアップ処理でアンセットアップに失敗しました。

【対処方法】

セットアップログ“/var/opt/FJSVbdpp/log/bdpp_setup.log”を参照して、エラー原因を取り除いてから再度アンセットアップを実施して

ください。

bdpp_setup: ERROR: 005: The slaves file is not in "/etc/opt/FJSVbdpp/conf". 【メッセージの意味】

“/etc/opt/FJSVbdpp/conf”配下にスレーブサーバ定義ファイル(slaves)がありません。

- 124 -

【対処方法】

スレーブサーバ定義ファイル(slaves)を作成し、“/etc/opt/FJSVbdpp/conf”配下に格納してください。

bdpp_setup: ERROR: 006: DFS is set up but it is not mounted. 【メッセージの意味】

DFS がマウントされていません。

【対処方法】

DFS をマウントしてください。

bdpp_setup: ERROR: 007: The mount point specified for fstab does not correspond with the value ofBDPP_PDFS_MOUNTPOINT. 【メッセージの意味】

fstab に指定されたマウントポイントと”BDPP_PDFS_MOUNTPOINT”の値が一致しません。

【対処方法】

fstab に指定したマウントポイントが構成ファイル(bdpp.conf)の”BDPP_PDFS_MOUNTPOINT”に指定されているかを確認し、正し

い値となるように修正してください。

bdpp_setup: WARN : 010: Setup or Removal has already been executed. 【メッセージの意味】

セットアップまたはアンセットアップ処理が、すでに実行されています。

bdpp_setup: ERROR: 101: Administrator privilege is required. 【メッセージの意味】


【対処方法】


注意

上記メッセージ以外のエラーメッセージが出力または表示された場合、当社技術員に連絡してください。

B.3 運用中に出力されるメッセージ

ここでは、本製品の運用中に出力または表示するメッセージについて説明します。

B.3.1 コマンド実行時のメッセージ

コマンド実行時に出力または表示するメッセージについて説明します。

bdpp: WARN : 001: bdpp Hadoop is already started. 【メッセージの意味】

Hadoop は、すでに起動されています。

bdpp: WARN : 002: bdpp Hadoop is already stopped. 【メッセージの意味】

Hadoop は、すでに停止しています。

- 125 -

bdpp: INFO : 003: bdpp Hadoop JobTracker is alive. 【メッセージの意味】

Hadoop のプロセス(JobTracker)は、起動中です。

bdpp: INFO : 004: bdpp Hadoop JobTracker is not alive. 【メッセージの意味】

Hadoop のプロセス(JobTracker)は、起動していません。

bdpp: ERROR: 005: bdpp Hadoop start failed ($PROCESS). 【メッセージの意味】

$PROCESS に示す Hadoop のプロセスの起動に失敗しました。

【対処方法】

・ファイアーウォール機能によって、必要な通信(ポート)が遮断されている可能性があります。「A.3 ポート一覧」を参照して、

Interstage Big Data Processing Server で使用するポートの接続を許可してから、もう一度コマンドを実行してください。

・ ssh デーモンが起動されていない、または ssh の通信に失敗していることが考えられます。ssh の設定を見直してから、もう一度

コマンドを実行してください。

・マスタサーバのプライマリ、セカンダリ間で、ssh がパスワードなしで通信できるように設定されていないことが考えられます。マ

スタサーバのプライマリ、セカンダリ間で、各サーバでそれぞれ公開鍵を作成し、ssh がパスワードなしで通信できるように設定

してから、もう一度コマンドを実行してください。

上記に該当しない場合には、ログ(“/var/opt/FJSVbdpp/log/bdpp_hadoop.log”)を参照し、Apache Hadoop のエラー内容および ApacheHadoop の関連ログを確認して対処を行ってから、もう一度コマンドを実行してください。

bdpp: ERROR: 006: bdpp Hadoop stop failed ($PROCESS). 【メッセージの意味】

$PROCESS に示す Hadoop のプロセスの停止に失敗しました。

【対処方法】

ログ(“/var/opt/FJSVbdpp/log/bdpp_hadoop.log”)を参照し、Apache Hadoop のエラー内容および Apache Hadoop の関連ログを確

認して対処を行ってから、もう一度コマンドを実行してください。

bdpp: ERROR: 010: clone.conf does not exist. 【メッセージの意味】

クローニングサーバ定義ファイル(clone.conf)が存在しません。

【対処方法】

クローニングサーバ定義ファイル(clone.conf)の存在するディレクトリを指定してください。クローニングサーバ定義ファイル(clone.conf)がない場合は、作成してください。

bdpp: ERROR: 011: Failed to get the information from slave server. 【メッセージの意味】

クローニング採取対象のスレーブサーバが登録できませんでした。

【対処方法】

クローニングサーバ定義ファイル(clone.conf)の設定内容に誤りがないか確認してください。

bdpp: ERROR: 012: Failed to get the list of slave servers.

- 126 -

【メッセージの意味】

サーバの情報が取得できませんでした。

【対処方法】

“bdpp_addserver コマンド”の実行結果を再確認し、もう一度コマンドを実行してください。

bdpp: ERROR: 013: server name and image name are needed to get the cloning image. 【メッセージの意味】

必要なパラメーターが指定されていません。

【対処方法】

コマンドの使用方法を確認してください。

bdpp: ERROR: 014: Failed to remove the slave server. 【メッセージの意味】

クローニング採取対象のスレーブサーバが削除できませんでした。

【対処方法】

ログ("/var/opt/FJSVbdpp/log/bdpp_ROR.log")およびシスログを参照して、メッセージプレフィックス"FJSVrcx:"の対処を行ってから、

もう一度コマンドを実行してください。

bdpp: ERROR: 015: Failed to create the slave server image. 【メッセージの意味】

クローニングイメージが採取できませんでした。

【対処方法】



・スレーブサーバのシステム BIOS の設定において、ブート順序の設定が管理 LAN で使用するネットワークインターフェースか

らのブートが初に設定されていないことが考えられます。スレーブサーバのシステム BIOS の設定を確認し、管理 LAN で使

用するネットワークインターフェースからのブートを初となるように設定してから、もう一度コマンドを実行してください。

上記に該当しない場合には、ログ("/var/opt/FJSVbdpp/log/bdpp_ROR.log")およびシスログを参照して、メッセージプレフィック

ス"FJSVrcx:"の対処を行ってから、もう一度コマンドを実行してください。

注意

clone.conf の定義誤り(MAC アドレスなど)やクローニングイメージの採取中のタイムアウトなど、クローニングイメージの採取に失敗

した場合、クローニングイメージの採取を行ったスレーブサーバのネットワークインターフェースが、クローニング処理によって“DHCP”の設定に変更されたままで終了することがあります。

この場合、対象のスレーブサーバにログインして、ネットワークインターフェースの設定を手動で復旧した上で、「4.6.1 ネットワーク

二重化・Hadoop のアンセットアップ」、および「4.2.3 ネットワーク二重化・Hadoop のセットアップ」を実施して再設定してください。

bdpp: ERROR: 016: Failed to get the list of server image. 【メッセージの意味】

クローニングイメージの情報が取得できませんでした。

【対処方法】

“bdpp_getimage コマンド”の実行結果を再確認し、もう一度コマンドを実行してください。

- 127 -

bdpp: ERROR: 017: Failed to remove the cloning image. 【メッセージの意味】

クローニングイメージを削除できませんでした。

【対処方法】



bdpp: ERROR: 018: Failed to deploy the slave server image. 【メッセージの意味】

クローニングイメージを配備できませんでした。

【対処方法】



・スレーブサーバのシステム BIOS の設定において、ブート順序の設定が管理 LAN で使用するネットワークインターフェースか

らのブートが初に設定されていないことが考えられます。スレーブサーバのシステム BIOS の設定を確認し、管理 LAN で使

用するネットワークインターフェースからのブートを初となるように設定してから、もう一度コマンドを実行してください。

・ログ ("/var/opt/FJSVbdpp/log/bdpp_ROR.log")にメッセージ”FJSVnrmp:ERROR:64780:invalid file format(file=ipaddr.conf,detail=line X)”(X は、ipaddr.confの行番号)が出力されている場合は、クローニングイメージを採取する際、ipaddr.conf ファイ

ルにクローニングイメージを採取するスレーブサーバの定義が含まれていないことが考えられます。

ipaddr.conf ファイルにクローニングイメージを採取するスレーブサーバの定義を含めた上で、「4.9.1.1.2 ネットワークパラメー

ター自動設定機能の登録」を再実行してから、クローニングイメージを再度採取し、クローニングイメージを配備してください。



bdpp: ERROR: 019: Failed to regist FJSVrcx.conf or ipaddr.conf in the slave server. 【メッセージの意味】

スレーブサーバにFJSVrcx.conf、またはipaddr.confが登録できませんでした。

【対処方法】



・ FJSVrcx.conf、またはipaddr.confファイルが存在しない、または指定されたパスに誤りがあることが考えられます。

FJSVrcx.conf、またはipaddr.confファイルがない場合はファイルを作成し、パスに誤りがある場合はパスを再確認してから、もう

一度コマンドを実行してください。



bdpp: ERROR: 020: Failed to change the cloning image directory. 【メッセージの意味】

クローニングイメージの格納ディレクトリが変更できませんでした。

【対処方法】



bdpp: INFO : 021: Processing was completed normally.

- 128 -

【メッセージの意味】

コマンド処理が正常に終了しました。

bdpp: ERROR: 101: Administrator privilege is required. 【メッセージの意味】


【対処方法】


B.3.2 その他のメッセージ

本製品のログ、またはシステムログ(“/var/log/messages”)に出力されるメッセージのうち、以下に示すメッセージプレフィックスのメッセー

ジについては機能毎の各マニュアルを参照してください。

プレフィックス機能参照するマニュアル

FJSVcluster

マスタサーバの切り替え

「PRIMECLUSTER 活用ガイド <メッセージ集>」の「第4章 FJSVcluster形式のメッセージ」

CF「PRIMECLUSTER 活用ガイド <メッセージ集>」の「5.1 CFメッセー

ジ」

SMAWsf「PRIMECLUSTER 活用ガイド <メッセージ集>」の「5.2 シャットダウン

機能メッセージ」

RMS「PRIMECLUSTER 活用ガイド <メッセージ集>」の「6.1 RMSメッセー

ジ」

"SDX: " または "sfdsk: "「PRIMECLUSTER Global Disk Services 説明書」の「付録 E GDSのメッセージ」

"sfcfs" または "sfxfs"「PRIMECLUSTER Global File Services 説明書」の「付録 A メッセー

ジ一覧」

hanet「PRIMECLUSTER Global Link Services 説明書（伝送路二重化機

能編）」の「"付録 A メッセージ一覧」

FJSVrcx: スマートセットアップServerView Resource Orchestrator Virtual Edition V3.0.0 メッセージ

集

- 129 -

付録C 必須パッケージ

本付録では、本製品が動作する基本ソフトウェアに必須となるパッケージについて説明しています。

C.1 必須パッケージ一覧

本製品を使用する場合、以下の必須パッケージが必要です。事前に必要なパッケージをインストールしてください。

インストールする必須パッケージのアーキテクチャーを丸括弧"()"内に示しています。

インストールするアーキテクチャーの指定がないものは、OSと同じアーキテクチャーのパッケージをインストールしてください。


ソフトウェア名必須パッケージ備考

Red Hat(R) Enterprise Linux(R) 6 (forIntel64)Red Hat(R) Enterprise Linux(R) 6.1 (forIntel64)Red Hat(R) Enterprise Linux(R) 6.2 (forIntel64)

kernel-devel －

compat-libstdc++-33(i686) －

ruby －

alsa-lib(i686) －

apr(i686) －

apr-util(i686) －

compat-expat1(i686) －

compat-libtermcap(i686) －

compat-openldap(i686) －

compat-readline5(i686) －

cyrus-sasl-lib(i686) －

db4(i686) －

expat(i686) －

glibc(i686) －

keyutils-libs(i686) －

krb5-libs(i686) －

libcom_err(i686) －

libgcc(i686) －

libICE(i686) －

libselinux(i686) －

libSM(i686) －

libstdc++(i686) －

libtool-ltdl(i686) －

libuuid(i686) －

libX11(i686) －

libXau(i686) －

libxcb(i686) －

libXext(i686) －

libXi(i686) －

libXt(i686) －

- 130 -


libXtst(i686) －

ncurses-libs(i686) －

net-snmp －

net-snmp-utils －

nss-softokn-freebl(i686) －

openssl(i686) －

openssl098e(i686) －

redhat-lsb －

sqlite(i686) －

unixODBC(i686) －

zlib(i686) －

kexec-tools(i686) －

system-config-kdump －

crash(i686) －

sysstat(i686) －

ntp(i686) －

Red Hat(R) Enterprise Linux(R) 5.6 (forIntel64)Red Hat(R) Enterprise Linux(R) 5.7 (forIntel64)Red Hat(R) Enterprise Linux(R) 5.8 (forIntel64)

kernel-devel －

compat-libstdc++-33(i686) －

ruby －

apr(i686) －

apr-util(i686) －

libxml2(i686) －

libxslt(i686) －

net-snmp －

net-snmp-utils －

postgresql-libs(i686) －

redhat-lsb －

sqlite(i686) －



crash(i686) －

sysstat(i686) －

ntp(i686) －



Red Hat(R) Enterprise Linux(R) 6 (forIntel64)Red Hat(R) Enterprise Linux(R) 6.1 (forIntel64)

kernel-devel －

alsa-lib(i686) －

glibc(i686) －

libgcc(i686) －

- 131 -


Red Hat(R) Enterprise Linux(R) 6.2 (forIntel64)

libICE(i686) －

libSM(i686) －

libstdc++(i686) －

libtool-ltdl(i686) －

libuuid(i686) －

libX11(i686) －

libXau(i686) －

libxcb(i686) －

libXext(i686) －

libXi(i686) －

libXt(i686) －

libXtst(i686) －


net-snmp-utils －

readline(i686) －

sqlite(i686) －

sysfsutils －

unixODBC(i686) －



crash(i686) －

sysstat(i686) －

ntp(i686) －

Red Hat(R) Enterprise Linux(R) 5.6 (forIntel64)Red Hat(R) Enterprise Linux(R) 5.7 (forIntel64)Red Hat(R) Enterprise Linux(R) 5.8 (forIntel64)

kernel-devel －

alsa-lib(i686) －

glibc(i686) －

libgcc(i686) －

libICE(i686) －

libselinux(i686) －

libsepol －

libSM(i686) －

libstdc++(i686) －

libX11(i686) －

libXau(i686) －

libXdmcp －

libXext(i686) －

libXi(i686) －

libXt(i686) －

libXtst(i686) －

- 132 -



net-snmp-utils －

readline(i686) －

sqlite(i686) －



crash(i686) －

sysstat(i686) －

ntp(i686) －



Red Hat(R) Enterprise Linux(R) 6 (forIntel64)Red Hat(R) Enterprise Linux(R) 6.1 (forIntel64)Red Hat(R) Enterprise Linux(R) 6.2 (forIntel64)Red Hat(R) Enterprise Linux(R) 5.6 (forIntel64)Red Hat(R) Enterprise Linux(R) 5.7 (forIntel64)Red Hat(R) Enterprise Linux(R) 5.8 (forIntel64)



crash(i686) －

sysstat(i686) －

ntp(i686) －

- 133 -

付録D DFSの環境構築

本付録では、DFS のファイルシステム設計、作成方法、および DFS を使用する Hadoop クラスタの構築について説明します。

D.1 ファイルシステム設計

DFS を作成するために必要となる項目について説明します。

D.1.1 サーバレイアウト

DFS を共有するサーバを決定します。

DFS では、1 つのファイルシステムを、マスタサーバ、スレーブサーバ、開発実行環境サーバ、および連携サーバ含めて大 128 台のサーバで同時に共用できます。

マスタサーバでは、メタデータを管理する MDS が動作します。スレーブサーバ、開発実行環境サーバ、および連携サーバでは DFSクライアント機能(AC)が動作します。

D.1.2 ディスクレイアウト

DFS では、ファイルシステムを構成するパーティションをディスク媒体上で 3 つの領域に分けています。

表D.1 パーティションの 3 つの領域

領域種別利用コンポーネント

メタデータ領域 MDS

アップデートログ領域

ファイルデータ領域 AC

以下の手順でディスクレイアウトを決定してください。

1. DFS で必要となる共用ディスク装置の容量を見積ります。

表D.2 共用ディスク装置の容量の見積り

領域種別見積り方法

(a)ファイルデータ領域ファイルデータで必要となる容量

(b)メタデータ領域ファイルデータ領域 ≦ 1TB の場合： 100GBファイルデータ領域＞ 1TB の場合： 300GB

(c)アップデートログ領域メタデータ領域に内包されるため見積り不要

合計 (a)+(b)

2. メタデータ領域のパーティションからファイルデータ領域を分離するか決定します。

メタデータ領域とファイルデータ領域は、分離して別パーティションに配置します。別パーティションに配置することで、各領域へ

の I/O 処理が分離し競合することを避けることができます。

ファイルデータ領域の分離は、“pdfsmkfs コマンド”の“dataopt オプション”で指定できます。

3. DFS に使用するパーティションを決定します。

必要となる容量を元に、DFS に使用する共用ディスク装置のパーティションを決定しデバイス名を確認します。

大 256 パーティションまで使用できます。

ポイント

DFS は、1 つのパーティションでも構成できますが、複数のパーティションで構成した場合、I/O 処理の分散効果が得られます。

- 134 -

4. メタデータ領域のパーティションを決定します。

参考

DFS を複数のパーティションで構成する場合、メタデータ領域に使用するパーティションが、代表パーティションとなります。

D.1.3 将来の拡張に備えて

DFS の容量を拡張することが予想される場合は、将来に備えて、拡張する大サイズを予測してファイルシステムを作成します。

大サイズは、“pdfsmkfs コマンド”の“maxdsz オプション”で指定できます。

D.1.4 データブロックサイズの選択

DFS の作成時、“pdfsmkfs コマンド”の“blocksz オプション”でデータブロックサイズを指定できます。データブロックサイズを指定する

ことで、共用ディスク装置の領域を連続で割り当てられるようになり、I/O 処理を効率的に行えます。

DFS を Hadoop で利用する場合、データブロックサイズに 8MB を指定することを推奨します。

注意

データブロックサイズに 8MB を指定した場合、ファイルサイズが 8MB 未満であっても 8MB の共用ディスク領域が使用されます。

小容量ファイルを大量に格納する場合は、容量効率を優先してデータブロックサイズを指定しないでください。

参照

データブロックサイズと大ファイルシステムサイズ、大ファイルサイズの関係は、「D.1.5 ファイルシステムサイズ、データブロックサイ

ズ、大ファイルサイズの関係」を参照してください。

D.1.5 ファイルシステムサイズ、データブロックサイズ、大ファイルサイズの関係

データブロックサイズは、値を指定しないでファイルシステムを作成した場合、ファイルデータ領域のサイズ、またはファイルシステムを

構成する大パーティションサイズを元に、自動で算出されます。ファイルシステムサイズが大きくなると、データブロックサイズも大きく

なります。また、データブロックサイズが大きくなると、大ファイルサイズも大きくなります。

以下に、データブロックサイズを指定しないでファイルシステムを作成した場合の、ファイルシステムサイズ、データブロックサイズ、

大ファイルサイズの関係を示します。

表D.3 ファイルシステムサイズ、データブロックサイズ、大ファイルサイズの関係

ファイルシステムサイズデータブロックサイズ大ファイルサイズ

～ 1TB 8KB 1TB － 8KB

( 1TB + 1Byte) ～ 2TB 8KB ～ 16KB (1TB － 8KB) ～ (2TB － 16KB)



( 8TB + 1Byte) ～ 16TB 16KB ～ 128KB (2TB － 16KB) ～ (16TB －128KB)



( 64TB + 1Byte) ～ 128TB 128KB ～ 1MB (16TB －128KB) ～ (128TB － 1MB)

- 135 -

ファイルシステムサイズデータブロックサイズ大ファイルサイズ

(128TB + 1Byte) ～ 256TB 256KB ～ 1MB (32TB －256KB) ～ (128TB － 1MB)

(256TB + 1Byte) ～ 512TB 512KB ～ 1MB (64TB －512KB) ～ (128TB － 1MB)

(512TB + 1Byte) ～ 1PB 1MB 128TB － 1MB

( 1PB + 1Byte) ～ 2PB 2MB 256TB － 2MB

注意

ファイルシステムサイズには、ファイルデータ領域のサイズだけでなく、メタデータ領域やアップデートログ領域のサイズなども含まれる

ため、上表のファイルシステムサイズの各境界値付近では、データブロックサイズが 1段階小さい値になる場合があります。

参照

ファイルシステムの上限値については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「定量制限値」を参照


ファイルシステムのデータブロックサイズは、ファイルシステム作成時に変更できます。詳細は、「Primesoft Distributed File System forHadoop V1 ユーザーズガイド」の「コマンドリファレンス」で“pdfsmkfs”を参照してください。

D.2 マウントオプション設計

DFS をマウントするために必要となる“/etc/fstab”への記載項目について説明します。

D.2.1 DFS 管理サーバの fstab 設定

DFS 管理サーバでマウントするためには、“/etc/fstab”に DFS のエントリーを追加する必要があります。

“/etc/fstab”に設定する DFS のエントリーについて、以下に説明します。

・第 1 フィールド(fs_spec)

マウントする DFS の代表パーティションを指定します。

・第 2 フィールド(fs_file)

省略時のマウントポイントとなるディレクトリを指定します。

DFS をマウントする、すべてのサーバで存在するディレクトリを指定してください。

・第 3 フィールド(fs_vfstype)

pdfs を指定してください。

・第 4 フィールド(fs_mntops)

マウント時に使用されるマウントオプションを指定します。

noauto オプションは、必ず指定してください。

ほかのオプション指定は、以下に従って決定します。

表D.4 マウントオプションの決定

確認項目指定オプション

次のいずれかの場合

・ファイルの終参照時刻を更新しない場合

・ DFS をサーバ 5 台以上で共有する場合

noatime

DFS 管理サーバ起動時にマウントしない場合 noatrc

- 136 -


DFS を読込み専用でマウントする場合 ro

参照

マウントオプションの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレン

ス」で“pdfsmount”を参照してください。

・第 5 フィールド(fs_freq)

0 を指定してください。

・第 6 フィールド(fs_passno)


以下に、“/etc/fstab”の設定例を示します。

例： DFS 管理サーバの fstab 設定例

# cat /etc/fstab <Enter>







LABEL=SWAP-hda5 swap swap defaults 0 0

/dev/disk/by-id/scsi-1FUJITSU_300000370106 /mnt/pdfs pdfs noauto,noatime 0 0

D.2.2 DFS クライアントの fstab 設定

スレーブサーバ、開発実行環境サーバ、および連携サーバでマウントするためには、“/etc/fstab”に DFS のエントリーを追加する必要

があります。

“/etc/fstab”に設定する DFS のエントリーについて決定します。

・第 1 フィールド(fs_spec)

マウントする DFS の論理ファイルシステム名を指定します。

参考

スレーブサーバ、開発実行環境サーバ、および連携サーバでは、構成情報ファイルを使用して、ファイルシステム構成を管理しま

す。この構成情報ファイルを識別するために論理ファイルシステム名を使用します。

・第 2 フィールド(fs_file)

省略時のマウントポイントとなるディレクトリです。

マスタサーバで指定したディレクトリを指定します。

・第 3 フィールド(fs_vfstype)

pdfs を指定してください。

・第 4 フィールド(fs_mntops)

マウント時に使用されるマウントオプションを指定します。

_netdev オプションは、必ず指定してください。

ほかのオプション指定は、以下に従って決定します。

- 137 -

表D.5 マウントオプションの決定


次のいずれかの場合

・ファイルの終参照時刻を更新しない場合

・ DFS をサーバ 5 台以上で共有する場合

noatime

スレーブサーバ、開発実行環境サーバ、および連携サーバ起動時にマ

ウントしない場合

noauto

DFS を読込み専用でマウントする場合 ro

参照

noauto オプションの詳細については、オンラインマニュアルページの“mount コマンド”を参照してください。その他のマウントオプ

ションの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で

“mount.pdfs”を参照してください。

・第 5 フィールド(fs_freq)


・第 6 フィールド(fs_passno)


以下に、“/etc/fstab”の設定例を示します。

例：スレーブサーバ、連携サーバの fstab 設定例

# cat /etc/fstab <Enter>







LABEL=SWAP-hda5 swap swap defaults 0 0


D.3 管理パーティションの作成

この節では、管理パーティションの作成方法について説明します。

図D.1 管理パーティションの作成の流れ

管理パーティション作成時の注意事項

マスタサーバを冗長化する場合は、管理パーティションの作成を実施する前に、クラスタパーティションが発生していないことを必ず確

認してください。クラスタパーティションが発生している場合は、まず、クラスタパーティションを解消してください。

- 138 -

参照

クラスタパーティションが発生しているかを確認する方法、および、クラスタパーティションを解消する方法は、「Primesoft Distributed FileSystem for Hadoop V1 ユーザーズガイド」の「pdfsfrmd デーモンが起動しない場合の対処」を参照してください。

D.3.1 共用ディスク設定

DFS の管理パーティションは、すべてのマスタサーバから使用できる、共用デバイス上の共用ディスクに作成します。

共用ディスクのデバイス名には、udev 機能により生成される by-id 名を使用します。by-id 名は、ハードディスクに設定されている個別



従来の互換デバイス名から by-id 名を特定するには、“udevinfo コマンド”または “udevadm コマンド”を使用します。

以下に by-id 名の確認例を示します。

例

管理パーティションを作成する互換デバイス名：/dev/sdb


# udevinfo -q symlink -n /dev/sdb <Enter>

disk/by-id/scsi-1FUJITSU_300000370106 (省略)



block/8:48 disk/by-id/ scsi-1FUJITSU_300000370106 (省略)

注意

“udevinfo コマンド”または “udevadm コマンド”で確認した by-id 名を使用するには、先頭に "/dev/" を追加する必要があります。

参照

“udevinfo コマンド”または “udevadm コマンド”の詳細については、各オンラインマニュアルページを参照してください。

注意

“fdisk コマンド”や“parted コマンド”などで共用ディスクのパーティション情報を変更した場合は、「Primesoft Distributed File System forHadoop V1 ユーザーズガイド」の「fdisk で操作した共用ディスク装置のパーティション情報が反映されない」を参照して、すべてのサー

バでパーティション情報を新にしてください。

ポイント

DFS の管理パーティションは、Logical Unit(物理)単位またはディスクパーティション(論理)単位のどちらでも運用できます。

ETERNUS SF AdvancedCopy Manager を使用したボリュームコピーを行う場合、ETERNUS SF AdvancedCopy Manager がサポートす

るデバイスの単位に留意してください。

ETERNUS SF AdvancedCopy Manager の詳細については、「ETERNUS SF AdvancedCopy Manager 運用ガイド」を参照してください。

- 139 -

D.3.2 管理パーティションの初期化

管理パーティションの初期化は、“pdfssetup コマンド”の -c オプションを使用します。

以下に、/dev/disk/by-id/scsi-1FUJITSU_300000370105 を管理パーティションとして初期化する例を示します。

# pdfssetup -c /dev/disk/by-id/scsi-1FUJITSU_300000370105 <Enter>

参照

“pdfssetup コマンド”の詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレン

ス」で“pdfssetup”を参照してください。

D.3.3 管理パーティションへの DFS 管理サーバ情報の登録

管理パーティションへマスタサーバ情報を登録する場合は、“pdfssetup コマンド”の -a オプションを使用します。

以下に、マスタサーバ情報を登録する例を説明します。

1. 管理パーティションへマスタサーバ情報を登録します。

# pdfssetup -a /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

注意

すべてのマスタサーバで、情報を登録してください。

2. 登録したマスタサーバ情報を確認します。

“pdfssetup コマンド”をオプションなしで実行することで確認できます。

# pdfssetup <Enter>

HOSTID CIPNAME MP_PATH



設定した管理パーティションのパス名は、“pdfssetup コマンド”に -p オプションを指定することで確認できます。

# pdfssetup -p <Enter>


D.3.4 pdfsfrmd デーモンの起動

運用を開始するために、pdfsfrmd デーモンを起動します。pdfsfrmd デーモンを起動するには、“pdfsfrmstart コマンド”を使用します。

注意

pdfsfrmd デーモンを起動する前に、すべてのマスタサーバ情報を管理パーティションに登録しておく必要があります。

1. すべてのマスタサーバで以下のようにコマンドを実行します。

# pdfsfrmstart <Enter>

参照

“pdfsfrmstart コマンド”の詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリ

ファレンス」で“pdfsfrmstart”を参照してください。

- 140 -

D.4 ファイルシステムの作成

この節では、DFS の作成の流れについて説明します。

ファイルシステムを作成する前に、管理パーティションの設定、およびファイルシステムの設計が行われている必要があります。

参照

管理パーティションの設定方法については、「D.3.2 管理パーティションの初期化」を参照してください。

ファイルシステムの設計方法については、「D.1 ファイルシステム設計」を参照してください。

図D.2 ファイルシステム作成の操作の流れ

D.4.1 共用ディスク設定

DFS は、マスタサーバ、スレーブサーバ、開発実行環境サーバ、および連携サーバから使用できる、共用デバイス上の共用ディスクに

作成します。

共用ディスクのデバイス名には、udev 機能により生成される by-id 名を使用します。by-id 名は、ハードディスクに設定されている個別



従来の互換デバイス名から by-id 名を特定するには、“udevinfo コマンド”または“udevadm コマンド”を使用します。

以下に、by-id 名の確認例を示します。

例

ファイルシステムを作成する互換デバイス名：/dev/sdc


# udevinfo -q symlink -n /dev/sdc <Enter>

disk/by-id/scsi-1FUJITSU_300000370107 (省略)



block/8:48 disk/by-id/ scsi-1FUJITSU_300000370107 (省略)

注意

“udevinfo コマンド”または“udevadm コマンド”で確認した by-id 名を使用するには、先頭に "/dev/" を追加する必要があります。

- 141 -

参照

“udevinfo コマンド”または“udevadm コマンド”の詳細については、各オンラインマニュアルページを参照してください。

注意

“fdisk コマンド”や“parted コマンド”などで共用ディスクのパーティション情報を変更した場合は、「Primesoft Distributed File System forHadoop V1 ユーザーズガイド」の「fdisk で操作した共用ディスク装置のパーティション情報が反映されない」を参照して、すべてのサー

バでパーティション情報を新にしてください。

ポイント

DFS のファイルシステムは、Logical Unit(物理)単位またはディスクパーティション(論理)単位のどちらでも運用できます。

ETERNUS SF AdvancedCopy Manager を使用したボリュームコピーを行う場合、ETERNUS SF AdvancedCopy Manager がサポートす

るデバイスの単位に留意してください。

ETERNUS SF AdvancedCopy Manager の詳細については、「ETERNUS SF AdvancedCopy Manager 運用ガイド」を参照してください。

D.4.2 ファイルシステム作成

DFS は、“pdfsmkfs コマンド”によって作成されます。“pdfsmkfs コマンド”は、マスタサーバで実行します。

“pdfsmkfs コマンド”に指定するパラメタは、事前に「D.1 ファイルシステム設計」で決定したパラメタの値を指定します。

DFS の作成例を、以下の環境を例に説明します。


・ファイルデータパーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370107 /dev/disk/by-id/scsi-1FUJITSU_300000370108

・マスタサーバ(プライマリ) ：master1

・マスタサーバ(セカンダリ) ：master2

# pdfsmkfs -o dataopt=y,blocksz=8388608,data=/dev/disk/by-id/scsi-1FUJITSU_300000370107,data=/dev/disk/by-id/

scsi-1FUJITSU_300000370108,node=master1,master2 /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

注意

“pdfsmkfs コマンド”の“node オプション”は、後のオプションに指定してください。

各オプションの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で

“pdfsmkfs”を参照してください。

D.4.3 スレーブサーバ、開発実行環境サーバ、および連携サーバ情報の登録

DFS では、マスタサーバ(MDS)に接続できる DFS クライアントを管理しています。

管理方法は、マスタサーバで接続許可リストファイルを作成して、接続するスレーブサーバ、開発実行環境サーバ、および連携サー

バのホスト名を登録します。

スレーブサーバ、開発実行環境サーバ、および連携サーバ情報の登録の手順を、以下の環境を例に説明します。

代表パーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370106

ファイルシステム ID ：1

- 142 -

マスタサーバ：master1、master2

スレーブサーバ、開発実行環境サーバ、

および連携サーバ

：slave1、slave2、slave3、slave4、slave5、develop、collaborate











2. 接続許可リストファイルを作成します。


# cp ./server.conf.sample server.conf.1 <Enter>

注意

接続許可リストファイルは、マスタサーバの“/etc/pdfs”配下に配置してください。

接続許可リストファイルの名前は、ファイルシステム ID 部分以外 (server.conf.)を変更しないでください。

3. 接続許可リストファイルにスレーブサーバ、開発実行環境サーバ、および連携サーバ情報を登録します。

マスタサーバに接続を許可するスレーブサーバ、開発実行環境サーバ、および連携サーバのホスト名を指定します。

以下の形式で記載します。

CLIENT "スレーブサーバ、開発実行環境サーバ、および連携サーバのホスト名"

例

slave1、slave2、slave3、slave4、slave5 の接続を許可する場合


#


#


#


#

# Notes:


#

# example:

#CLIENT nodeac1

#CLIENT nodeac2

#CLIENT nodeac3

#CLIENT nodeac4

#CLIENT nodeac5

CLIENT slave1

CLIENT slave2

CLIENT slave3

- 143 -

CLIENT slave4

CLIENT slave5

4. 接続許可リストファイルの内容を確認します。

接続許可リストに誤りがある場合、マスタサーバでマウントできません。そのため、以下を確認してください。

－マスタサーバとスレーブサーバ、開発実行環境サーバ、および連携サーバの数の合計が共用サーバ数の上限を超えてい

ないこと

－指定したスレーブサーバ、開発実行環境サーバ、および連携サーバのホストが、正しくネットワーク経由で参照できること

－スレーブサーバ、開発実行環境サーバ、および連携サーバの指定に重複がないこと

5. 接続許可リストファイルを各マスタサーバに配付します。


# scp ./server.conf.1 root@master2:/etc/pdfs/server.conf.1 <Enter>

D.4.4 ファイルシステム構成情報の配付

マスタサーバで DFS の構成情報ファイルを生成したあと、各スレーブサーバ、開発実行環境サーバ、および連携サーバに配付しま

す。

ファイルシステムの構成情報配付の手順を、以下の環境を例に説明します。

ファイルシステム ID ：1

論理ファイルシステム名：pdfs1

スレーブサーバ、開発実行環境サーバ、

および連携サーバ

：slave1、slave2、slave3、slave4、slave5、develop、collaborate











2. DFS の構成情報ファイルを“pdfsmkconf コマンド”で生成します。

“pdfsmkconf コマンド”は、マスタサーバ(プライマリ)で実行します。


3. 生成した構成情報ファイルの名前を、ファイルシステム ID から論理ファイルシステム名に変更します。



注意

構成情報ファイルの名前は、ファイルシステム ID 部分以外 (client.conf.) を変更しないでください。

4. 構成情報ファイルを各スレーブサーバ、開発実行環境サーバ、および連携サーバに配付します。

# scp ./client.conf.pdfs1 root@slave1:/etc/pdfs/client.conf.pdfs1 <Enter>

# scp ./client.conf.pdfs1 root@slave2:/etc/pdfs/client.conf.pdfs1 <Enter>

- 144 -

・・・中略・・・

# scp ./client.conf.pdfs1 root@develop:/etc/pdfs/client.conf.pdfs1 <Enter>

# scp ./client.conf.pdfs1 root@collaborate:/etc/pdfs/client.conf.pdfs1 <Enter>

注意

構成情報ファイルは、各スレーブサーバ、開発実行環境サーバ、および連携サーバの“/etc/pdfs”配下に配置してください。

参照

“pdfsmkconf コマンド”の詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレン

ス」で“pdfsmkconf”を参照してください。

D.4.5 fstab の設定

“/etc/fstab”に DFS の記述を追加します。

マスタサーバとスレーブサーバ、開発実行環境サーバ、および連携サーバでは、“/etc/fstab”の記述内容が異なります。

“/etc/fstab”の各フィールドに指定するパラメタは、事前に「D.2 マウントオプション設計」で決定したパラメタを指定します。

マスタサーバの“/etc/fstab”では、以下の点を再確認してください。

・デバイス名は、代表パーティションの by-id 名であること

・マウントオプションに noauto が含まれていること

注意

“/etc/fstab”の記述内容は、マスタサーバ間で同じ内容にしてください。

スレーブサーバ、開発実行環境サーバ、および連携サーバの“/etc/fstab”では、以下の点を再確認してください。

・デバイス名は、論理ファイルシステム名であること

・マウントオプションに _netdev が含まれていること

注意

“/etc/fstab”の記述内容は、すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバで同じ内容にしてください。

D.4.6 マウント

DFS をマウントします。DFS では、必ずマスタサーバ、スレーブサーバ、開発実行環境サーバ、および連携サーバの順でマウントして

ください。スレーブサーバ、開発実行環境サーバ、または連携サーバを先にマウントしても、マスタサーバ(MDS) が存在しないためマ

ウントが失敗します。

DFS のマウント手順を、以下の環境を例に説明します。

代表パーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370106

論理ファイルシステム名：pdfs1

注意

・ DFS をマウントするマウントポイントの作成および“/etc/fstab”の記述を事前に行ってください。

- 145 -

・マスタサーバとスレーブサーバ、開発実行環境サーバ、および連携サーバで、マウントに使用するコマンドが異なります。

1. マスタサーバでマウントします。


参考

“pdfsmntgl コマンド”は、すべての DFS 管理サーバで DFS をマウントします。

2. スレーブサーバ、開発実行環境サーバ、および連携サーバでマウントします。

DFS を使用するすべてのスレーブサーバ、開発実行環境サーバ、および連携サーバでマウントしてください。


参照

スレーブサーバ、開発実行環境サーバ、および連携サーバでのマウントの詳細については、「Primesoft Distributed File Systemfor Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で“mount.pdfs”を参照してください。

D.4.7 ファイルシステム状態確認

DFS をマウントして使用可能な状態となったことを“pdfsmntstat コマンド”で確認します。“pdfsmntstat コマンド”は、マスタサーバから実

行します。

# pdfsmntstat <Enter>

MountPoint /mnt/fs1

Device /dev/disk/by-id/scsi-1FUJITSU_300000370106

SV MDS master1 29000 Active

SV MDS master2 29000 Standby

SV AC master1 Normal

SV AC master2 Normal

CL AC host1 Normal

CL AC host2 Normal

以下のすべての状態が確認できれば、対象ファイルシステムは正常に動作しています。

・マスタサーバを示す SV MDS 行のどちらかの状態が「Active」である。

・スレーブサーバ、開発実行環境サーバ、および連携サーバを示す CL AC の状態がすべて「Normal」である。

参照

“pdfsmntstat コマンド”の詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレン

ス」で“pdfsmntstat”を参照してください。

D.4.8 管理パーティション情報のバックアップ

管理パーティション情報には、DFS ごとに構成を示すファイルシステム情報が記録されているので、主に保守作業時に利用します。

そのため、DFS を作成後、管理パーティション情報をバックアップしてください。

バックアップには、“pdfsgetconf コマンド”を使用します。

- 146 -

ポイント

ファイルシステムの設定／変更を行った場合には、管理パーティション情報が変更されるため、管理パーティション情報をバックアップ


以下に、管理パーティション情報が変更されるコマンドを示します。

・ pdfsmkfs, pdfsadd, pdfsadm, pdfsnode

1. 管理パーティション情報をバックアップします。

# pdfsgetconf _backup_file_ <Enter>

参照

“pdfsgetconfコマンド”の詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリ

ファレンス」で“pdfsgetconf”を参照してください。

注意

“pdfsgetconfコマンド”を実行する DFS 管理サーバで pdfsfrmd デーモンが起動している必要があります。

2. バックアップした内容を確認します。

“pdfsgetconfコマンド”は“_backup_file_”という名称のシェルスクリプトを生成します。

以下にシェルスクリプトの内容を示します。

# cat _backup_file_ <Enter>

#!/bin/sh

# This file is made by:

# pdfsgetconf _backup_file_

# Thu Jun 18 09:08:06 2009

#

#---- fsid : 1 ----

# MDS primary (port) : master1 (pdfs-1)

# MDS secondory (port) : master2 (pdfs-1)

# MDS other :

# AC : master1,master2

# options :

# device : /dev/disk/by-id/scsi-1FUJITSU_300000370106

pdfsadm -m master1,master2 -g master1,master2 -p pdfs-1,pdfs-1 /dev/disk/by-id/scsi-1FUJITSU_300000370106

・・・略・・・

注意

保守作業で使用するため“_backup_file_”を大切に保管してください。

D.5 Hadoop 構成設定

Hadoop 構成設定について説明します。

D.5.1 Configuration ファイルとプロパティの設定

Hadoop で DFS を使用するために設定する Configuration ファイルの設定について説明します。

- 147 -

Configuration ファイルには以下のものがあります。これらのファイルを“/etc/hadoop”ディレクトリに配置します。

Configuration ファイルの種類

・ hadoop-env.sh

・ core-site.xml

・ mapred-site.xml

・ pdfs-site.xml

それぞれのファイルで設定する項目について説明します。

hadoop-env.sh ファイル

“hadoop-env.sh”ファイルでは、以下の環境変数を設定してください。

export HADOOP_CLASSPATH="$HADOOP_CLASSPATH:/opt/FJSVpdfs/lib/pdfs.jar"

export HADOOP_USER_CLASSPATH_FIRST="true"

export HADOOP_SSH_OPTS="-o StrictHostKeyChecking=no -o BatchMode=yes"

また、必要に応じて JAVA_HOME も設定してください。

export JAVA_HOME=/usr/java/default

core-site.xml ファイル

“core-site.xml”ファイルで設定するプロパティについて説明します。

fs.default.name

デフォルトのファイルシステムを、"pdfs://<directory>/" の形式で指定します(<directory> 部分は省略可能)。

デフォルトファイルシステムとは、URI 形式ではないパス指定において、URI パス決定に使用されます。

例えば、fs.default.name が "pdfs:///" と設定されている場合、パス "/mydir/myfile" は "pdfs:///mydir/myfile" という URI に決定され

ます。

デフォルト値

file:///

設定例

<property>

<name>fs.default.name</name>

<value>pdfs:///</value>

</property>

fs.<scheme>.impl

DFS 用のファイルシステムクラスを、任意の Scheme に割り当てます。

値には、com.fujitsu.pdfs.fs.PdfsDirectFileSystem を指定します。

例えば、"fs.pdfs.impl" という名前のプロパティとして設定した場合、"pdfs:///mydir/myfile" のような URI でパス指定することになり

ます。

設定例

<property>

<name>fs.pdfs.impl</name>

<value>com.fujitsu.pdfs.fs.PdfsDirectFileSystem</value>

</property>

- 148 -

io.file.buffer.size

Read／Write 時のデフォルトバッファサイズを指定します。

指定する値

4096(Byte) の倍数

デフォルト値

4096

推奨値

128KB

設定例

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

hadoop.tmp.dir

Hadoop で使用する一時ファイル格納用のディレクトリを指定します。

デフォルト値

/tmp/hadoop-<ユーザ名>

推奨値

デフォルト

設定例

<property>

<name>hadoop.tmp.dir</name>

<value>/var/tmp/hadoop-${user.name}</value>

</property>

mapred-site.xml ファイル

“mapred-site.xml”ファイルで設定するプロパティについて説明します。

mapred.local.dir

TaskTracker が MapReduce ジョブを実行している間に一時データと Map 中間出力ファイルを保存するディレクトリを指定します。

ディレクトリには、ローカルディスク内のディレクトリ(複数可)を指定します。

デフォルト値

${hadoop.tmp.dir}/mapred/local

推奨値

内蔵ディスク上のディレクトリ/mapred/local

注意

指定パスに ${user.name} を含めないようにしてください。

設定例

例)3つの内蔵ディスクが /data/1、/data/2、/data/3 にマウントされている場合

- 149 -

<property>

<name>mapred.local.dir</name>

<value>/data/1/mapred/local,/data/2/mapred/local,/data/3/mapred/local</value>

</property>

mapred.system.dir

MapReduce 処理の制御ファイルを格納するディレクトリを指定します。

デフォルト値

${hadoop.tmp.dir}/mapred/system

推奨値

/mapred/system

設定例

<property>

<name>mapred.system.dir</name>

<value>/mapred/system</value>

</property>

mapreduce.jobtracker.staging.root.dir

ユーザごとに MapReduce ジョブ情報ファイルを格納するディレクトリのトップディレクトリを指定します。

ジョブ情報ファイルは、“${mapreduce.jobtracker.staging.root.dir}/<ユーザ名>/mapred/staging”ディレクトリに格納されます。

デフォルト値

${hadoop.tmp.dir}/mapred/staging

推奨値

pdfs.fs.local.homedir プロパティと同じ(デフォルト：/user)(pdfs.fs.local.homedir 参照)

設定例

<property>

<name> mapreduce.jobtracker.staging.root.dir</name>

<value>/user</value>

</property>

mapred.job.tracker

JobTracker が動作する RPC サーバのホスト名とポート番号を、host:port (port は省略不可)の形式で指定します。ポート番号には

1024 ～ 61000 の間で未使用のポート番号を指定してください。

設定例

<property>

<name>mapred.job.tracker</name>

<value>host1:50001</value>

</property>

mapred.tasktracker.map.tasks.maximum

1ノードで並列実行する Map タスク数を指定します。

デフォルト値

2

- 150 -

推奨値

次のうち大きい方です。

- CPU のコア数－1CPU のコア数は、"cat /proc/cpuinfo"で確認できます。

- DFS を構成する全物理ディスク数÷ Hadoop クラスタの Slave ノード数(小数点以下切上げ)全物理ディスク数とは、例えばディスク装置側で RAID-1 のミラー構成の場合、2×LUN 数となります。

設定例

<property>

<name>mapred.tasktracker.map.tasks.maximum</name>

<value>8</value>

</property>

mapred.tasktracker.reduce.tasks.maximum

1ノードで並列実行する Reduce タスク数を指定します。

デフォルト値

2

推奨値

次のうち大きい方です。

- CPU のコア数－1CPU のコア数は、"cat /proc/cpuinfo"で確認できます。

- DFS を構成する全 LUN 数÷ Hadoop クラスタの Slave ノード数(小数点以下切上げ)

設定例

<property>

<name>mapred.tasktracker.reduce.tasks.maximum</name>

<value>4</value>

</property>

mapred.map.tasks.speculative.execution

Map タスクの Speculative 実行を有効にするかを指定します。

"true" の場合、実行するタスクに空きがあるノードに、現在実行中の Map タスクと同じタスクを並列に処理させ、先に完了した方を

採用します。

デフォルト値

true(有効)

Hadoop クラスタで利用する MapReduce ジョブで、Map タスクの中から直接 DFS 上のファイルに Write する処理がある場合は

"false" を指定してください。

どちらか不明な場合は "false" を指定してください。

設定例

<property>

<name>mapred.map.tasks.speculative.execution</name>

<value>false</value>

</property>

mapred.reduce.tasks.speculative.execution

Reduce タスクの Speculative 実行を有効にするかを指定します。

- 151 -

"true" の場合、実行するタスクに空きがあるノードに、現在実行中の Reduceタスクと同じタスクを並列に処理させ、先に完了した方

を採用します。

デフォルト値

true(有効)

Hadoop クラスタで利用する MapReduce ジョブで、Reduce タスクの中から直接 DFS 上のファイルに Write する処理がある場合

は "false" を指定してください。

どちらか不明な場合は "false" を指定してください。

設定例

<property>

<name>mapred.reduce.tasks.speculative.execution</name>


</property>

mapred.userlog.limit.kb

MapReduce タスクログの 1 タスクあたりの大ログサイズを指定します。Hadoop の制御方式の関係で、実際のログサイズが指定し

た値より少し大きくなる場合があります。

MapReduce タスクログは、$HADOOP_LOG_DIR/userlogs ディレクトリ配下に作成されます。

指定する値

1(KB) 以上

デフォルト値

0(制限なし)

推奨値

1000(1MB) 程度(約 1 万行分)

一般的な利用範囲では十分な大きさですが、MapReduce ジョブのログ出力量に応じて調節してください。

設定例

<property>

<name>mapred.userlog.limit.kb</name>

<value>1000</value>

</property>

mapred.userlog.retain.hours

MapReduce タスクログの保存期間を指定します。タスクログは、MapReduce ジョブのエラー原因の調査に必要となる場合があります。

MapReduce タスクログは、$HADOOP_LOG_DIR/userlogs ディレクトリ配下に作成されます。

指定する値

保存時間

デフォルト値

24(時間)

推奨値

168(1 週間分)程度

指定した時間が短いと、過去のジョブを調査するときに、必要な情報を得られない場合があります。ただし、ログを保存するため

に使用できるディスク容量(HADOOP_LOG_DIR ディレクトリのあるディスク容量)との兼ね合いもあるため、以下を考慮して適切

な時間を設定してください。

- 許容できる容量

- 運用業務スケジュール

- 152 -

- mapred.userlog.limit.kb プロパティの値(mapred.userlog.limit.kb 参照)

仮に、1 分間に大 1MB(約 1 万行)のログ出力を想定した場合、1 週間分保存するためには約 10GB の容量が必要になりま

す。

設定例

<property>

<name>mapred.userlog.retain.hours</name>

<value>168</value>

</property>

pdfs-site.xmlファイル

必要に応じて以下のプロパティを設定してください。

通常は、pdfs.fs.local.basedir プロパティ(pdfs.fs.local.basedir 参照)と pdfs.security.authorization プロパティ(pdfs.security.authorization参照)を設定し、その他はデフォルトのままでも使用できます。

pdfs.fs.local.basedir

DFS のマウントディレクトリのパスを指定します。

例えば、pdfs.fs.local.basedir が "/mnt/pdfs/hadoop" と設定されている場合、URI パス "pdfs:///user/bdppuser1" は OS 上の "/mnt/pdfs/hadoop/user/bdppuser1" というパスになります。

デフォルト値

/

設定例

<property>

<name>pdfs.fs.local.basedir</name>

<value>/mnt/pdfs/hadoop</value>

</property>

pdfs.fs.local.homedir

DFS 用 FileSystem クラス上でのユーザ用のホームディレクトリパスを指定します。

例えば、pdfs.fs.local.homedir が "/user" と設定されている場合、"bdppuser1" という名前のユーザの DFS 上ホームディレクトリ URIパスは "pdfs:///user/bdppuser1" になります。

デフォルト値

/user(HDFS と同じ)

推奨値

デフォルト(/user)

設定例

<property>

<name>pdfs.fs.local.homedir</name>

<value>/home</value>

</property>

pdfs.security.authorization

DFS 独自の MapReduce ジョブユーザ認証を使用するかどうかを指定します。

指定する値

- true ：使用する

- 153 -

- false ：使用しない

デフォルト値

false

推奨値

true

なお、Hadoop で Kerberos 認証を利用する場合は "false" を指定してください。

設定例

<property>

<name>pdfs.security.authorization</name>

<value>true</value>

</property>

pdfs.fs.local.buffer.size

Read／Write 時のデフォルトバッファサイズを指定します。

なお、このプロパティ値と io.file.buffer.size 値の大きい方が使用されます(io.file.buffer.size 参照)。

指定する値

4096(Byte) の倍数

デフォルト値

128KB

推奨値

128KB ～ 512KB

設定例

<property>

<name>pdfs.fs.local.buffer.size</name>


</property>

pdfs.fs.local.block.size

MapReduce ジョブで各 Map タスクに分割するデータサイズを指定します。

＜主な MapReduce ジョブの総入力データサイズ÷Slave ノード数＞以下を目安に指定してください。

なお、「D.4.2 ファイルシステム作成」の際の pdfsmkfs で指定するブロックサイズ(blocksz オプション)と合わせる必要はありません。

指定する値

33554432 (32MB)の倍数

デフォルト値

256MB

大値

1GB (1073741824)

推奨値

256MB ～ 1GB

設定例

<property>

<name>pdfs.fs.local.block.size</name>

- 154 -


</property>

pdfs.fs.local.posix.umask

ファイルまたはディレクトリ作成時に設定するアクセス権にプロセスの umask 値を反映するかどうかを指定します。

指定する値

- true ： umask 値を使用する(POSIX 互換)

- false ： umask 値を使用しない(HDFS 互換)

デフォルト値

true

設定例

<property>

<name>pdfs.fs.local.posix.umask</name>


</property>

pdfs.fs.local.cache.location

キャッシュローカル MapReduce 機能を使用するかどうかを指定します。

有効にすることで、MapReduce ジョブ起動時に対象ファイルのメモリキャッシュ保持ノード情報を取得し、キャッシュを持っているノー

ドに Map タスクが優先的に割り当てられるようになり Map フェーズ処理が高速になります。

指定する値

- true ：キャッシュローカル MapReduce 機能を使用する

- false ：キャッシュローカル MapReduce 機能を使用しない

デフォルト値

true

設定例

<property>

<name>pdfs.fs.local.cache.location</name>


</property>

pdfs.fs.local.cache.minsize

キャッシュローカル MapReduce 機能の対象から除外するファイルのサイズを指定します。メモリキャッシュ保持ノード情報の取得に

はコストがかかるため、指定したサイズ未満のファイルは情報を取得しないようにすることができます。

指定する値

1(Byte) 以上

デフォルト値

1048576 (1MB)

設定例

<property>

<name>pdfs.fs.local.cache.minsize</name>


</property>

- 155 -

pdfs.fs.local.cache.shell

キャッシュローカル MapReduce 機能により、メモリキャッシュ情報を取得する際に使用するリモートコマンド実行パラメタを指定しま

す。

デフォルト値

/usr/bin/ssh -o IdentityFile=%HOME/.pdfs/id_hadoop -o ConnectTimeout=10 -o BatchMode=yes -o StrictHostKeyChecking=no-o EscapeChar=none

なお、文字列内の "%HOME" は "${pdfs.fs.local.basedir}/${pdfs.fs.local.homedir}/<ユーザ名>" に、"%USER" はユーザ名に

置き換えられます。

設定例

<property>

<name>pdfs.fs.local.cache.shell</name>

<value> /usr/bin/ssh -o IdentityFile=/home/%USER/.ssh/id_rsa -o ConnectTimeout=10 -o BatchMode=yes -o

StrictHostKeyChecking=no -o EscapeChar=none</value>

</property>

pdfs.fs.local.cache.procs

キャッシュローカル MapReduce 機能により、メモリキャッシュ情報を取得する際の多重実行数を指定します。

デフォルト値

10

設定例

<property>

<name>pdfs.fs.local.cache.procs</name>

<value>40</value>

</property>

D.6 Hadoop 利用ユーザごとの設定

Hadoop を利用するユーザアカウントごとに必要な設定について説明します。

Hadoop を利用するユーザアカウントごとに、以下の設定を行ってください。

D.6.1 root で実施する設定

あらかじめ、DFS を構成する全ノードで、利用ユーザアカウントを作成しておきます。その際、ユーザ名とユーザ ID の対応はノード間

で同じにしてください。これは、DFS ではユーザ ID による制御となり、Hadoop ではユーザ名ベースで動作するために、全ノードで整

合性がとれるようにするためです。

DFS 用 FileSystem クラス上でのユーザ用のホームディレクトリ（${pdfs.fs.local.homedir}/<ユーザ名>）を作成します。

例

bdppuser1 というユーザの場合

全ノードで共用しているため、DFS をマウントしているいずれかのノードで、以下のように実行します。

root 権限で実行してください。

$ su

# hadoop fs -mkdir /user/bdppuser1

# hadoop fs -chown bdppuser1:bdppgroup /user/bdppuser1

- 156 -

# hadoop fs -chmod 700 /user/bdppuser1

# exit

Group、Permission は、利用環境に応じて適切に設定してください。

D.6.2 Hadoop 利用ユーザが実施する設定

キャッシュローカル機能で使用する SSH 認証キー設定

DFS では、キャッシュローカル MapReduce 機能を利用した MapReduce ジョブを実行する場合、Hadoop クラスタの各ノードからファイ

ルキャッシュ情報を取得します。

その際、MapReduce ジョブ実行ユーザによる、ジョブ起動ノードからリモートノードへのリモートコマンド実行（デフォルトでは SSH を使

用）により情報を取得するため、あらかじめリモートコマンド実行を可能にしておく必要があります。

キャッシュローカル機能を使用するかどうかは、pdfs.fs.local.cache.location プロパティで設定します。デフォルトは "true"（有効）です。

なお、pdfs.fs.local.cache.location プロパティを "false" （無効）に設定した場合は、以下の作業は不要です。

例

bdppuser1 というユーザで、DFS のマウントディレクトリが /mnt/pdfs の場合

1. 全ノードで共用しているため、DFS をマウントしているいずれかのノードで、以下を bdppuser1 で実行します。

$ cd ~

$ ssh-keygen -t rsa -N "" -f id_hadoop

$ echo -n "command=\"/opt/FJSVpdfs/sbin/pdfscachelocal.sh\",no-pty,no-port-forwarding,no-X11-forwarding " >

authorized_keys

$ cat id_hadoop.pub >> authorized_keys

$ hadoop fs -mkdir .pdfs

$ hadoop fs -chmod 700 .pdfs

$ hadoop fs -moveFromLocal id_hadoop id_hadoop.pub authorized_keys .pdfs/

$ hadoop fs -chmod 600 .pdfs/id_hadoop .pdfs/authorized_keys

$ hadoop fs -chmod 644 .pdfs/id_hadoop.pub

上記では、authorized_keys ファイルに以下のようなエントリーが設定されます。

$ hadoop fs -cat .pdfs/authorized_keys

"command=/opt/pdfs/sbin/pdfscachelocal.sh",no-pty,no-port-forwarding,no-X11-forwarding ssh-rsa 公開キー bdppuser1@自

ノード名

2. 全 Slave ノードおよび開発実行環境サーバでユーザ bdppuser1 のホームディレクトリの .ssh/authorized_keys に反映します。

以下を bdppuser1 で実行します。

$ xargs -ti ssh {} "umask 0077; mkdir -p .ssh; cat /mnt/pdfs/hadoop/user/bdppuser1/.pdfs/authorized_keys >> .ssh/

authorized_keys" < /etc/hadoop/slaves

$ ssh develop "umask 0077; mkdir -p .ssh; cat /mnt/pdfs/hadoop/user/bdppuser1/.pdfs/authorized_keys >> .ssh/

authorized_keys"

3. 以下のようにリモート実行することで確認できます。

$ echo /dummy | ssh -o IdentityFile=/mnt/pdfs/hadoop/user/bdppuser1/.pdfs/id_hadoop -o StrictHostKeyChecking=no -o

BatchMode=no 他ノード名 /opt/FJSVpdfs/sbin/pdfscachelocal.sh

2 (*)

(*) 通常は "2" と出力されます。

MapReduceジョブユーザ認証キーの設定

「キャッシュローカル機能で使用する SSH 認証キー設定」を実施した場合は、ここでの作業は不要です。

- 157 -

DFS 独自の MapReduce ジョブユーザ認証において認証キー確認を行うため、あらかじめ認証キーファイルを作成しておく必要があり

ます。ジョブユーザ認証を使用するかどうかは、pdfs-site.xml ファイルの pdfs.security.authorization プロパティで設定します。デフォル

トは "false"（無効）です。

なお、pdfs.security.authorization を "false"（無効）に設定した場合は、以下の作業は不要です。

pdfs.security.authorization プロパティについては、「pdfs-site.xmlファイル」を参照してください。

例

bdppuser1 というユーザで、DFS のマウントディレクトリが /mnt/pdfs の場合

全ノードで共用しているため、DFS をマウントしているいずれかのノードで、以下を bdppuser1 で実行します。

$ cd ~

$ cat > id_hadoop

任意のキーワード文字列

ctrl-d

$ hadoop fs -mkdir .pdfs

$ hadoop fs -chmod 700 .pdfs

$ hadoop fs -moveFromLocal id_hadoop .pdfs/

$ hadoop fs -chmod 600 .pdfs/id_hadoop

- 158 -

付録E DFS の運用変更

本付録では、DFS によるファイルシステムの運用変更について説明します。

E.1 ファイルシステムの削除

DFS では、管理パーティションにファイルシステムを構成しているパーティション情報を記録しています。

そのため、使用中の DFS が不要になった場合は削除する必要があります。

注意

ファイルシステムを削除すると、ファイルシステムのデータはすべて削除されます。そのため、必要なデータは削除前にバックアップし

てください。

以下の環境を例に、DFS の削除手順を示します。




特に指示がない場合は、マスタサーバ(プライマリ)で実行してください。

1. 対象となる DFS がマウントされている場合はアンマウントします。

すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバでアンマウントします。


マスタサーバでアンマウントします。


2. 現在のファイルシステム情報を確認します。

# pdfsinfo -a <Enter>











3. DFS を削除します。

# pdfsadm -D /dev/disk/by-id/scsi-1FUJITSU_300000370107 <Enter>

4. DFS が削除されたことを確認します。

# pdfsinfo -a <Enter>




- 159 -



5. 管理パーティション情報をバックアップします。

保守作業で使用するため _backup_file_ を大切に保管してください。

# pdfsgetconf _backup_file_ <Enter>

6. すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバで、ファイルシステム構成情報ファイルを削除します。


# rm ./client.conf.pdfs2 <Enter>

7. マスタサーバ(プライマリ)、およびマスタサーバ(セカンダリ)で、接続許可リストファイルを削除します。


# rm ./server.conf.2 <Enter>

8. マスタサーバ(プライマリ)、およびマスタサーバ(セカンダリ)、スレーブサーバ、開発実行環境サーバ、および連携サーバの /etc/fstab から対象となる DFS の記述を削除します。

参考

以下に、/etc/fstab に記述されている DFS のデバイス名を示します。

－マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)：代表パーティションの by-id 名

－スレーブサーバ、開発実行環境サーバ、連携サーバ：論理ファイルシステム名

E.2 ファイルシステムの再作成

パーティション構成を変更せずに、使用中の DFS を再作成する場合の手順を説明します。

これは、ファイルシステムを修復する目的で、バックアップからすべてのファイルをリストアするために実施します。

参照

パーティション構成を変更する場合は、使用中の DFS を削除後、新しいパーティション構成で作成してください。

・ DFS の削除手順は、「E.1 ファイルシステムの削除」を参照してください。

・ DFS の作成手順は、「D.4 ファイルシステムの作成」を参照してください。

注意

ファイルシステムを再作成すると、旧ファイルシステムのデータはすべて削除されます。そのため、必要なデータは再作成前にバック

アップしてください。

以下の環境を例に、DFS を再作成する手順を示します。



特に指示がない場合は、マスタサーバで実行してください。



- 160 -




2. ファイルシステムを再作成する pdfsmkfs のコマンド行を取得します。

# pdfsmkfs -m /dev/disk/by-id/scsi-1FUJITSU_300000370106 > _mkfs_param_ <Enter>

3. pdfsmkfs のコマンド行に、再作成するための固有オプション force を追加指定します。

# cat _mkfs_param_ <Enter>

pdfsmkfs -o force,【中略】 /dev/disk/by-id/scsi-1FUJITSU_300000370106

4. DFS を再作成します。

# sh _mkfs_param_ <Enter>

5. pdfsmkfs のコマンド行を削除します。

# rm _mkfs_param_ <Enter>

6. DFS をマウントして運用を再開します。

マスタサーバからマウントします。


DFS を使用するすべてのスレーブサーバ、開発実行環境サーバ、および連携サーバでマウントします。


E.3 スレーブサーバの追加/スケールアウト

DFS では、スレーブサーバを追加してスケールアウトすることでサーバの処理能力を向上させることができます。

スレーブサーバ、開発実行環境サーバ、および連携サーバの追加は運用停止することなく行えます。

注意

スレーブサーバ、開発実行環境サーバ、および連携サーバの削除を行ったあとは、運用を継続したまま追加を行うことができません。

この場合は、DFS をアンマウント状態にしてから追加を行ってください。

スレーブサーバ、開発実行環境サーバ、および連携サーバを追加する手順を、以下の環境を例に説明します。


・マウントポイント：/mnt/pdfs



・マスタサーバ：master1, master2

・既存スレーブサーバ、

開発実行環境サーバ、連携サーバ


・追加スレーブサーバ：slave6, slave7, slave8, slave9, salve10

- 161 -

E.3.1 スレーブサーバ、開発実行環境サーバ、および連携サーバ情報の追加

スレーブサーバ、開発実行環境サーバ、および連携サーバの追加を行うには、マスタサーバの接続許可リストファイルに、追加するスレーブサーバ、開発実行環境サーバ、または連携サーバのホスト名を登録します。

マスタサーバ(プライマリ)で、以下の作業が必要です。

1. スレーブサーバ、開発実行環境サーバ、および連携サーバを追加するファイルシステムのファイルシステム ID を “pdfsinfo コマ

ンド”の出力にある FSID 欄から確認します。

# pdfsinfo -n /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>


FSID hostID status hostname

1 80a4f75b RUN master1

1 80960096 RUN master2

2. ファイルシステム ID が該当する接続許可リストファイルに、追加するスレーブサーバ、開発実行環境サーバ、および連携サー

バの CLIENT フィールドを追加します。

CLIENT フィールドは、接続許可リストファイルの末尾に追加します。

複数のスレーブサーバ、開発実行環境サーバ、または連携サーバを追加する場合は、クライアントの数だけ CLIENT フィール

ドを追加してください。


#


#


#


#

# Notes:


#

# example:

#CLIENT nodeac1

#CLIENT nodeac2

#CLIENT nodeac3

#CLIENT nodeac4

#CLIENT nodeac5

CLIENT slave1

CLIENT slave2

CLIENT slave3

CLIENT slave4

CLIENT slave5

CLIENT develop

CLIENT collaborate

注意

－追加する DFS クライアントの CLIENT フィールドは、必ず接続許可リストファイルの末尾に追加してください。

既存の CLIENT フィールドが変更されると、追加するスレーブサーバ、連携サーバ、または開発実行環境サーバの mountコマンドが失敗します。

－既存の CLIENT フィールドの変更および削除はできません。

スレーブサーバ、開発実行環境サーバ、または連携サーバの追加と同時に変更および削除を行いたい場合は、DFS をア

ンマウントした状態で行ってください。

－スレーブサーバ、開発実行環境サーバ、および連携サーバとマスタサーバを合わせた数が、共用サーバ数の上限である128台を超えないようにしてください。

- 162 -

3. 更新した接続許可リストファイルをマスタサーバ(セカンダリ)に配付します。


# scp ./server.conf.1 root@moony:/etc/pdfs/server.conf.1 <Enter>

注意

マスタサーバ間で接続許可リストファイルの内容が異なると、MDS ダウンリカバリーに失敗してファイルシステム閉塞やシステム

パニックが発生する場合があります。

E.3.2 ファイルシステム構成情報の配付

DFS のファイルシステム構成情報を生成し、追加するスレーブサーバ、開発実行環境サーバ、および連携サーバに配付します。

1. DFS の構成情報ファイルを生成します。

マスタサーバ(プライマリ)で、“pdfsmkconf コマンド”を実行します。


参照

“pdfsmkconf コマンド”の詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリ

ファレンス」で“pdfsmkconf”を参照してください。

2. ファイルシステム ID が該当する構成情報ファイルのファイル名を、論理ファイルシステム名に変更します。



注意

構成情報ファイルのファイル名は、ファイルシステム ID 部分以外 (client.conf) を変更しないでください。

3. 構成情報ファイルを、追加するスレーブサーバ、開発実行環境サーバ、および連携サーバに配付します。

# scp ./client.conf.fs1 root@rainy3:/etc/pdfs/client.conf.pdfs1 <Enter>

注意

構成情報ファイルは、スレーブサーバ、開発実行環境サーバ、および連携サーバの“/etc/pdfs”配下に配置してください。

E.3.3 fstab の設定

マウントするファイルシステムに関するエントリーを、追加するスレーブサーバ、開発実行環境サーバ、および連携サーバの“/etc/fstab”に定義する必要があります。

また、同じファイルシステムに対するエントリーは、ファイルシステムを共用するほかのスレーブサーバ、開発実行環境サーバ、および

連携サーバと同じにする必要があります。

- 163 -

例

# cat /etc/fstab | grep pdfs <Enter>


E.3.4 マウント

追加するスレーブサーバ、開発実行環境サーバ、および連携サーバでファイルシステムをマウントします。

スレーブサーバ、開発実行環境サーバ、および連携サーバでのマウントには、“mount コマンド”を使用します。


E.4 スレーブサーバの削除

DFS では、ハード異常などの理由からスレーブサーバ、開発実行環境サーバ、または連携サーバを削除する場合、運用停止するこ

となく削除を行えます。

スレーブサーバ、開発実行環境サーバ、または連携サーバを削除する手順を、以下の環境を例に説明します。





・既存スレーブサーバ、



・削除スレーブサーバ：slave6

1. 削除対象となるスレーブサーバ、開発実行環境サーバ、または連携サーバで DFS がマウントされている場合はアンマウントし

ます。


2. 削除対象となるスレーブサーバ、開発実行環境サーバ、または連携サーバでファイルシステム構成情報ファイルを削除します。


# rm ./client.conf.pdfs1 <Enter>

3. 削除対象となるスレーブサーバ、開発実行環境サーバ、または連携サーバの“/etc/fstab”から対象となる DFS の記述を削除し

ます。

4. マスタサーバ(プライマリ)の接続許可リストファイルから、削除対象となるスレーブサーバ、開発実行環境サーバ、または連携

サーバの CLIENT フィールドを削除します。

# cat /etc/sfcfs/server.conf.1 <Enter>

#


#


#


#

# Notes:


#

- 164 -

# example:

#CLIENT nodeac1

#CLIENT nodeac2

#CLIENT nodeac3

#CLIENT nodeac4

#CLIENT nodeac5

CLIENT slave1

CLIENT slave2

CLIENT slave3

CLIENT slave4

CLIENT slave5

CLIENT develop

CLIENT collaborate

CLIENT slave6 ← ここの行を削除します

CLIENT slave7

CLIENT slave8

CLIENT slave9

CLIENT slave10

5. 更新した接続許可リストファイルをマスタサーバ(セカンダリ)に配付します。

例）マスタサーバ(プライマリ) master1 から実行する場合


# scp -p ./server.conf.pdfs1 root@master2:/etc/pdfs/server.conf.pdfs1 <Enter>

注意

マスタサーバ間で接続許可リストファイルの内容が異なると、MDS ダウンリカバリーに失敗し、ファイルシステム閉塞やシステムパニッ

クが発生する場合があります。

E.5 共有ディスクの追加／スケールアウト

DFS では、ファイルシステムにパーティションを追加してスケールアウトすることで、共用ディスク装置の処理能力、ファイルシステム容

量のどちらか、または、その両方を向上させることができます。

パーティションの追加を行う際は、対象となる DFS をアンマウントしてください。

DFS にパーティションを追加する手順を、以下の環境を例に説明します。






・スレーブサーバ、



・既存パーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370107

・追加パーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370108





- 165 -


2. ファイルシステム情報を確認します。

管理パーティションに記録されたファイルシステム情報から、対象となるファイルシステムの構成を確認します。








3. パーティションを追加します。

ファイルデータ領域として /dev/disk/by-id/scsi-1FUJITSU_300000370108 を追加します。

# pdfsadd -D /dev/disk/by-id/scsi-1FUJITSU_300000370108 /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

4. パーティションが追加されたことを確認します。

ファイルシステム情報から、パーティションが追加されたことを確認します。









5. DFS の構成情報ファイルを再生成します。

“pdfsmkconf コマンド”マスタサーバで実行します。


参考

構成情報ファイルは“pdfsmkconf コマンド”を実行したディレクトリ配下に “pdfsmkconf_out/client.conf.fsid” として、ファイルシス

テム ID fsid ごとに生成されます。

6. 構成情報ファイルの名前を論理ファイルシステム名に変更します。

ファイルシステム ID fsid を論理ファイルシステム名に変更します。



7. 構成情報ファイルを各スレーブサーバ、開発実行環境サーバ、および連携サーバに配付します。



注意

構成情報ファイルは、各スレーブサーバ、開発実行環境サーバ、および連携サーバの“/etc/pdfs”配下に配置してください。

8. DFS をマウントし、運用を再開します。

マスタサーバからマウントします。

- 166 -


すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバでマウントします。


E.6 共有ディスクの削除

DFS では、ファイルシステムを構成している共用ディスクの削除を行うことはできません。

共用ディスクの削除を伴う DFS の構成変更を行う場合には、以下の手順で行ってください。

1. 構成変更後も必要な資産をバックアップします。

バックアップは、ファイル／ディレクトリ単位で行ってください。

注意

共用ディスクの削除を行うため、バックアップした資産のリストア時に DFS の容量不足とならないよう注意してください。

参照

「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「Linux 標準コマンドによるバックアップ／リストア（ファイ

ル／ディレクトリ単位）」を参照してください。

2. 対象となる DFS を削除します。

参照

DFS の削除手順は、「E.1 ファイルシステムの削除」を参照してください。

3. 変更した構成で DFS を再作成してください。

参照

DFS の作成手順は、「D.4 ファイルシステムの作成」を参照してください。

4. 手順1. でバックアップした資産がある場合は、リストアします。

- 167 -

用語集 Apache Hadoop

Apache Software Foundation(ASF) が開発したオープンソースの Hadoop ソフトウェアです。

DataNode

Hadoopで使用するファイルシステムであるHDFSにおいてクラスタを構成するノードの名称です。Hadoopで処理されるビッグデータ

はDataNode上にブロック単位で分散・複製され配置されます。

Hadoop

ビッグデータの効率的な分散・並列処理を行う技術の名称です。大きく分けて、分散ファイルシステムである HDFS と並列分散処

理技術である、MapReduceから成ります。

HDFS(Hadoop Distributed File System）

Hadoopで使用する分散ファイルシステムです。ビッグデータを複数のDataNodeと呼ばれるノードにブロック単位で分散・複製して

配置し、それをNameNodeと呼ばれるノードが管理します。

MapReduce

Hadoop の中核となる並列分散処理技術です。分散された情報をそれぞれ並列処理し、その処理結果を集約します。構成は大き

く分けて、各クラスタごとの処理を受け持つTaskTrackerと、全体の処理を管理しTaskTrackerに処理を割り振るJobTrackerから成り

立っています。

NameNode

Hadoopで使用するファイルシステムであるHDFSを管理するノードの名称です。

PB(ペタバイト)

データの大きさの単位で、10の15乗バイトを示します。

TB(テラバイト)

データの大きさの単位で、10の12乗バイトを示します。

イメージ情報

仮想イメージの構成を表現した情報です。

システムテンプレートを作成する際に必要な情報で、仮想イメージ1つに対して、1つのイメージ情報を作成する必要があります。

クローニングマスタ

システムディスクの内容からサーバの固有情報 (システムノード名やIPアドレス) を取り除いた状態で採取したものです。配備のとき

に、仮想サーバのシステムディスクにコピーされます。

センシングデータ

各種センサーから送られてくるデータのことを指します。

ソーシャルメディア

インターネット上で、様々な人々が様々なコンテンツ(テキスト、音声、ビデオ、etc.)を交換・共有することで生まれるコミュニケーショ

ン社会を提供するサービスやアプリケーションを、旧来の情報媒体(新聞、テレビ、etc.)と対比してソーシャルメディアと呼んでいま

す。

単一障害点

その一か所に問題があると全体にとって致命的になる場所を単一障害点と呼びます。HDFSでは、DataNode全体を管理する

NameNodeに障害が起きると、HDFSが使用できなくなります。そのため、NameNodeはHDFSの単一障害点となります。

- 168 -

v1.0.0 parallel processing server interstage big...

Documents