oracle real application clusters 11g release 2 for …...oracle rac 11gr2 のメモリ要件：ram...

© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved

Oracle Real Application Clusters 11g Release 2 for AIX インストール手順書

2010/11 Version 1.1

* 2010/08 Oracle Database 11g R2 11.2.0.1 対応* 2010/11 Oracle Database 11g R2 11.2.0.2 対応


2

当資料について

当資料は、Oracle Real Application Clusters(以下、Oracle RAC) 11gR2(11.2) for IBM AIX on Power Systems （64-Bit）のインストール手順を示す資料です。

AIX®のインストールが完了した時点からの手順を説明する資料です。

• 当手順書の検証においては、AIXオペレーティングシステムのインストールオプションは変更せず、デフォルトの状態で導入しています。

当資料では、データベース記憶域として Oracle Automatic Storage Management （以下、ASM）を選択しています。

インストールを開始する前に、オラクル社が提供する製品マニュアル（インストールガイド）を必ずご確認ください。

• 当ドキュメントの作成後にOSパラメータの推奨値等が変更になっている可能性があります。


3

What's New ? - Oracle RAC 11gR2 Installation - ①

Grid Infrastructureの登場

• Oracle Grid Infrastructure を導入することにより、Oracle Clusterware と Oracle ASM が導入される

• 以前のリリースでは、Oracle ASMはOracle Databaseインストールの一部としてインストールされていたが、11gR2では、Oracle ASMはOracle Grid Infrastructureのインストールの一部となった

GRID Plug and Play

• 11gR2以降では、サーバープールに物理ノードを定義しておくことで、負荷に応じて稼動サーバ数が動的に変更されるアーキテクチャーを選択することができる

• 11gR1以前同様に、Oracle RACを構成するノードを固定することも可能(当手順書ではこの構成を採用)

データ記憶域として、今後RAWデバイスは推奨されない

• 今後データ記憶域として使用できるのは、Oracle ASM / ファイルシステム / NFS Filer のみ

– 旧バージョンから11gR2へのアップグレードを行った場合や、CUIベースで作成したデータベースにおいてRAWデバイスを利用する場合については、少なくとも11gR2までは引き続き製品サポートが得られます

– 現時点で RAWデバイスを利用している環境については可能な限りASMへの移行を検討すべき

ASMの機能拡張

• データ記憶域だけでなく、投票ディスクとOCRもASMディスクグループ上に配置可能となった


4

What's New ? - Oracle RAC 11gR2 Installation - ②

gridユーザの作成が推奨される• Oracle DB 管理用ユーザとOracle Grid Infrastructure 管理用ユーザを作成

– 例として oracleユーザ(Oracle DB 管理)、gridユーザ( Grid Infrastructure管理)

• ORACLE_HOME設定は、Grid Infrastructure用ホームディレクトリを指すか、もしくはデータベース用ホームディレクトリを指す。都度、状況に応じていずれかのホームディレクトリに設定する

SCANの登場• 11gR１RACまで、クライアントサイドフェイルオーバーを行うためには、クライアント側(例：WASデータソース定

義)で複数のOracleリスナーを登録しておく必要があった

• 11gR2RACでは、クライアント側で Oracle RAC の代表アドレスとして SCANのアドレスを登録しておくことで、リスナーのフェイルオーバーのための設定を行う必要がなくなった– フェイルオーバーはOracleサーバー側で実施される

• SCANアドレス3つ以上を DNS Round Robin にて使用することが推奨。(SCAN1つ, DNS無しでも構成可能)

• 11gR1以前と同様に、クライアントからリスナーアドレスを登録する形式でもアクセス可能

SSH自動構成機能の提供

• 11gR2ではSSH構成(ログイン時パスワード入力を不要とするための構成)はOUIにより自動的に行われる– この場合、ユーザーが authorized_keys ファイルを作成する必要はない

• 11gR1以前と同様に、ユーザー自身で authorized_keys ファイルを作成する方法でも構成可能– 11.2.0.2では現在、SSH自動構成機能を使用するためには回避策が必要になるため、当手順書では authorized_keys

ファイルを事前に作成しています


5

Oracle Database 11gR2 (RAC)インストール手順

インストールイメージの入手

サーバーの環境確認とセットアップ(OS設定)

Oracle Grid Infrastructure インストール

Oracle Database インストール

ASMディスク・グループ作成

Oracle Database作成


6





Oracle RAC インストール




7

インストールイメージの入手Oracle RAC 11gR2 for AIX の導入には、下記2つのインストールイメージが必要

下記いずれかで入手可能（Oracle 11g R2 （11.2.0.2）は、フル・インストール・イメージです。 11.2.0.2のインストールには、11.2.0.1は必要ありません。）

– Oracle Technology Network(US)サイトよりダウンロード（11.2.0.1のイメージのみ入手可）

• http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html

• http://www.oracle.com/technetwork/index.html(トップページ)

– e-Delivery （11.2.0.1のイメージのみ入手可）

• http://edelivery.oracle.com/

• 要サポート契約

– My Oracle Support （11.2.0.2のイメージのみ入手可）

• http://support.oracle.com/

– DVDを入手する

• 要サポート契約

１： Oracle Database 11gR2 Grid Infrastructure＊ Oracle Clusterware と ASM を構成

２： Oracle Database 11gR2＊ Oracle RAC とリスナーを構成


8


unzipの導入について

– OTN, e-Delivery では、インストールイメージが zip形式で提供される

– AIXには zip解凍ツールはデフォルトで導入されないため、rpmを入手し予め適用する必要がある

– unzipツール入手元

• AIX Toolbox for Linux Applications

http://www-03.ibm.com/systems/power/software/aix/linux/toolbox/alpha.html

OpenSSL/OpenSSHについて

– AIXでは、デフォルトではSSH関連のファイルセットが導入されていないため、事前にダウンロード・導入する。(導入手順は後述)

– OpenSSL/OpenSSH入手元

• AIX Expansion Pack and Web Download Pack 【OpenSSL】http://www-03.ibm.com/systems/power/software/aix/expansionpack/index.html

• AIX Web Download Pack Programs 【OpenSSH】https://www14.software.ibm.com/webapp/iwm/web/reg/pick.do?source=aixbp&lang=en_US


9









10


1.0 H/W要件の概要

– クラスタノード

– 2ノード(LPAR)以上のマシン

– ネットワーク(パブリックネットワーク)

– クライアントからデータベースに接続するためのネットワーク

– ネットワーク(インターコネクト)

– クラスタノード間通信に使用されるネットワーク

– 共有ストレージ

• データベースシステムとユーザデータを保存

【補足】

・クラスタノードはすべて同一OSで動作する必要がある。・当資料では、2LPAR(≒論理的な2ノード構成)でOracle RACを構成する。PowerVM™は使用しない。


1111

1. サーバーの環境確認とセットアップ(OS設定)

1.1 H/W要件の確認

– ■システム・アーキテクチャと動作モード (32bit or 64bit) の確認

– ■メモリ・スワップ関連

• メモリ容量の確認をし、要件よりも少ない場合はメモリ増設が必要

• swap容量を確認。すくない場合は拡張する

• swap領域拡張方法

# /usr/sbin/lsattr -E -l sys0 -a realmem

# /usr/sbin/lsps -a

# /usr/sbin/chps -s <ブロック数> hd6

Oracle RAC 11gR2 のメモリ要件：RAM 4GB

（Grid Infrastructure のみ稼動する場合は 1.5GB)

# getconf KERNEL_BITMODE

# bootinfo -K両コマンドの戻り値は 64 である必要があります。64 以外の値が返された場合、Oracle 11gR2 for AIX 64bit はインストールできません。

当ページの作業は

root ユーザで実行します

◆◇補足： Oracle導入に必要なメモリ・Swapサイズ ◇◆

Oracle 11gR2 Grid Infrastructure インストールガイド参照http://download.oracle.com/docs/cd/E11882_01/install.112/e17210/typinstl.htm#CBHHHJJF

RAM 8GB 以上を搭載するマシンであれば、RAMサイズ×1.5倍（上限は32GB）が推奨値


12



– ■ランレベルの確認



# who -rOracleを導入するAIXのランレベルは、2 である必要がある（デフォルト値： 2 ）


13



– ■各種Firmwareバージョン確認

• SSIC にて、サポートされるH/W, OS, Firｍware の組み合わせとなっていることを確認する

– IBM System Storage Interoperation Center (SSIC)http://www.ibm.com/systems/support/storage/config/ssic/displayesssearchwithoutjs.wss

• 当ドキュメントは下記組み合わせのH/W, OS, Firmwareで検証



サーバー機器 IBM Power570

OS AIX 6.1 TL04

ストレージ機器 IBM System Storage® DS4800 (F/W: 06.16.97.00 NVSRAM: N1815D480R916V3)

SAN Switch IBM TotalStorage SAN スイッチ SAN16B-2(2005-B16)


14



– ■Oracle Grid Infrastructure導入に必要なディスク容量の確認

• 各ファイルシステムについて下記の要領を確保しておく必要があります。



ディレクトリ必要容量用途、その他

gridユーザーのOracleベース・ディレクトリ/u01/grid (デフォルト)

12GB Oracle Clusterwareインストールディレクトリ, ASMファイルとログが格納される

oracleユーザーのOracleベース・ディレクトリ/u01/app/oracle (デフォルト)

7.5GB Oracle Databaseインストールディレクトリ

/tmp 1GB 一時ファイル1GBはOracle導入の最低条件。必要に応じて拡張

/usr 6GB程度(※) (※)Oracle導入要件ではない。OS Fixpackを適用する際に、デフォルト構成では/usr容量が不足するため予め拡張しておく。目安として、AIX 6.1 TL04適用後は4GB強が使用される。

◆◇補足： Oracle導入に必要なディスク容量 ◇◆

Oracle 11gR2 インストールガイド参照http://download.oracle.com/docs/cd/E11882_01/install.112/e17210/toc.htm


15

1. サーバーの環境確認とセットアップ(ストレージ設定)


– ■ ASMディスクグループに必要な空き容量

• Oracle Clusterware 関連ファイル（OCRディスク×3、投票ディスク×3）をNoｒmal Redundancy で作成する場合に必要な空き容量の目安

– 各物理ディスクあたり1GBディスクスペースが利用可能であること

– 各Oracle Clusterwareファイル用のファイルシステムあたり 280MB以上の空き容量があること

– ■Oracle ASM利用時の冗長性確保のために

• Oracle Clusterwareファイル用に 2GBディスクスペース（3つの障害グループそれぞれに割当）

• 3つの物理ディスクが必要

• 各物理ディスクには1GB以上の空き容量が必要

◆◇補足： ASMインスタンス ◇◆

Oracle自動ストレージ管理（Oracle ASM）を Oracle Clusterware ファイルまたは Oracle Database ファイルに使用する場合、ASM用のOracleインスタンス（＝ASMインスタンス）が稼動します。データベースの数に関係なく、クラスタ内のノードごとにASMインスタンスが1つ作成されます。




16

1. サーバーの環境確認とセットアップ(ストレージ設定)


– ■外部ディスクストレージ上で必要なオペレーション

– 下記はIBM DS4800における操作手順の概略です。

– 操作の詳細手順は使用するストレージ機器によって異なりますので、各機種のマニュアルをご確認ください。

1. IBM Storage Manager クライアントを起動する

2. Storage Manager クライアント上で Array を作成

3. Storage Manager クライアント上で論理ドライブを作成

1. データファイル用と、OCR/投票ディスク用に、2つの論理ドライブを作成

2. 後続のステップ（⇒P81, P112）にて論理ドライブ(=AIX OSから見るとキャラクタデバイス)上に、Oracle ASM ディスクグループが構成される。

4. Storage Manager クライアント上で論理マッピングを作成



◆◇補足： OCR/投票ディスクの配置先◇◆

OCR/投票ディスクは、ASM、サポートされたNAS、クラスタファイルシステムのいずれかに配置することができます。RAWパーティションに配置することはできません。


17

1. Pre-Installation Task

1.2 S/W要件の確認＜テクノロジーレベル＞

– ■OSバージョン(テクノロジーレベル)の確認

• 必要な Fixpack が適用されていることを確認

– ■Fixpack 適用（smitツールを使用する方法）

– 「ソフトウェアのインストールおよび保守」＞「ソフトウェアのインストールおよび更新」＞「インストール済みソフトウェアを最新レベルに更新 (すべて更新)」

– 「ソフトウェアの入力デバイス/ディレクトリー」に、TL04を配置したディレクトリを指定する

– 「新規ご使用条件に同意する」を「はい」に変更し Enter 押下することでインストール開始> 環境に依存するが、数十分程度の時間がかかる



# oslevel -s AIX 6.1の場合、TL 02 SP1 ("6100-02-01") 以上が必要


18


1.2 S/W要件の確認＜ファイルセット＞

– ■ファイルセットの確認

• Oracle Database の前提として必要なファイルセットが導入済みか確認

– ■ファイルセット導入（smitツールを使用する方法）

– 「ソフトウェアのインストールおよび保守」＞「ソフトウェアのインストールおよび更新」＞「ソフトウェアのインストール」

– 「ソフトウェアの入力デバイス/ディレクトリー」に、各ファイルセットと依存モジュールを配置したディレクトリを指定する

– 「新規ご使用条件に同意する」を「はい」に変更し Enter 押下することでインストール開始



# lslpp -l bos.adt.base bos.adt.lib bos.adt.libm ¥bos.perf.libperfstat bos.perf.perfstat bos.perf.libperfstat ¥bos.perf.proctools rsct.basic.rte rsct.compat.clients.rte ¥xlC.aix61.rte

AIX6.1の場合は下記のファイルセットが必要* bos.adt.base* bos.adt.lib★ bos.adt.libm* bos.perf.libperfstat 6.1.2.1 or later* bos.perf.perfstat* bos.perf.proctools★★ rsct.basic.rte★★ rsct.compat.clients.rte* xlC.aix61.rte:10.1.0.0 or later

【AIX 7.1を利用する場合】

★赤字で示すファイルセットを追加導入する

【AIX 6.1を利用する場合】

★赤字で示すファイルセットと★★青字で示すファイルセットを

追加導入する


19


1.2 S/W要件の確認＜ファイルセット（補足）＞

– ■補足1 ：ファイルセットの入手

• ユーザ自身で追加インストールする必要のある3つのモジュール(※)は、AIX6.1インストールメディアに含まれています。(AIX6.1デフォルトインストールでは導入されません)– (※) bos.adt.libm / rsct.basic.rte / rsct.compat.clients.rte

• 各ファイルセットの最新アップデートはインターネット上に公開されています。– Fileset information for: bos.adt.libm

http://www.ibm.com/support/docview.wss?uid=isg1fileset-1318926131

– Fileset information for: rsct.basic.rte, rsct.compat.clients.rte

http://www.ibm.com/support/docview.wss?uid=isg1fileset-1429361625

> Oracle 11gR2 のインストール要件として、上記ファイルセットのバージョンは指定されていないため最新アップデートを適用するか否かは任意です。プロジェクトの Fix適用方針に従ってご検討ください。

– ■補足2 ：ファイルセットの名称

• bos.adt.libm 6.1.0.0 に該当するモジュールは smit install_all 画面上、bos.adt "6.1.0.0 Base Application Development Math Library" という名称で表示されます。– bos.adt パッケージに含まれる形で提供されているため、"bos.adt.libm" を検索しても見つからないことに注意

• 以下、同じ理由から ...– rsct.basic.rte ⇒ rsct.basic "2.5.1.0 RSCT Basic Function" を選択

– rsct.compat.clients.rte ⇒ rsct.compat.clients " 2.5.1.0 RSCT Event Management Client Function" を選択




20


1.2 S/W要件の確認＜OS Patch＞

– ■OS Patchの確認

• 必要な OS Patch が適用されていることを確認

– ■補足：Patch確認方法

– Oracle Database 11gR2 のインストーラでは、システム要件として下記3つの Patch の適用有無を確認しています。

> IZ51456、 IZ41855、 IZ52319

– ただし、AIX TL 6100-02よりも新しいテクノロジーレベルを適用している環境では、Patchの名称（番号）が上記と異なる場合があります。

– その環境に応じて必要なPatchが適用されていることを確認します。



# /usr/sbin/instfix -i -k "IZ51456 IZ41855 IZ52319" AIX6.1 TL02 の場合は下記3つのPatchが必要

* IZ41855* IZ51456* IZ52319

⇒次ページにつづく


21


1.2 S/W要件の確認＜OS Patch（補足）＞

– ■補足：Patch確認方法

• Oracleのインストーラが確認する3つのPatch が既に適用済みであるかどうか確認する方法として、smit による一覧を利用する方法、instfixコマンドを利用する方法があります。

• 各Patchの修正内容の概要や適用方法の一例を下表に記載しています。



Oracle導入前提Patch

Patch概要適用有無の確認方法

各Patchについての情報Link

IZ51456 PORTMAPPER HANGS

smit[bos.rte.streams6.1.3.1 以上]

http://www-01.ibm.com/support/docview.wss?uid=isg1fixinfo112964

IZ41855 mprotect() returns ENOMEM for text segment in 32 bit

smit[bos.mp64 6.1.2.3 以上]

http://www-01.ibm.com/support/docview.wss?uid=isg1fixinfo110284

IZ52319 PERFSTAT_CPU_TOTAL_T:LOAD AVG GIVING WRONG VALUES INSIDE WPAR APPLIES

instfixコマンド[instfix -i -k "IZ55160"]※

※TL04適用の場合

http://www-01.ibm.com/support/docview.wss?uid=isg1IZ52319http://www-01.ibm.com/support/docview.wss?uid=isg1IZ55160


22


1.3 ネットワーク要件の確認

– ■ネットワークインターフェース

– 1ノードあたり最低2個のNICを搭載していること

– Public IPアドレス用に1個、Private IPアドレス用に1個

– 各NICに対するIPアドレス、NETMASK等のTCP/IP設定は事前に実施しておく必要があります

– ■(オプション)NICの可用性

• NIC障害時のダウンタイムを短縮できるソリューションとして、2枚以上の NIC を1つのインターフェースとして見せることのできる NICボンディング/AIX Etherchannel 等の利用が推奨されています。

• 11gR2 PatchSet1 (11.2.0.2) の新機能として、インターコネクト用のNICをオラクルレベルで冗長構成できるようになりました。

– この機能を使う場合、インターコネクト用NICに対して169.254.xxx.xxx のアドレスが内部的にランダムにアサインされ、Cache Fusion等の通信は全て169.～のアドレスで行われるようになります。

– これまで通り、BONDINGで冗長化してもOKです。



11.2.0.2New !!


23



– ■ IPアドレスの割り当て

> IPアドレスの割り当て方法については、以下いずれかを選択します

• 1)静的IPアドレス割り当て【当資料はこちら】

– 固定IPアドレスを割り当てる

– 11gR1以前と同じく、どのノードにRACを構成するか予め決めている場合はこちらでOK

• 2)Oracle Grid Naming Service (GNS)による動的なIPアドレスの割り当て

– Grid Plug and Play(GPnP)対応の Oracle RAC 環境を構築する場合には、GNSのネットワーク構成要件を満たしておく必要があります。

– パブリックネットワーク上のIPアドレス割り当てのためにDHCPサービスが必要



11gR2New !!

◆◇補足： Grid Plug and Play (GPnP) ◇◆

Oracle 11gR2 インストールガイド参照http://download.oracle.com/docs/cd/E11882_01/install.112/e17210/toc.htm#CHDIFGAI


24



– ■ インターコネクト用ネットワークのMulticast通信確認（11.2.0.2～）

– Oracle Database 11g R2 11.2.0.2 以降では、インターコネクト用のプライベート・ネットワークでMulticast通信が行える必要がある

– Grid Infrastructureはアドレス：230.0.1.0、ポート番号：42424でノード間通信を行う

– アドレス：230.0.1.0が使用できない場合は、個別パッチ（Patch: 9974223）を適用することで、アドレス：224.0.0.251 (port 42424）で通信するように変更可能



◆◇補足： Multicast通信確認の詳細 ◇◆

My Oracle Support ノート 1212703.1：1.2.0.2 Grid Infrastructure Install or Upgrade may fail due to Multicasting Requirement


25



– ■Single Client Access Name(SCAN)の定義

– デフォルトインストールでは、 SCAN はローカルノード名に基づいて命名される。クラスタ名も SCAN と同一文字列となる

– 変更する場合には、RACを構成するノード間でユニークとなる名称とする必要がある

– ■SCANの名前解決

– Round Robin 名前解決ルールを選択する場合には、推奨として3個（最小：1個）のIPアドレスを登録する。

– 複数のSCAN VIP を利用する場合には、名前解決方法として DNS が推奨される。

– DNSラウンドロビンによる負荷分散・可用性向上のため3個のアドレスをDNSに登録する構成が推奨。

– hostsによる名前解決は推奨されない。（hostsファイルに複数のIPアドレスを登録しておいても、SCANアドレスとして利用されるアドレスは1つのみとなってしまうため。）



SCAN/クラスタ名ルール：・1文字以上15文字以内であること・アルファベットと英数字で構成されること（ただし先頭の文字に数字はつかえない）・ハイフン（-）も使用可能・SCAN名が15文字以上に設定された場合には、クラスタ名は、デフォルトで SCANの先頭15文字がセットされる

※SCANとは？（次ページにて補足）


26



– ■Single Client Access Name(SCAN)とは

– クライアントからSCAN名を指定するだけでOracle RAC 内のいずれかのインスタンスへと接続できる。

– SCANリスナーへの接続確立後は、SCANが各サービスへの接続を自動的にリダイレクトする。

– 11gR1以前のOracle RACでは、VIPをサーバ台数分指定することで負荷分散やフェイルオーバーを実現→ 11gR2 RACでは、負荷分散・フェイルオーバーの機能がSCANにより提供される。

（DBクライアント側では、RACノード台数・VIP名等を意識する必要がない。）

11gR2New !!

サービス：CRM

サービス：HR

サービス：Batch

DBクライアント

11gR1以前同様、クライアントからSCANではなくVIPを指定する方式でも接続可能。

DBクライアント

接続に必要な情報：

・SCAN名

・ポート番号・サービス名

Oracle RAC

SC

AN


2727


1.3 ネットワーク要件の確認（補足： IPアドレス定義の例）



ID ホーム・ノード

ホスト・ノード指定された名前タイプアドレスアドレスの割当て元

解決手段

Node 1 Public

ノード1 node1 node1 パブリック 192.0.2.101 固定 DNS

Node 1 VIP

ノード1 Oracle Clusterwareにより

選択される

node1-vip 仮想 192.0.2.104 固定 DNSおよびhostsファイル

Node 1 Private

ノード1 node1 node1-priv プライベート 192.168.0.1 固定 DNSおよびhostsファイル、

またはなし

Node 2 Public

ノード2 node2 node2 パブリック 192.0.2.102 固定 DNS

Node 2 VIP

ノード2 Oracle Clusterwareにより

選択される

node2-vip 仮想 192.0.2.105 固定 DNSおよびhostsファイル

Node 2 Private

ノード2 node2 node2-priv プライベート 192.168.0.2 固定 DNSおよびhostsファイル、またはなし

SCAN VIP 1

なし Oracle Clusterwareにより

選択される

mycluster-scan 仮想 192.0.2.201 固定 DNS

SCAN VIP 2

なし同上 mycluster-scan 仮想 192.0.2.202 固定 DNS

SCAN VIP 3

なし同上 mycluster-scan 仮想 192.0.2.203 固定 DNS

参考：http://download.oracle.com/docs/cd/E11882_01/install.112/e17210/preaix.htm#CEGFGHFE


28



– ■(補足)/etc/hosts の構成一例

– 以下添付の hosts ファイルは、実際に当方テスト環境にて使用したものです。

– SCAN以外の名前解決は全て hostsファイルにて行いました。



127.0.0.1 loopback localhost # loopback (lo0) name/address

10.196.15.20 ntp-node ←as NTP Server

10.196.15.21 node1 ←as RAC Node1

10.196.15.22 node2 ←as RAC Node2

10.196.15.121 node1-vip

10.196.15.122 node2-vip

192.168.15.21 node1-priv

192.168.15.22 node2-priv


29



– ■(補足)/etc/resolv.conf の構成一例

– SCAN用IPアドレスの解決はDNSにて行いました。

– /etc/resolv.conf ファイル一例

– 以下、アドレスの一覧として



10.196.15.221 node1-scan

10.196.15.222 node1-scan

10.196.15.223 node1-scan

nameserver 10.196.32.11

domain gridcenter.jp.oracle.com


30



– ■(補足) ifconfig サンプル構成

– 当方テスト環境では、SCANならびにVIPを、パブリックIPアドレスを定義したNICに対するIPエイリアスとして定義しました。

– RACノード1：



# ifconfig -a

en0: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>

inet 10.196.15.21 netmask 0xffffff00 broadcast 10.196.15.255



tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0




lo0: flags=e08084b,c0<UP,BROADCAST,LOOPBACK,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,LARGESEND,CHAIN>

inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255

inet6 ::1%1/0


#


31



– ■(補足) ifconfig サンプル構成(続き)

– RACノード2：



# ifconfig -a









lo0: flags=e08084b,c0<UP,BROADCAST,LOOPBACK,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,LARGESEND,CHAIN>

inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255

inet6 ::1%1/0


#


32


1.4 ユーザ、グループ作成

– ■ユーザ、グループの作成

• Oracle Grid Infrastructure にてデフォルトで使用されるグループとユーザを作成

– グループ： oinstall、dba、asmadmin(Oracle ASMストレージ管理グループ)

– ユーザ： grid、oracle

• パスワードの設定



# mkgroup -'A' id='1000' adms='root' oinstall

# mkgroup -'A' id='2000' adms='root' dba

# mkgroup -'A' id='3000' adms='root' asmadmin

# mkgroup -'A' id='4000' adms='root' oper

# mkuser id='1100' pgrp='oinstall' groups='dba,asmadmin,oper' home='/home/grid' grid

# mkuser id='1101' pgrp='oinstall' groups='dba,asmadmin,oper' home='/home/oracle' oracle

# passwd grid

# passwd oracle


33


1.5 ディレクトリ作成/権限設定

– ■インストールディレクトリに対するパーミッション設定

• P14 にて作成した、Grid Infrastructure/Oracle RAC 用のインストールディレクトリに対し、想定する所有者、及びパーミッションを設定します。

– Grid Infrastructure 導入ディレクトリ：/u01/grid (デフォルト)

– Oracle データベース導入ディレクトリ：/u01/app/oracle (デフォルト)

– ORACLE_BASEや、Grid Infrastructureホームディレクトリの権限は 775 とする必要があります。



# mkdir -p /u01/grid

# chown -R grid:oinstall /u01

# mkdir /u01/app/oracle

# chown oracle:oinstall /u01/app/oracle

# chmod -R 775 /u01/

◆◇補足： Oracle Clusterware導入ディレクトリ（Clusterwareホーム）について ◇◆

Oracle ClusterwareホームをOracleベースに作成しないでください。Oracleベース・ディレクトリのパスにOracle Clusterwareインストールを作成すると、その後のOracleインストールが失敗します。


34


1.5 ディレクトリ作成/権限設定

– ■Oracle Inventory

– そのノードへのＯｒａｃｌｅ製品インストールが初回である場合には、/opt/oraInventory ディレクトリを作成する必要があります。

– oinstall グループに対して rwx権限を付与します。

– ■前提条件チェックスクリプト用ディレクトリ作成

– OUI起動前に実行する runcluvfy.sh スクリプトは下記ディレクトリへのrwx権限を必要とします。

– スクリプト実行ユーザである grid ユーザを所有者としたディレクトリを作成します。



# mkdir /opt/oraInventory

# chown grid:oinstall /opt/oraInventory

# chmod 775 /opt/oraInventory

# mkdir /tmp/bootstrap

# chown grid:oinstall /tmp/bootstrap

# chmod 775 /tmp/bootstrap


35


1.6 grid ユーザの設定

– ■Capability の確認

• grid ユーザに、CAP_NUMA_ATTACH, CAP_BYPASS_RAC_VMM, CAP_PROPAGATE のcapability が付与されていることを確認

– ■Capability の設定

• CSSDを実行するために必要なCapability設定を行う



# /usr/sbin/lsuser -a capabilities grid

# /usr/bin/chuser capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,

CAP_PROPAGATE grid


36


1.7 非同期入出力処理 (AIO) の確認

– ■AIOの有効化

– AIX 6.1では、AIOデバイス・ドライバはデフォルトで有効

– AIX 5.x では、rootpre.sh スクリプトを実行することで有効化

– ■aioserverプロセス数の確認

– ■aioserverプロセス数の設定

– aioserver プロセス数の推奨値は 64k (65536)



# ioo –o aio_maxreqs

----(結果抜粋)-----

aio_maxreqs = 65536

# ioo -a aio_maxreqs=65536


37


1.8 Virtual Memory Manager(VMM)のチューニング

– ■Virtual Memory Manager(VMM) 設定値の推奨値– AIX 6.1 では、OracleRAC推奨値がデフォルト値であるため、設定変更不要

– ■VMM設定 (AIX5.3 の場合に必要)

– 設定を有効にするには、OSを再起動する必要があります。



# vmo -p -o minperm%=3

# vmo -p -o maxperm%=90

# vmo -p -o maxclient%=90

# vmo -p -o lru_file_repage=0

# vmo -p -o strict_maxclient=1

# vmo -p -o strict_maxperm=0

minperm%=3maxperm%=90maxclient%=90lru_file_repage=0strict_maxclient=1strict_maxperm=0


38


1.9 シェル制限の設定

– ■設定確認/変更の対象となるユーザ

– gridユーザ

– rootユーザ (crsdデーモン起動ユーザとなるため、ulimit変更が必要)

– ■シェル制限の推奨値

– ■設定確認

– /etc/security/limitsファイルにて参照



パラメータ名シェル制限設定値（推奨）

nofile オープン・ファイル記述子の最大数 -1(無制限)

stack プロセスのスタック・セグメントの最大サイズ -1(無制限)

# cat /etc/security/limits


39


1.9 シェル制限の設定

– ■設定変更方法

– /etc/security/limits ファイルを編集



【例： /etc/security/limits ファイルの編集例】※ core以外の設定値はすべてのユーザーで-1（無制限）へと変更しています※ coreに関しては Oracle関連ユーザーのみ、-1(無制限) に変更します

default:

fsize = -1core = 2097151 cpu = -1data = -1rss = -1stack = -1nofiles = -1

grid:core = -1

oracle:core = -1


40


1.10 カーネル・パラメータの変更

– ■Oracle稼動時の推奨値

– ■設定変更（smitを利用する方法）

– 「システム環境」＞「オペレーティング・システムの特性の変更/表示」

– 「ユーザー１人あたりに使用できる最大プロセス数」と「ARG/ENV リスト・サイズ (4K バイト・ブロック)」の値を入力、「Enter」押下



AIXパラメータ名 smit設定画面上でのパラメータ名設定値（推奨）

maxuprocs ユーザー１人あたりに使用できる最大プロセス数 16384 以上

ncargs ARG/ENV リスト・サイズ (4K バイト・ブロック)」 128 以上


41


1.11 ネットワーク・チューニング・パラメータの変更




ネットワーク・チューニング・パラメータ名設定値（推奨）

ipqmaxlen 512

rfc1323 1

sb_max 4194304

tcp_recvspace 65536

tcp_sendspace 65536

udp_recvspace 655360 ※1

udp_sendspace 65536 ※2

※2: この値は、デフォルトのデータベース・インストールに適しています。本番データベースの場合、このパラメータの最小値は、データベースのDB_BLOCK_SIZE初期化パラメータの値をDB_MULTIBLOCK_READ_COUNT初期化パラメータの値で乗算したものに4KBを加算した値です。（DB_BLOCK_SIZE×DB_MULTIBLOCK_READ_COUNT）+ 4KB

※1: このパラメータの推奨値は、udp_sendspaceパラメータの値の10倍です。これは、sb_maxパラメータの値より小さい値である必要があります。

(設定方法は次ページ)


42



– ■設定確認

– ■（設定変更を行う場合）事前の環境確認

• システムが互換性モードで稼動していることを確認

• 上記コマンドの戻り値によって、設定変更方法が異なります

– enable => P43へ

– disable => P44へ



# no -a | grep xxxxx

# lsattr -E -l sys0 -a pre520tune


43



– ■設定変更を行う (互換性モード ONの場合)

• 前頁のコマンドの戻り値が "pre520tune enable Pre-520 tuning compatibility mode True " だった場合、以下の2つの手順を実行します

– 1. 現行のランタイムに設定変更を反映する

– 2. 再起動後の環境で有効になるよう設定変更を/etc/rc.net ファイルに記述する



if [ -f /usr/sbin/no ] ; then

/usr/sbin/no -o udp_sendspace=65536

/usr/sbin/no -o udp_recvspace=655360

/usr/sbin/no -o tcp_sendspace=65536

/usr/sbin/no -o tcp_recvspace=65536

/usr/sbin/no -o rfc1323=1

/usr/sbin/no -o sb_max=4194304

/usr/sbin/no -o ipqmaxlen=512

fi

# /usr/sbin/no -r -o ipqmaxlen=512


44



– ■設定変更を行う (互換性モード OFFの場合)

• 前々頁のコマンド（# lsattr -E -l sys0 -a pre520tune）の戻り値が"pre520tune disable Pre-520 tuning compatibility mode True " だった場合

– 1. ipqmaxlenパラメータの変更

> ※ipqmaxlenパラメータを変更した場合は、システムを再起動する必要があります。

– 2. その他パラメータの変更



# /usr/sbin/no -r -o ipqmaxlen=512

# /usr/sbin/no -p -o parameter=value


45


1.12 UDP/TCP カーネルパラメータの変更


– TCP/IP、UDP通信に利用できるポートの幅を定義

– ■設定確認

– ■設定変更



AIXパラメータ名設定値（推奨）

tcp_ephemeral_low 9000

tcp_ephemeral_high 65500

udp_ephemeral_low 9000

udp_ephemeral_high 65500

# /usr/sbin/no -p -o tcp_ephemeral_low=9000 -o tcp_ephemeral_high=65500

# /usr/sbin/no -p -o udp_ephemeral_low=9000 -o udp_ephemeral_high=65500

# /usr/sbin/no -a | grep xxxxx


46


1.13 時刻同期の設定

– ■Oracle RAC 11gR2 における時刻同期

> 時刻同期方法については、以下いずれかを選択します

• 1)NTPを使用する【当資料はこちら】

– 通常はこちらを選択

– タイムサーバーは常時稼動しているサーバ上で稼動させる

• 2)Oracle Time Cluster Time Synchronization Service(CTSS)を使用する

– Oracle RAC を構成するサーバーからNTPサービスに利用できない環境でOracle RAC を構築するケースを想定し提供されているサービス

– Oracle RAC クラスタ内に限定された時刻同期サービス。システム全体の時刻同期にはNTPを利用する

• インストーラ実行時に NTPプロトコルがアクティブでないと、クラスタ時刻同期化サービスがアクティブ・モードで導入され、ノード間で時刻が同期される。



11gR2New !!


47



– ■タイムサーバー(NTP Server)側の設定

1. /etc/ntp.conf ファイルを編集する

2. xntpd を再起動する



# stopsrc -s xntpd

# startsrc -s xntpd -a "-x"

◆◇補足： NTP設定 on AIX 5L ◇◆

NTPサーバの設定方法および使用ポート（123番）等の情報は Technote を参照のこと。

http://www-01.ibm.com/support/docview.wss?rs=111&context=SWG10&dc=DB520&q1=NTP&uid=isg3T1000653&loc=en_US&cs=utf-8&lang=en

【 /etc/ntp.conf 】

server 127.127.1.0

# broadcastclient ←コメントアウト

driftfile /etc/ntp.drift

tracefile /etc/ntp.trace


48



– ■RACノード(NTP Client)側の設定

1. NTPサーバに到達可能であることを確認

2. xntp サーバ設定の確認

3. /etc/rc.tcpip ファイルをエディタで編集し、xntpd のエントリーをアンコメントする（オプションも追加する）

4. xntpdの再起動

5. 時刻が同期されていることを確認する



【 /etc/rc.tcpip 】

start /usr/sbin/xntpd "$src_running" "-x"

# ntpdate -d ip <ntp_server_ip_addr>

# stopsrc -s xntpd

# startsrc -s xntpd -a "-x"

# lssrc -ls xntpd

【 /etc/ntpd.conf 】

server <ntp_server_ip_addr> prefer

# broadcastclient ←コメントアウト（補足）driftfile, tracefile の行はデフォルトのままでOK。


49


1.14 SSH構成の概要

– ■手順概要1. AIXにはSSH関連のファイルセット(OpenSSL/OpenSSH)が導入されていないため、入手・導入します。

2. Oracle RAC インストール中には、SCPによるノード間ファイルコピーが実施されるため、パスワード認証無しにRACノード間のSSH/SCP通信ができるよう構成しておく必要があります。

– ■手順2.(パスワード認証無しSSHログインの設定)について– Oracle 11gR2 では、OUI 実行中にSSH自動構成を行う機能が提供されます。

> この場合、ユーザはSSH関連ファイルセットの導入を行うのみでSSH関連セットアップが完了します。

> このSSH自動構成を採用するケースでは、P52-58 までの手順を省いて下さい。

> ただし、Version 11.2.0.1/11.2.0.2 では当該機能を使用することができません。

– Oracle 11gR1以前と同様、手動でSSH構成を実施することも可能です。(当手順書はこの方法です。)

> Oracle RAC/Databaseインストールユーザ（当手順書では grid, oracle）の両方について同様にSSH設定を実施します。

> RACを構成するすべてのノード間でパスワ-ド認証無しSSHログインの設定を行います。



11gR2New !!

◆◇補足： Oracle RAC 11.2.0.1 における SSH自動構成について ◇◆

当該手順書は Oracle RAC 11.2.0.1 を想定しているため、SSHパスワード無しログイン構成を手動で行う想定としています。（Bug 9479987）


50


1.14 SSHの構成 (OpenSSL/OpenSSH導入)

– ■OpenSSL/OpenSSHファイルセットの入手

– OpenSSL/OpenSSH ファイルセットのダウンロードサイトURLは当手順書 P7 を参照のこと。

– ■SSL/SSHファイルセットの導入（smitを利用する方法）

– 「ソフトウェアのインストールおよび保守」＞「ソフトウェアのインストールおよび更新」＞「インストール済みソフトウェアを最新レベルに更新 (すべて更新)」

– 「ソフトウェアの入力デバイス/ディレクトリー」に、ファイルセットを配置したディレクトリを指定する

– 「新規ご使用条件に同意する」を「はい」に変更し Enter 押下することでインストール開始



◆◇補足： OracleにおけるSSHプロトコルの用途 ◇◆

SSHは、Oracle Configuration Assistantによる、ローカル・ノードからリモート・ノードに対する構成操作に使用されます。Enterprise Managerでも使用されます。OUIは、製品インストール中に ssh/scp コマンドを使用して他のクラスタノードに対するリモートコマンドを実行したり、ファイルコピーを実行します。


51


1.14 SSHの構成 (SSH通信可否の確認)

＊P52-58は、パスワード認証無しログインのための設定を行います。＊oracle, grid どちらのユーザの設定をを先に行っても構いません。＊コマンドサンプルでは、oracleユーザでの手順を想定しています。＊RACを構成する全てのノードについて、SSH構成を完了させておく必要があります。

– ■構成実施対象ユーザ(ここでは oracle)に su する

– ■相手ノードへの通常のsshログインが可能であるか確認する

– ssh 通信が可能であることの確認を行う（=SSL/SSHファイルセットが正しく導入されていることの確認）

– oracleユーザ@ノード1 ⇒ oracleユーザ@ノード2 のログインが可能であるか（その逆も）

– パスワード変更が要求される場合にはここで変更しておく


oracle ユーザで実行します

(次ページへ進む)

$ su - oracle

$ ssh oracle@<node_2_addr>


grid ユーザで実行します


52


1.14 SSHの構成(パスワード無しSSHログインの構成)

– ■SSHパスワード認証無しログイン構成の概要

1. RSA鍵とDSA鍵を各クラスタ・ノード上で作成(秘密鍵・公開鍵)

2. すべてのクラスタ・ノード・メンバーの鍵を、各ノードで同一の認証鍵ファイルにコピー

3. RACノード間でパスワード認証無しのSSHログインが可能であることを確認





◆◇補足： SSH構成手順(Oracle製品マニュアル) ◇◆

手順は次ページ以後に解説しますが、詳細はOracle RAC 11gR1 インストールガイド等を参照のこと。

http://otndnld.oracle.co.jp/document/products/oracle11g/111/doc_dvd/rac.111/E05737-03/preparing.htm#5219


53


1.14 SSH構成(公開鍵・秘密鍵の生成 1)– 当ページの手順はRAC構成ノードすべてで実施します

– ■鍵ファイル配置用ディレクトリの作成

– ■RSA鍵(公開鍵・秘密鍵)の生成



$ su - oracle

$ mkdir $HOME/.ssh

$ chmod 700 $HOME/.ssh



$ cd /home/oracle/.ssh

$ /usr/bin/ssh-keygen -t rsa

Generating public/private rsa key pair.Enter file in which to save the key (/home/oracle/.ssh/id_rsa): <Enter>Enter passphrase (empty for no passphrase): <Enter>Enter same passphrase again: <Enter>Your identification has been saved in /home/oracle/.ssh/id_rsa.Your public key has been saved in /home/oracle/.ssh/id_rsa.pub.The key fingerprint is:3a:16:60:1c:49:95:29:9c:71:81:82:2c:f1:6b:91:7b oracle@node1

$


54


1.14 SSH構成(公開鍵・秘密鍵の生成 2)– 当ページの手順はRAC構成ノードすべてで実施します

– ■DSA鍵の生成 (公開鍵・秘密鍵)

– ■生成された鍵の確認

– RSA鍵ファイル(公開鍵・秘密鍵)、DSA鍵ファイル(公開鍵・秘密鍵)の合計4ファイルが生成されている





$ ssh-keygen -t dsa

Generating public/private dsa key pair.Enter file in which to save the key (/home/oracle/.ssh/id_dsa): <Enter>Enter passphrase (empty for no passphrase): <Enter>

Enter same passphrase again: <Enter>Your identification has been saved in /home/oracle/.ssh/id_dsa.Your public key has been saved in /home/oracle/.ssh/id_dsa.pub.The key fingerprint is:f4:df:d1:ea:7b:ec:0e:4a:b3:01:b0:2a:99:c6:4c:2e oracle@node1$

$ ls -la

total 32drwxr-xr-x 2 oracle oinstall 256 May 08 19:56 .drwxr-xr-x 3 oracle oinstall 256 May 08 19:54 ..-rw------- 1 oracle oinstall 668 May 08 19:56 id_dsa-rw-r--r-- 1 oracle oinstall 603 May 08 19:56 id_dsa.pub-rw------- 1 oracle oinstall 1675 May 08 19:56 id_rsa-rw-r--r-- 1 oracle oinstall 395 May 08 19:56 id_rsa.pub$


55


1.14 SSH構成(認証鍵ファイルの編集 1)

– ■oracleユーザ用の認証鍵ファイルの作成・編集

– RACノード(1台目)上でテキストファイル authorized_keys を作成し、前手順で作成した公開鍵のエントリーを追記する

– ■認証鍵ファイルを他方のRACノードへ転送





$ cat id_dsa.pub >> authorized_keys

$ cat id_rsa.pub >> authorized_keys

$ scp ./authorized_keys oracle@node2:/home/oracle/.ssh/The authenticity of host 'i0f-16 (node2-ip-addr)' can't be established.RSA key fingerprint is 1b:6d:8e:5d:b5:a4:ed:84:c6:5e:33:bc:aa:6b:ce:ad.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'node2,node2-ip-addr' (RSA) to the list of known hosts.oracle@node2's password: <password>authorized_keys 100% 998 1.0KB/s 00:00 $


56



– ■oracleユーザ用の認証鍵ファイルの作成・編集

– 前手順で作成・転送した既存の authorized_keys ファイルに、RACノード(2台目)用の公開鍵のエントリーを追記する

– ■2台分の公開鍵の追加された認証鍵ファイルを他方のRACノードへ転送





$ cat id_dsa.pub >> authorized_keys

$ cat id_rsa.pub >> authorized_keys

$ scp ./authorized_keys oracle@node1:/home/oracle/.ssh/The authenticity of host 'i0f-15 (node1-ip-addr)' can't be established.RSA key fingerprint is 11:4c:5a:8a:e2:e3:70:0c:c4:1d:7b:0c:29:f6:63:e6.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'node1,node1-ip-addr' (RSA) to the list of known hosts.oracle@node1's password: <password>authorized_keys 100% 1996 2.0KB/s 00:00 $


57



– ■authorized_keys ファイルの内容の確認

• RACを構成するすべてのノードの RSA/DSA鍵ファイルが含まれていることを確認

– ■/etc/ssh/sshd_config ファイルの編集

– コメントアウトを外す

– LoginGraceTime 値をゼロに設定する





# cat authorized_keys

ssh-rsa AAAAB3NzaC1yc(中略)= oracle@node1

ssh-dss AAAAB3NzaC1kc(中略)= oracle@node1

ssh-rsa AAAAB3NzaC1yc(中略)= oracle@node2

ssh-dss AAAAB3NzaC1kc(中略)= oracle@node2

（編集前） #LoginGraceTime 6

（編集後） LoginGraceTime 0


58


1.14 SSH構成(SSHの動作確認)

– ■パスワードなしでログインできることを確認

• 下記組み合わせについて、パスワード無しログインが出来ることを確認

1. oracle@node01 ⇒ oracle@node01 (自ノードへのsshログイン)

2. oracle@node02 ⇒ oracle@node02 (自ノードへのsshログイン)

3. oracle@node01 ⇒ oracle@node02 (相手ノードへのsshログイン)

4. oracle@node02 ⇒ oracle@node01 (相手ノードへのsshログイン)



(node01にログイン)

$ su - oracle

$ ssh oracle@node02

**以下略**




59


1.15 隠しファイルの編集

– ■sttyのエラーを防止するための設定

• 以下のくだりがマニュアル上記載されていますが、AIXには通常では .bashrc は存在しないため、スキップします。

– OUIは、インストール中にSSHを使用してコマンドを実行したり、他のノードにファイルをSCPにてコピーする。システム上の隠しファイル（.bashrcや.cshrcなど）にsttyコマンドが含まれていると、インストール中にMakeファイルやその他のインストールに関するエラーが発生する。

– この問題を防止するには、すべてのSTDERR出力が停止されるように、Oracleインストールユーザーのホーム・ディレクトリにあるこれらのファイルを変更する。

– 以下、編集の例（Bシェル、Bashシェル、Kornシェルの場合）



if [ -t 0 ]; then

stty intr ^C

fi


60


1.16 gridユーザ環境の設定

– gridユーザの .profile [例： /home/grid/.profile] をテキストエディタで編集

• umask設定

– 実行中のシェルに反映するには下記の手順を実行する

【.profile 抜粋】

umask 022

( 以下、略）

(gridユーザでログインしている前提）$ . ~/.profile




61


1.16 gridユーザ環境の設定

– ■環境変数の確認

• ORACLE_BASE、ORACLE_SID、ORACLE_HOME がセットされていないことを確認する

• セットされている場合は、OUI （オラクルソフトウェア導入のためのGUIインターフェース）を起動する前に unset しておく

$ env | grep ORACLE_BASE$ env | grep ORACLE_HOME$ env | grep ORACLE_SID

$ unset ORACLE_BASE$ unset ORACLE_HOME$ unest ORACLE_SID




62


1.16 gridユーザ環境の設定– 当頁の設定は、 OUI(Oracle Universal Installer: GUIベースのソフトウェア導入インターフェース)を

実行するために必要な設定です。

– CUI にてインストールする場合は不要です。

– ■DISPLAY変数の設定

• Oracle導入予定のノード上でDISPLAY変数をセットする

• 他ノードのディスプレイをGUI表示環境として利用する場合、GUI表示側のノードで下記コマンドを実行しておく

$ su - grid

$ export DISPLAY=localhost:0.0

# xhost + fully_qualified_remote_host_name




63


1.17 rootpre.shスクリプトの実行

• rootpre.sh スクリプトはインストールイメージDVDに含まれている

– RACノード両方で実行する必要がある。

$ su - root

(password)

# /directory_path/rootpre/rootpre.sh

※ Oracle DB を1度導入済みの環境では、このスクリプトを実行する必要はありません。




64


1.18 Oracle ASM 用のディスク・デバイスの構成

– ■ASMディスクグループに定義するRAWデバイスボリュームの確認

– 下記の通り、デバイス名（hdisk#）と PVID が一致していることを確認する。

– ノード1：

– ノード2：



# lspv | grep -i none

hdisk1 none None （内蔵Disk）hdisk2 00c782902e058f26 Nonehdisk3 00c782906cc08a2f None


hdisk1 none None （内蔵Disk）hdisk2 00c782902e058f26 Nonehdisk3 00c782906cc08a2f None


hdisk1 none None (内蔵Disk)hdisk2 00c782902e058f26 Nonehdisk3 00c782906cc08a2f None

確認ポイントは、RACを構成するノード間で

①デバイス名が同一であること。

（Clusterware構成時にディスクのパスを求められたら、この環境であれば /dev/hdisk2 のように入力する。）

②PVIDが各ノードで同一値であること。の2点！

①デバイス名 ②PVID

◆◇補足： Oracle ASM用のディスク・デバイスの構成◇◆

PVIDが無い場合、ノード間で一致していないの手順やストレージにHitachi HDLM（dmlfデバイス）を使用する場合など、ディスク・デバイス構成手順の詳細は製品マニュアルをご参照ください。

http://download.oracle.com/docs/cd/E11882_01/install.112/e17210/storage.htm#CWAIX276


65


1.18 Oracle ASM 用のディスク・デバイスの設定

– ■RAWデバイスボリュームのPVIDが存在していなかったケースの設定方法

– ノード1：

– ノード2：

– ■PVIDの付与

– この環境では、hdisk3 の PVID が無いため、各ノードで下記コマンドを実行し付与する。




hdisk1 none None (内蔵Disk)hdisk2 00c782902e058f26 Nonehdisk3 none None


hdisk1 none None (内蔵Disk)hdisk2 00c782902e058f26 Nonehdisk3 none None

# chdev -l hdisk3 -a pv=yes

⇒ P64 の状態となったことを確認して先に進む


66



– ■デバイスの所有者、グループおよび権限の変更

• Clusterware用ファイル（OCR, 投票ディスク）を配置するデバイスの所有者を変更

• データファイルを配置するデバイスの所有者を変更



# chown grid:asmadmin /dev/rhdisk#

# chmod 660 /dev/rhdisk#

# chown oracle:oinstall /dev/rhdisk#

# chmod 660 /dev/rhdisk#

※ rhdisk# の「#」には任意の数字が入ります。(今回のケースでは、rhdisk2 と rhdisk3 )


67



– ■ディスクで使用する予約設定の確認

– 複数のノードからディスク・デバイスに同時アクセスできるようにするには、ディスクで使用する予約属性のタイプに応じて、適切なObject Data Manager（ODM）属性を設定する必要があります。

• 以下コマンドの出力として、"reserve_lock = no" または "reserve_policy = no_reserve" が戻されることを確認する。

– ■予約設定の変更

– 上記コマンド実行結果に応じて、必要であれば予約設定を変更する。

– ■使用するディスク・デバイスからPVIDを消去する

– このコマンドがエラーコード0514-047で失敗する場合は、ノードをrebootする（何らかのプロセスがデバイスを使用中のためPVIDを変更できない）

# lsattr -E -l hdisk# | grep reserve_



# chdev -l hdisk# -a [ reserve_lock=no | reserve_policy=no_reserve ]

# chdev -l hdisk# -a pv=clear


68


1.18 Oracle ASM 用のディスク・デバイスの構成 (補足)

– ■ AIX における Oracle ASM 構成について

• データベース・ファイル記憶域に Oracle ASM を利用する際、AIXのロー論理ボリュームを使用することは推奨されません(製品サポートは受けられます)。

• 推奨されない理由は、Oracle ASM からのディスクアクセスがAIX LVM経由で行われることから、正確な物理ディスク配置が Oracle ASM から見えない状態となり、結果としてI/Oアクセスが最適化されない構成となるためです。

• 当ガイドでは、Oracle ASM ディスクグループ作成時のディスク・パスとして、キャラクタデバイス名(/dev/rhdisk#)を直接指定する手順としています。




69


1.19 インストール前に確認すべきこと

– ■インストール中に cron ジョブが実行されないこと

– Oracleでは導入中、/tmp領域を使用します。/tmp配下のクリーンアップのジョブなどが実行されるとインストールの失敗の原因となります。

– ■Oracle関連の環境変数の設定を削除する

– ORA_CRS_HOME、ORACLE_HOME、ORA_NLS10、TNS_ADMIN 環境変数が既に設定されている場合、削除します。

– ■時刻同期がとれているか確認する

– Grid Infrastructure 導入開始前に、Oracle RAC を構成する予定のノードすべてにおいて時刻同期がとれていることを確認する。




70

【補足】 Oracle RAC の導入に HACMP™ /PowerHA® は必要？

Oracle Clusterware と PowerHA(旧名称：HACMP)

– Oracle ASM 経由のディスク共有や障害発生時のTakeover処理など、クラスタリングソフトウェアとしての機能は Oracle Clusterware が提供します。

– 11gR2 RAC において PowerHA が必要となるのは、データベース・ファイル記憶域としてファイルシステムを使用するためにAIXのLVM経由でのディスク共有を行うケースなど、限られたケースです。

PowerHA を使用しない場合は、システムに PowerHA をインストールしないでください。すでに PowerHA がインストールされている場合は、次のものを削除する必要があります。

• PowerHAファイル・セット（cluster.es.*）

• rsct.hacmp.rte

• rsct.compat.basic.hacmp.rte

• rsct.compat.clients.hacmp.rte

PowerHA を使用する場合は、パッチ・セットを確認して必要なパッチを適用します。

– PowerHA 5.4（5.4.1を含む）のファイル・セット・パッケージの変更には、Oracleの rootpre.sh スクリプトに対する更新が必要です。Oracle Clusterware をインストールする前に、パッチ6718715をダウンロードしてインストールします。


71







72

2. Oracle Grid Infrastructure Installation

2.1 OUI (Oracle Universal Installer)起動

$ su - grid

(password)

$ /mount_point/grid/runInstaller




73


2.2 インストール・オプションの選択

• DB11.2.0.2ではインストール時に必要なパッチを同時に適用することが可能

– My Oracle Supportからダウンロードする場合 -> My Oracle Supportの資格証明を入力

– 事前にダウンロードしたパッチを適用する場合 -> 事前にダウンロードしたパッチを指定

– 更新（パッチ適用）を行わない場合 -> スキップを選択

＊注意：「ソフトウェア更新のスキップ」の項が隠れている場合があるので、その場合はWindowサイズを大きくする




74



• 「クラスタ用の Grid Infrastructure のインストールおよび構成」を選択




75


2.4 インストール・タイプの選択

• 「拡張インストール」を選択




76


2.5 言語の選択

• 「日本語」および「英語」を選択




77


2.6 Gridプラグ・アンド・プレイの指定

任意のクラスタ名を指定

SCANが使用するポートを指定

② SCAN名を入力

③ SCANが使用するポート番号を入力

④ GNSを構成しない場合はチェックを外す



① 任意のクラスタ名を入力

単一のSCAN名を指定


78


2.7 クラスタ･ﾉｰﾄﾞの指定

• Grid Infrastructure インストール対象ノードのホスト名、仮想ホスト(VIP)を指定する

② クラスタ・ノードの

構成の追加

※Grid Infrastructureインストーラ起動ノード以外の対象ノードについて、ホスト名とVIPを指定し追加する

① 「追加」ボタン押下



③クラスタを構成する全てのノードが表示されていることを確認


79


2.8 ネットワーク・インタフェースの指定

• Grid Infrastructureで使用するネットワーク・インタフェースを指定



パブリックおよびプライベート（インターコネクトで使用）のネットワーク・インタフェースを指定


80


2.9 OCRおよび投票ディスクの指定

• OCRおよび投票ディスクの格納場所にASMまたは共有ファイルシステムを指定（推奨はASM）



この例ではASMを選択


81


2.10 ASMディスク・グループの作成

• OCRおよび投票ディスクを格納するASMディスク・グループを作成



任意のディスク・グループ名を指定

任意の冗長性を指定高：3重化、通常：2重化、外部：ミラー無し（ASMのみで可用性を確保する場合は、「高」または

「通常」を選択。ストレージ側で冗長化し、可用性を確保している場合などは外部を選択）

ASMで使用するディスクを指定（使用したいディスクが表示されない場合は、ディスクの所有者やパーミッションが間違っている可能性がある。または、デバイス・ファイルの場所が/dev以下に無い場合などは、「検出パスの変更」をクリックして、正しいパスを指定）


82


2.11 ASM関連ユーザーのパスワードを指定



任意のパスワードを入力（ここで指定したパスワードは、後でデータベースを作成する際に必要になる）


83


2.12 ASM OSユーザー・グループの指定



ASM関連のOSユーザーのグル―プを指定Oracle ASM DBA： ASMにアクセスするDBユーザーが所属するグループOralce ASM オペレータ： ASM関連の操作（起動／停止などは行えない）をするユーザーが所属するグループOracle ASM管理者： ASM関連の全ての操作（起動／停止を含む）が行えるユーザーが所属するグループ


84


2.13 Grid Infrastructureのインストール先の指定



Oracleベースを指定

Oracleホームの場所を指定

Grid InfrastructureのOracleホーム（ソフトウェアの）は、Oracleベース

の外に作成します。これは、Grid InfrastructureのOracleホームの所有者をrootユーザー

に設定し、セキュリティを確保するためです。

通常は、Oracleベース・ディレクトリはユーザー毎に作成し、OracleHome（ソフトウェアをインストールする場所）をOracleベース・ディレクト

リの下に作成します。


85


2.14 インベントリの作成

• インベントリ・ディレクトリは事前に手動作成する必要がある



インベントリ・ディレクトリを指定


86


2.15 前提条件チェックの実行

• 前提条件チェックで問題が無い場合は「サマリー」画面が表示される

• チェックでエラーになった場合は、問題を修正して再チェックを実施

※数十秒程度かかります




87


2.16 サマリー

• サマリー画面を確認し、問題がなければ「終了」しインストール処理を開始する

– 11gR2 からは、OUI画面で選んだ内容をレスポンスファイルに保存することができる（⇒ サイレントインストールに利用することができる）



サイレント・インストール用のレスポンス・ファイルの作成が可能

,「インストール」をクリックすると、インストール開始する


88


2.17 設定（ステータス画面）

• 進行状況を確認が可能




89

2. Oracle Grid Infrastructure Installation2.18 root.sh スクリプトの実行

• 「構成スクリプトの実行」画面が表示されたら、端末画面を開き root ユーザとしてログインした上で、指定されたスクリプトを実行する

– スクリプト実行後に「OK」で画面を閉じる



【注意 !! 】11.2.0.2 の場合、root.sh 実行前に LANG 設定を英語に変更する必要があります。

$ su - root# export LANG=C# ./root.sh

ターミナルで実行


90


2.19 インストールの終了

• 「インストールが成功しました」と表示される




91





Oracle Databse （RAC）インストール


Oracle Database 作成


92

3. Oracle RAC Installation

3.1 Installation Task

– OUI の起動

$ su - oracle

(password)

$ /mount_point/grid/runInstaller




93


3.2 セキュリティ・アップデートの構成– メールアドレスと My Oracle Support パスワードを入力



My Oracle Supportのパスワードを入力

セキュリティの情報を受け取る電子メールのアドレスを入力


94



• DB11.2.0.2ではインストール時に必要なパッチを同時に適用することが可能

– My Oracle Supportからダウンロードする場合 -> My Oracle Supportの資格証明を入力

– 事前にダウンロードしたパッチを適用する場合 -> 事前にダウンロードしたパッチを指定

– 更新（パッチ適用）を行わない場合 -> スキップを選択

＊注意：「ソフトウェア更新のスキップ」の項が隠れている場合があるので、その場合はWindowサイズを大きくする




95



• 「データベース・ソフトウェアのみインストール」を選択



「データベース・ソフトウェアのみインストール」を選択


96


3.5 実行するデータベース・インストールのタイプの選択

• 「Real Application Clusters データベースのインストール」を選択

• RACを構成するノードすべてをチェックする



全てのノードを選択

Real Application Clustersを選択


97


3.6 製品言語の選択

• 「日本語」「英語」が選択されていることを確認（デフォルト)



日本語と英語を選択


98


3.7 データベース・エディションの選択

• 必要なエディションを選択（当テスト環境の場合は Enterprise Edition)



Eterprise Editionを選択


99


3.8 インストール場所の指定

• Oracleベース・ディレクトリを指定する

– 当テスト環境では、Grid Infrastructure用のOracleベースとは別に Oracle RAC Database用のファイルシステムを作成 (→マウントポイント：/d01/app/oracle)



Oracleベースのディレクトリを指定

Oracleホームのディレクトリを指定（Oarcleベース配下のディレクト）


100


3.9 OSグループの選択

• データベース管理者ユーザーが所属するOSグループを選択データベース・オペレータ・グループは必要に応じて指定（指定しないことも可）



データベース管理者が所属するOSグループ（OSDBA）を指定

データベース・オペレータが所属するOSグループ（OSOPER）を指定


101


3.10 前提条件のチェック

• 前提条件のチェックが行われる

• 問題がある場合は表示されるので、確認/修正し、再度チェックを行う




102


3.11 サマリー

• サマリー画面を確認し、問題がなければ「終了」しインストール処理を開始する

– 11gR2 からは、OUI画面で選んだ内容をレスポンスファイルに保存することができる（⇒ サイレントインストールに利用することができる）



レスポンス・ファイルに保存する場合は、保存をクリック


103


3.12 インストール開始

• インストール状況が表示される




104


3.13 root.sh スクリプトの実行

• 「構成スクリプトの実行」画面が表示されたら、端末画面を開き root ユーザとしてログインした上で、指定されたスクリプトを実行する

– スクリプト実行後に「OK」で画面を閉じる



$ su – root# ./root.sh

ターミナルで実行


105


3.14 インストールの完了

• 「閉じる」を押下します




106


3.15 Post Installation Task 【root.sh のバックアップ取得】

• root.sh スクリプトは $ORACLE_HOME(例: /opt/oracle/product/11.2.0/dbhome_1)直下に配置されている

• 同じノードの、同一ホームディレクトリに他製品をインストールする場合、root.sh スクリプトは上書きされる⇒ root.sh スクリプト内部の処理内容を把握したい場合にはバックアップを取得する

$ su - oracle

(password)

$ cp -p $ORACLE_HOME/root.sh /home/oracle/




107


3.16 Post Installation Task 【パッチの適用】

• My Oracle Support にログインし、最新のパッチを検索する

– 適用手順は各パッチ/パッチセットのReadmeを参照

1. 「パッチと更新版」タブを選択

2. 「パッチ検索」の「製品またはファミリ」を選択

3. 「RDBMS Server」を選択4. 該当するリリースを選択

5. 「タイプ」として

「パッチ」「パッチセット」の両方を選択

選択条件は「＋」ボタン押下により増やすことができる

6. 「言語」として「日本語」を選択

7. 検索実行


108


3.17 Post Installation Task 【パッチの適用】

• My Oracle Support にログインし、最新のパッチを検索する

◆◇補足： Patch適用時のTips ◇◆

・パッチ/パッチセットの適用前に、Oracle関連プロセス（データベースインスタンス、リスナー）を必ず停止すること。・パッチの適用時には各パッチに添付されるReadmeを必ず読むこと。

該当するPatch名をクリックし詳細情報の確認/Patch入手


109109


3.18 Post Installation Task 【oracle ユーザの .profile 編集】

• ORACLE_BASE, ORACLE_HOME, ORACLE_SID, PATH設定を追記する

【 /home/oracle/.profile 例】

export ORACLE_BASE=/d01/app/oracle

export ORACLE_HOME=/d01/app/oracle/products/11.2.0/dbhome_1

export PATH=$PATH:$ORACLE_HOME/bin

export ORACLE_SID=orcl1




110





Oracle Databse （RAC）インストール

ASMディスク・グループ作成（高速リカバリ領域用ディスク・グループの作成）



111

4. ASMディスク・グループ作成

4.1 ASMCAの起動

• gridユーザーで、ASMCAを起動

$ su - grid

(password)

$ <Grid Home>/bin/asmca



※ <Grid Home> = Grid Infrastructureをインストールしたディレクトリ


112


4.2 ディスク・グループの作成

• 「ディスク・グループ」タグより、新規にディスク・グループを作成

– 高速リカバリ領域用に、新規にディスク・グループ（FRA）を作成

（既存のDATA ディスク・グループにはOCR/投票ディスクおよびデータ・ファイルなどを格納）

➁ 「作成」をクリック

① 「ディスク・グループ」タブを選択




113


4.3 ディスク・グループの作成

使用するディスクを指定

任意のディスク・グループ名を入力

任意の冗長度を指定




114


4.4 ディスク・グループ作成の完了

• 新規に作成したディスク・グループ（FRA）が表示される事を確認

• 「状態」が"MOUNTED(2 of 2)"になっている事を確認（両ノードからマウントされている状態）

新規に作成したディスク・グループ




115






ASM ディスク・グループ作成



116

5. Oracle Database作成

5.1 DBCAの起動

– DBCAの起動

$ su - oracle

(password)

$ <Oracle Home>/bin/dbca



※ <Oracle Home> = Oracle Databaseをインストールしたディレクトリ


117


5.2 データベースのタイプの選択



Oracle Real Application Clustersデー

タベースを選択


118


5.3 操作の選択



データベースの作成を選択


119


5.4 データベースのテンプレートの選択

– 含めるコンポーネントや表領域のサイズなどを任意で作成したい場合は、「カスタム」を選択



任意のテンプレートを選択


120


5.5 RACデータベース情報の入力



管理者管理またはポリシー管理を選択

ポリシー管理を選択した場合は、任意のサーバー・プール名およびサーバー数（RACのノード数）を指定

任意のデータベース名を入力


121


5.6 管理オプションの入力



Enterprise Managerを使用する場合は選択

Database Controlを使用する

場合は選択


122


5.7 デフォルトで作成されるDBユーザーのパスワードの入力



デフォルトで作成されるDBユーザーのパ

スワードを入力


123


5.8 データベース記憶域（データを格納する領域）の指定



記憶域にASMを選択

データべース領域（データを格納する領域）に"+DATA"ディスク・グループを選択

ディスク・グループの選択は「参照」をクリックして選択可能


124


5.9 ASMSNMPユーザーのパスワードの入力

– Grid Infrastructureインストール時に指定した、ASMSNMPユーザーのパスワードを指定



ASMSNMPユーザーのパスワードを入力


125


5.10 リカバリ・オプションの選択



事前に作成した高速リカバリ領域用のディスク・グループ（FRA）を指定

ディスク・グループの選択は「参照」ボタンから選択可能

アーカイブ・ログを有効にする場合は選択


126


5.11 データベース・コンテンツの指定




127


5.12（1）初期化パラメータの指定 – メモリー・サイズの指定



任意のメモリー・サイズを指定


128


5.12（2）初期化パラメータの指定 – キャラクタ・セットの指定



データベースが使用するキャラクタ・セットを指定（CHARやVARCHAR2デー

タ型などで使用）


129


5.13 データベース記憶域の確認

– データベース関連ファイル（データ・ファイルや制御ファイルなど）の格納場所を確認（修正する場合は、左のツリーから選択し、修正可能）




130


5.14 データベース作成オプションの指定

– データベースを作成するスクリプトを生成し、後からスクリプトを実行してデータベースを作成することも可能（その場合は、「データベース作成スクリプトの生成を選択）



データベースを作成するスクリプトを生成する場合は、「データベース作成スクリプトの生成」を選択し、スクリプトを保存する場所を指定


131


5.14 データベース作成の開始



「OK」をクリックすると、データベースの作成が開始され、

進捗が表示される


132


5.14 データベース作成の完了



Database Controlでアクセスする場合は、このURLにブラウザからアクセス

「終了」をクリックして、データベースの作成を完了


133

以上の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以上の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

© Copyright IBM Japan, Ltd. 2011

Copyright© 2011, Oracle. All rights reserved

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。

本資料には、技術的に正確でない記述や誤植を含む場合があります。本資料の情報は最初の発行日の時点で得られるものであり、予告なしに変更される場合があります。すべての検証情報は、管理環境下で決定されたものです。実際の結果は、異なる可能性があります。

日本IBM以外の製品に関する情報は、その製品の供給者、出版物、もしくはその他の公に利用可能なソースから入手したものです。日本IBM以外の製品の性能に関する質

問は、それらの製品の供給者にお願いします。

IBM、IBMロゴ、ibm.com、AIX、Power Systems、PowerVM 、PowerHA 、HACMPおよびSystem Storageは世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。

無断転載を禁ず

無断転載を禁ず

oracle real application clusters 11g release 2 for …...oracle rac 11gr2 のメモリ要件：ram...

Documents