oracle bi cloud service data syncクイックスタート短編

Copyright © 2015 Oracle and/or its affiliates. All rights reserved.

Oracle Business Intelligence Cloud Service WhitepaperData Sync クイックスタート編O R A C L E W H I T E P A P E R | A U G U S T 2 0 1 5

変更履歴日付バージョン変更内容

2015 年 8 月 31 日 1.0 新規作成

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. 2

ご注意本書は、オラクルの一般的な製品の方向性を示すことが目的です。また情報提供を唯一目的とするものであり、い

かなる契約にも組み込みことはできません。下記の事項はマテリアルやコード、機能の提供を確約するものではな

く、また、購買を決定する際の判断材料とはなりえません。オラクルの製品に関して記載されている機能の開発、

リリース、および時期については弊社の裁量により決定いたします。

なお、キャプチャ画像として本書に記載しているユーザーインタフェースについては、今後更新される可能性があ

ります。


目次1. はじめに 52. インストール 63. 接続設定 84. ロード定義 115. 実行（ジョブ） 166. おわりに 17


1. はじめに目的：このチュートリアルでは、Oracle Business Intelligence Cloud インスタンスに Oracle BI Cloud Service

Data Sync を使用して、データ連携をする方法を学びます。

ここでは、以下のツールを使用します。

- Oracle BICS Data Sync ※以降より Data Sync Tool とする

所要時間：　６ 0 分

概要：BICS Data Sync は、オンプレミスのデータを BICS のデータスキーマへデータ連携することを可能とします。

- ウィザード形式のわずかな操作による設定

- 様々なデータベースに対応し、また、フラットなデータファイルからのデータロードが可能

- データ要件に合わせた取込の条件を細かに設定可能

- メール通知機能、監視モニタ機能やスケジュール機能が完備

前提条件：このチュートリアルを開始する前に、以下の準備が全て完了していることを確認して下さい。

- 試用版もしくは、Oracle Business Intelligence Cloud Service のサブスクリプションを購入済みであること。

まだ、お済でない方は、Oracle Store もしくは、以下の Oracle Cloud Service 専用サイトをご確認ください。

[URL] http://www.oracle.com/jp/corporate/features/bicloud/index.html

- Java1.7 またはそれ以上の Java Developer Kit(JDK)のインストール済みであること。同等のバージョンであ

る Java Runtime Environment(JRE)は利用できませんのでご注意ください。

注意：

本チュートリアルではオンプレミスデータソースを使用したデータ連携を実行します。

予めテストで使用できるデータベースをご準備下さい。


http://www.oracle.com/jp/corporate/features/bicloud/index.html

2. インストール本章では、Data Sync Tool のインストール方法を紹介します。インストール前に、Oracle BICS Data Sync は

Oracle Technology Network(OTN)より本チュートリアルで使用するソフトウェアをダウンロードして下さい。ダ

ウンロードした BICSDataSync.Zip ファイルは、空白が含まれないディレクトリにファイルを配置して下さい。

[URL]　 http://www.oracle.com/technetwork/middleware/bicloud/downloads/index.html例）C:\bics_dac\BICSDataSync.Zip

2.1. Java Home の設定

上記で取得した Zip ファイルを解凍し、config.bat または config.sh をテキストエディタで開き、ご利用のオペレ

ーティングシステムに合わせて、@JAVA_HOME を編集します。

例）Windows

set JAVA_HOME=D:\Java例）Unix

JAVA_HOME=usr/java

注意:

Java Home のディレクトリパスに空白が含まれる場合は、二重引用符で閉じます

例）set JAVA_HOME=”C:\Program Files\Java\jdk1.7.0_65\jre”

2.2. インストール

初回起動時には、セットアップウィザードが起動します。ウィザードの手順に従い初期設定を行います。

2.2.1. 上記で解凍した BICSDataSync.Zip より datasync.bat（Windows）または datasync.sh(Unix)を実行

2.2.2. ラジオボタン Configure a new environment を選択し Next を押下

2.2.3. レポジトリ名を入力します。（例：Development Environment）

※ここで入力した名称はウィンドウタイトルおよびタスクバーのアイコンに使用されます。

2.2.4. Data Sync Tool（クライアントツール）にログインするためのパスワードを設定

パスワードを保管する場合は、Remember Password にチェックを入れます。

2.2.5. Finish を押下

2.2.6. 画面が Enter Password に遷移します。2.2.4 で設定したパスワードを入力し Login を押下

2.2.7. ラジオボタン Create a project を選択し、プロジェクト名を入力（例：TEST_Project）

2.2.8. OK を押下し【図１】の画面が起動すれば、初期設定完了です。

【図１】


http://www.oracle.com/technetwork/middleware/bicloud/downloads/index.html

2.3. ２回目以降の起動

2.3.1. datasync.bat または datasync.sh を実行

※上記の bat/sh を一度実行すると OS の再起動またはタスクトレ―から Exit を選択するまで起動状態となりま

す。

※起動状態で datasync.bat/sh を選択するとエラーメッセージウィンドウが表示されますのでその場合は、

datasyncClient.bat/sh を選択し UI 画面を起動して下さい。（Windows の場合、タスクトレーを右クリック

> Start UI で画面を立ち上げることも可能です。）


3. 接続設定本章では、Data Sync Tool でデータ連携する際に使用する、接続設定の方法を紹介します。Data Sync Tool ではこ

れらの情報を設定する作業を Connection という画面で行います。

3.1. デフォルト接続設定

Data Sync Tool では以下の接続情報があらかじめ設定されています。

A) TARGET

B) File Source

A)　TARGET：本接続情報は Oracle Business Intelligence Cloud Service（BICS）に接続する際に使用し

ます。Data Sync Tool の画面上 Connection を押下し、TARGET にカーソルを合わせ、URL 項目に BICS の

URL を設定し、ユーザーとパスワードを入力します。Test Connection を押下し、「Connection to

"TARGET" successfully established! 」のメッセージが確認できれば、Save を押下します。

URL 項目に入力する情報は以下の画面の赤矢印の箇所で確認できます。最後に含まれる「 /analytics 」は不要

ですのでご注意ください。

例）https://<service>-<identity_domain>.analytics.<data_center>.oraclecloud.com

注意：

URL 以外の編集は不要ですので、誤って編集・削除してしまわないようご注意ください


B)　File Source:ファイルアップロード時に使用する接続情報です。本設定については、編集する項目はあり

ません。名称の変更や、誤って削除してしまわないようご注意ください。

3.2. オンプレミスデータの接続設定

ここでは、BISC にデータを連携する元の接続先を設定します。

3.2.1. Data Sync Tool の Connection を押下

3.2.2. New を押下し、画面下段の edit タブの各テキスト項目に接続情報を設定します。


【表１】接続情報詳細

Field Description

Name 接続情報名　※接続先が分かるような名称にすること

Database Type データベースタイプ（ DB2, Data Sync Tool では、 MS SQL, MY SQL,

Oracle(BICS), Oracle(OCI8), Oracle(Thin), Teradata, TimesTen から選択可能）

Table Owner データベース・スキーマ名

Password データベース・スキーマにログインするためのパスワード

Service Name データベース名　※Oralce TNS Name の場合は、tnsnames.ora で確認可能

Host マシーン名またはデータベースが存在するマシーンの IP アドレス

URL（Optional） DB ソース接続の JDBC URL. 本フィールドに設定する値はデータベースの明確な指

定の為に使用します。例えば、Oracle RAC や他のデータソースを使用する場合に

設定します。

Driver(Optional)

3.2.3. Test Connection を押下（正常に接続テストが完了した場合、以下の画面が表示される）

3.2.4. Save を押下


4. ロード定義本章では、ターゲット表、ソース表（リレーショナルデータソース、ファイルデータソース）の表定義、列定義、イ

ンデックス定義を設定する方法を紹介します。Data Sync Tool ではこれらの情報を設定する作業を Project という画

面で行います。

A) リレーショナルソースからのデータ連携定義情報設定

接続設定で設定したデータベースにアクセスし、テーブル／ビューの定義を取得します。

B) フラットファイルからのデータ連携定設定

4.1. リレーショナルソースからデータ連携

接続設定で設定したデータベースにアクセスし、テーブル／ビューの定義を取得します。Data Sync Tool では、

CAHR,VARCHAR,TIMESTAMP,DATE,NUMBER(n),NUMBER(m,n),CLOB,BLOB がサポートされていますが、それ

以外のデータ型については、インポート時に UNKNOWN となり、無効フラグが立ちます。BICS へのデータ連携の

対象外となりますのでご注意ください。

4.1.1. Data Sync Tool の Project を選択し、Relational Data Tab に移動

4.1.2. Data From Table を選択

4.1.3. Import Tables into [Project Name] ダイヤログが起動します。Data Source より、接続先を選択

4.1.4. Table Name Filter のテキストボックスにインポートする表名を入力し Search Tables を押下

※“＊”または“％”であいまい検索が可能

4.1.5. インポートする表名にチェックを入れます。（全取込の場合は、Select All を押下すると全てにチェック

が付きます）

4.1.6. Import Tables を押下

インポートする表に関連するインデックスおよびテーブル定義情報が取り込まれます。

注意：オブジェクトをそのままインポートする場合、ターゲット表名も同じ名前で登録されます。テーブ

ル名を変更したい場合は、本取込方法ではなく後述する SQL問合せによるデータ連携を検討して下さい。


4.2. SQL問合せによるデータ連携

接続設定で設定したデータベースに SQL問合せによるデータ連携定義の設定を行います。SQL問合せによって複数

表の結合、値の集計、条件の絞り込みが可能です。SQL問合せ結果によるデータを BICS に連携する際に使用しま

す。

4.2.1. Data Sync Tool の Project を選択し、Relational Data タブに移動

4.2.2. Data From SQL を選択

4.2.3. New Query ダイヤログが起動

4.2.4. Name フィールドに名称を入力（※入力時に空白が入らないように注意して下さい）

4.2.5. Data Source より、接続先を選択

4.2.6. Target Table 項目のラジオボタン Create a table を選択し、ターゲット表名を入力

4.2.7. Query フィールドに SQL問合せ文を入力し、OK ボタンを押下

4.3. ファイルからデータ連携

フラットファイルからのデータ連携する為の設定を行います。Data Sync Tool では、フラットファイル取込む際に

データ型・桁数をサンプルから推測し、定義を動的に行います。もし、 Data Sync Tool が定義した内容に誤りがあ

る場合および変更したい場合は、編集画面から定義を修正します。

4.3.1. Data Sync Tool の Project を選択し、File Data タブに移動

4.3.2. New を選択

4.3.3. ダイヤログが起動

4.3.4. Select a File フィールドの右端にあるチェックボタンを押下し、ファイルを選択

4.3.5. Next を押下

4.3.6. 各テキストフィールド、ラジオボタン、リストを選択

【表２】ファイル連携定義詳細

Field Description

Number of lines to skip スキップする行

Select a delimiter 区切り文字（カンマ、パイプ、セミコロン、空白、タブ、チルド、カスタム）

Select timestamp

format(Java Style)

日付型

Number of lines to be

sample

デフォルト 10000（ここで設定するデータ件数をサンプリングし、Data Sync Tool

がデータ型・桁数を推測します。‐1 と設定すると全行を確認します。全行にすると

データを全件確認するため処理に時間がかかる為ご注意ください。）


First Line contains

headers

ヘッダー行の有無（含める場合はチェックを付ける）

ヘッダー行は、テーブルの列名となるため、列名に存在する空白は排除し、大文字で

あることが望ましいです。列名が 30文字以上の文字列は排除され、ヘッダー行を含

めない場合は、新規テーブルをすると、COLUMN_1,COLUMN_2…となります。


4.3.8. Create a table のラジオボタンを選択し、テキストフィールドにターゲット表名を入力

※Remove Duplicates については、取込むファイルから重複データを排除したい場合にチェックを付

けます。このチェックを付ける場合は、あわせてプライマリキーの設定を推奨します。


4.3.10. New Source: Map Columns のダイヤログボックスが起動

ここで表示されるデータ型・桁数を変更したい場合は、編集したいフィールドを選択し、正しいデータ

型・桁数に変更します。Data Transmission列では各データの文字列操作（UPPERCASE, LOWERCASE

,NUMBER ,TRIM）が可能です。Update Rows on much ではプライマリキーとなる項目にチェックを

入れます。チェックを入れているキーを基にターゲット表のデータ更新が行われます。

4.3.11. OK を押下

注意：

フラットファイルは以下の点に注意して下さい。

・文字列に区切り文字が含まれる場合は、二重引用符でとじます。

・文字列に改行が含まれる場合は、二重引用符でとじます。

・日付型の列が複数含まれる場合、全ての日付型列は同じフォーマットである必要があります。

例：YYYY-MM-DD と設定した場合、1986-01-01 (birth_date) 2010-06-31 (hire_date)

・ ”$”や”＃”などの特殊文字が列名および表名に存在する場合、ジョブ実行時にエラーとなります。

・空白行は無視されます。

・取込みデータの中でスキップしたい行がある場合は、行の初めに--を追加します。

4.4. エラーデータの確認

・後述するジョブの実行の際にフラットファイルの取込み（ File Upload）でエラーとなった場合、ログデ

ィレクトリ（<インストールディレクトリ>/log）に bad ファイルが出力されます。

・ログの確認は Bad ファイルを確認して下さい。Bad ファイルは、CR_<Table/File Name>_<From

Connection>_<To Connection>.<Timestamp>.bad の名称フォーマットで出力されます。

4.5. ロード定義

Data Sync Tool では以下の 4 つのデータロード方針が設定できます。


・ Replace data in table

・ Append data to table

・ Update table (Add new records)

・ Update table (Update existing records)

4.5.1. リレーショナルデータの場合

4.5.1.1. Data Sync Tool の Project を選択し、Relational Data タブに移動

4.5.1.2. Load Strategy列より各テーブルのロード方針を選択します。各ロード方針の概要については

【表 3】を参考にしてください。

【表３】ロード方針

Value Description

Replace data in table データロード前にターゲット表のデータと索引を削除します。デー

タロード完了後に索引が再作成され、統計情報が取得されます。

Append data to table 既存データは残したまま、ロードする度に新規データを追加しま

す。

Update table

(Add new records)

こちらを選択する場合、プライマリキーの設定が必要です。初回ロ

ード時には TRUNCATE処理が実行されます。

データロード前に索引を削除され、ロード完了後に索引が再作成・

統計情報が取得されます。プライマリキー＆フィルタに該当するデ

ータがターゲット表に存在しない場合、そのデータは新規追加され

ます。

Update table

(Update existing records)

こちらを選択する場合、プライマリキーの設定が必要です。初回ロ

ード時には TRUNCATE処理が実行されます。

データロード前に索引を削除され、ロード完了後に索引が再作成・

統計情報が取得されます。プライマリキー＆フィルタに該当するデ

ータがターゲット表に存在する場合、該当のデータは更新されま

す。


Note:　Never delete のチェックを付けた場合、TRUNCATE処理は行われないように設定することが可能で

す。

4.5.1.3. OK を選択

4.5.2. ファイルデータの場合

4.5.2.1. Data Sync Tool の Project を選択し、File Data タブに移動

4.5.2.2. 画面下段の File Targets タブを選択し、Load Strategies列の該当データを選択しチェック

ボックスを押下

4.5.2.3. ロード方針（【表３】参照）を設定

4.5.2.4. OK を押下


5. 実行（ジョブ）ジョブとは、実行の単位であり、実行する構成の確定、スケジューリング、監視、ジョブ実行を操作することが可能

です。

5.1. ジョブの実行

5.1.1. Data Sync Tool の Jobs を押下

5.1.2. Run Job を押下

前章までに作成したタスクが本機能によって動的にコンパイルが行われ、ジョブの実行が開始されます。

初回実行時は、画面下段の Ordered Task に表示されていませんが、実行後に動的にコンパイルが行われ、

処理対象のタスクが一覧表示されます。

　　　　


5.2. 確認

5.2.1. Data Sync Tool の Job を選択し、サブタブ Current Jobs に移動

5.2.2. 画面下段の Tasks、Task Details を選択すると各タスクの実行状況が確認できます。

補足：Task Details タブには、各タスクの詳細な実行内容が表示されます。表示される文言と内容については以下

の通り

【表４】

Value Description

Truncate Table ロード方針の定義の際に設定し置き換え（Replace)を選択した、又は、初め

て実行されるタスクの場合、Truncate Table処理が実行されます。

Drop Index 表の Truncate または、Project の定義で常に再作成（Always Drop&Create)

にチェックがある場合は、データ取込みの前に作為削除処理が実行されま

す。

Insert/Update/Append/Upsert ロード処理で定義した内容に基づいてデータの取込みが行われます。

Create Index Drop Index の処理で削除された索引、および、新規に索引の定義した索引に

対し、ロード処理の後に本処理が実行されます。


Analyze Table ロード処理、インデックスの作成のあとに本処理が実行されます。各テーブ

ルの統計情報収集処理は、以下のタイミングで処理されます。

１．初期ロード

２．索引の再作成がされた場合

※上記以外の差分実行の場合、統計情報収集処理は実行されません。

Task Details タブでは、各処理の詳細（処理時間、処理件数、読み込み・書き込み所要時間、等）が確認できます。

5.3. エラーの確認

処理終了ステータスおよび、ログファイルの確認は以下の通りです。

ログ出力先：インストールディレクトリの/log フォルダにログが出力されます。ファイル名は以下の通り。

CR_<Table/File Name>_<From Connection>_<To Connection>.<Timestamp>.log

5.3.1. ※各タスクの終了ステータスを見る場合には、Task Detail タブの Status Description列で確認可能です。


6. おわりに本チュートリアルでデータ連携を行ったデータは、以下のように BICS のデータモデラー機能および、BICS の

Database の APEX コンソールより確認することが可能です。このように Data Sync Tool を使用して、オンプレ

ミスのシステムから BI Cloud Service へのデータ連携を行い、BI Cloud Service でのデータ利用を柔軟に行う事

が出来ます。


oracle bi cloud service data syncクイックスタート 短編

Art & Photos

oracle bi cloud service data syncクイックスタート短編