セッション4 hadoop solution セミナー資料(配布...
TRANSCRIPT
![Page 1: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/1.jpg)
Hadoop解析ソリューション
株式会社ブロードバンドタワー営業統括グループ
エンタープライズ営業樋山洋介
![Page 2: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/2.jpg)
CONFIDENTIAL BroadBand Tower Inc. 2
Hadoopの特徴
オープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク
数千のサーバとTB~PB級の大規模データ環境で、効率的に大量のデータを高速に処理することが可能
オープンソースにより提供される(Apache Hadoop)
Linuxの普及同様ディストリビューションベンダーが台頭(Cloudera、Pivotal)
ビッグデータ時代になり大量のデータをいかに活用できるかが企業にとって重要
VISAでは700億のトランザクションログの処理を1カ月から13分に短縮
ニューヨーク・タイムズはTIFFで保管していた13TBの記事データをPDF化するのにAmazon Webサ
ービスのHadoopで処理。高速、低コスト実現
要約すると・・・・・一定のアプリケーション処理を大量に行いたいときに非常に有用である。
![Page 3: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/3.jpg)
CONFIDENTIAL BroadBand Tower Inc. 3
Hadoopの実用例
ログ解析(POSデータ解析、広告分析、トラフィック解析)
クリック・ストリーム分析、関係グラフ解析=レコメンデーション
検索機能のインデックス作成、検索精度向上
大量データのパターン分析、分類
金融工学、科学技術計算
動画、テキスト、音楽のデータ変換
![Page 4: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/4.jpg)
CONFIDENTIAL BroadBand Tower Inc. 4
アイシロン販売実績
4
2006年よりアイシロンスケールアウトNAS販売開始
【販売実績】
のべ販売実績※2013年4月末時点
約1100ノード (約18PB)
約120システム
保守契約企業数
約80社
【保守体制】
24時間365日の保守体制
お客様環境と接続したリモート保守の提供
![Page 5: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/5.jpg)
CONFIDENTIAL BroadBand Tower Inc. 5
アイシロン用途例
画像、動画データの蓄積、編集
アクセスログの蓄積
研究データの蓄積
![Page 6: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/6.jpg)
CONFIDENTIAL BroadBand Tower Inc. 6
ブロードバンドタワー×データ解析?
【検証前の想像】
お客様はアイシロンに蓄積されているデータの解析をしているもしくは、したいのではないか?
Hadoopを利用する場合、
Hadoop→分散処理
Isilon→分散ファイルシステム
相性がいいのではないか?
OneFS6.5よりIsilonがHadoopで使用するHDFS(プロトコル)をサポート
![Page 7: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/7.jpg)
CONFIDENTIAL BroadBand Tower Inc. 7
Hadoopの構成コンポーネント
2つのコンポーネントで構成
– MapReduce
分散処理のフレームワークで、HDFSに格納されたデータの加工や計算を並列に処理
– Hadoop Distributed File System (HDFS)
大量の汎用サーバをまたいで巨大な単一のファイルシステムを構築し、MapReduceで処理するデータを格納
Hadoop
MapReduceHDFSに格納されたデータの加工や計算を並列に処理
HDFS大量のサーバをまたいで巨大な単一のファイルシステムを構築
![Page 8: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/8.jpg)
CONFIDENTIAL BroadBand Tower Inc. 8
Hadoop+Isilonソリューション
MapReduce
HDFS
分析結果
NFSなど
アプリケーションサーバ
データコピー
結果の取り出し
一般的なHadoop環境
MapReduce
HDFS
結果
分析
NFS
OneFS
データコピー
結果の取り出し
単一障害点をなくす
拡張しやすいシステム
処理時間の短縮
ストレージの共有
ストレージの効率利用
マルチプロトコル
CIFS
FTP
HTTP
IsilonによるHadoop環境
![Page 9: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/9.jpg)
CONFIDENTIAL BroadBand Tower Inc. 9
検証環境
【弊社検証環境】
MapReduce
HDFS
Hadoop DistributionCDH3u5
OSVersionOneFS6.5
【テスト項目】MapReduceノードとアイシロンの接続テスト代表的な解析アプリケーションのランニングテストMapReduceノード、アイシロンの増設後のパフォーマンススケールテスト
![Page 10: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/10.jpg)
CONFIDENTIAL BroadBand Tower Inc. 10
検証結果
ファイル単位でのソート、解析を行うアプリケーションの正常稼働を確認した。
データベース系のソート解析(ブロックベース)に関してアプリケーションの分散処理が1つのノードに集中することにより処理が遅くなることを確認した。
システム構成時にはMapReduceノードからHDFSでアイシロンを接続し、自動的に全ノードを使用して通信を行うことを確認。
![Page 11: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/11.jpg)
CONFIDENTIAL BroadBand Tower Inc. 11
想定している活用分野
大量の画像、映像の自動編集処理、解析
衛星画像 ビデオ &グラフィック
医療用画像
Webアクセスログ解析+αの解析
× ? =
![Page 12: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/12.jpg)
CONFIDENTIAL BroadBand Tower Inc. 12
宇宙天気予報 京都大学との共同研究
【宇宙天気予報】
フレア予測、プロトン現象予測、地磁気の擾乱予測
【悪天候(大規模変動)による影響予測】
・地磁気の乱れによるGPS測位精度の劣化
・送電システムの障害
・コンピュータなどの機器動作への影響 etc
「太陽観測衛星ひので」観測データ
地図アプリ カーナビゲーション
電力関係会社
予報及び簡易補正値の配信(Push式)
詳細予報の配信京都大学
宇宙総合研究ユニット
その他、精密電子機器環境
など
太陽フレア発生
「米国気象衛星GOES」観測データ
ビッグデータ解析技術による
・大量の時系列データ
・大量の時系列画像
の相関予測処理
![Page 13: セッション4 Hadoop Solution セミナー資料(配布 …...zオープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク](https://reader033.vdocuments.net/reader033/viewer/2022041702/5e42373cdf76c52d5550a056/html5/thumbnails/13.jpg)
CONFIDENTIAL BroadBand Tower Inc. 13
方針、ご提案体制
データ処理、解析は目的の策定、データ取得のためのシステム改修など、お客様のご協力が非常に重要と考えております。弊社といたしましては、Hadoopインフラのサービスで
はなく、解析アプリケーションの共同開発までのサポートを目指し、ご提案体制を拡充していきます。
13