advnet2011 ruo ando
TRANSCRIPT
広域アプリケーションレイヤネットワーク観測解析のための大規模クラスタの構築
～ クラウドの要素技術とテストベッドの特長の検討～
安藤類央 三輪信介情報通信研究機構
ネットワークセキュリティ研究所
情報通信研究機構ネットワークセキュリティ研究所 / 北陸 StarBED 技術センター
概要
ＷＥＢやＰ２Ｐ上にＳＮＳなどのアプリケーションが構築されるに伴い、広域で観測された大規模なデータを処理するケースが増加している。
これらのアプリケーションレイヤで構築されるネットワークを扱うため際に、大規模データと、加えて複雑な文字列解析を行う必要が生じている。
これらの新しいネットワーク観測・解析問題を解決するために、 JGN-X 上に多数のノードを仮想化し集約することで大規模なトラフィックデータを格納転送可能にし、 HDFS 上にスケール
アウト可能な解析系クラスタを starBED 上に構築し、頻度集計やノード規模測定などの解析を行う。
HDFS 上に Map Reduce を基本フレームワークとする分散 key value store 型のデータ処理機構を構築する場合、クラスタは同期やスケジューリングなどを行う name node と、並列分散処理を行う data node に分けられ、 Data node のスケールアウトは高い効果をもたらす。
また観測解析には巨大データの頻繁な移動が必要であり、広域高帯域な JGN-X が高い効果をもたらす。また、 StarBED では数十台～数百台規模のサーバの設定が可能であり、従来のクラスタ構築処理環境では不可能なデータ処理速度を達成することを検証する。
広域・高粒度化する L7/L8 ネットワーク
●bitTorrent, クライアント側（仮想ネットワーク ) Linux, BSD 配布に DHT を利用 全世界で（潜在）１００００万台以上
●Skype の普及 ２０１１年１月 IS03 「禁断のアプリ」 Skype のダウンロード率は 30 ％
ネットゲーム関連での SKYPE の普及率が急増
●P2P communication between botNets
Recently, botNet such as conficker (3 million nodes over the world) applies public key and P2P communication
インターネットの社会的インパクトの増大情報漏洩の国際化など
●EU 忘れ去れる権利をユーザにクラウドコンピューティング、 P2P ネットワーク上で記録されたファイルは半永久的に消えない。情報漏洩や、不正ファイル（著作権侵害、ウィルス）が放流されると永遠に流通し続けるため、欧州委員会は、消す権利を保障する「忘れられる権利」のプライバシー規定案を公式説明。
●Limewireの裁判2010 年 5 月 11日、ニューヨーク州南部地区連邦地裁は、 LimeWire の親会社 Limewire Group とその設立者マーク・ゴートンが LimeWire によって著作権侵害およびその幇助、
さらに不正競争に関与したことを認める略式判決を下した。
●WIKILEAKSへの捜査要請 ロバート・ゲーツ国防長官 FBIに捜査協力を要請。
国防総省のモレル報道官は「ウィキリークスが法律に背いて情報を流出させるように個人に働きかけ、傲慢に機密情報を世界と共有することを遺憾に思う」とコメント。
●エジプトでのデモエジプト政府、エジプトで反政府デモを抑えるために実施されたインターネット利用制限（スパムメールまでも遮断された）Google のマーケティング マネージャーであり、当局に逮捕された後に抗議･
運動の顔になった Wael Ghonim
クラウド環境上の security: "Data lives forever" problem
●Wiki Leaks
WikiLeaks is an international organization that publishes submissions of
otherwise unavailable documents from anonymous sources and leaks.
On July 25, 2010, WikiLeaks released to The Guardian, The New York
Times, and Der Spiegel over 92,000 documentsrelated to the war in
Afghanistan between 2004 and the end of 2009.
●“Right to forget and delete” EU クラウド上での忘れられる権利を立法化
European Commission sets out strategy to strengthen EU data protection
rules Nov 2010.
“Controlling your information, having access to your data, being able to
modify or delete it – these are essential rights that have to be guaranteed
in today's digital world. “
先行研究１ VANISH: self destructing dataファイル消去可能な P2P ネットワーク
Roxana Geambasu, Tadayoshi Kohno, Amit Levy, Henry M. Levy. Vanish: Increasing Data Privacy with Self-Destructing Data. In Proceedings of the USENIX Security Symposium, Montreal, Canada, August 2009.
Technology: Secret sharing protocol and DHT
In vanish system, shared file is disappeared from network in a fixed interval.
Bob sends {C,L} to Alice. VANISH is implemented for Vuse DHT.
RANDOM INDEXES (L)
Data, timeout
K1
K2
KN
C=Ek(data)
Data, timeout
RANDOM INDEXES (L)
data=Dk(C)
{C,L}
先行研究２ UNVANISH: reconstructing dataクローリング（広域観測）による消去無効化
Defeating Vanish with Low-Cost Sybil Attacks Against Large DHTsScott Wolchok, Owen S. Hofmann, Nadia Heninger, Edward W. Felten, J. Alex Halderman, Christopher J. Rossbach, Brent Waters, and Emmett Witchel, Network and IT Security Conference: NDSS 2010
UNVANISH mounts sybil nodes into DHT to replicate Ek hash to reconstruct data.
RANDOM INDEXES (L)
Data, timeout
K1
K2
KN
C=Ek(data)
Data, timeout
RANDOM INDEXES (L)
data=Dk(C)
{C,L}
UNVANISH
広域アプリケーションレイヤネットワーク観測解析
観測システムの構築と運用①解析・モニタの構築逆アセンブル／解析
②運用・仮想化技術の利用Xen, KVM(Linux), VMWare ESX の試用
③データ集計・可視化Hadoop, NOSQL(TokyoTyrant, MongoDB) の利用
④処理結果の出力Google Maps, Google App Engine等の利用
観測技術デバッガー、開発環境によるプロトコル解析
アプリケーションデバッガ、カーネルデバッガを用いて P2P アプリケーションの挙動を解析。修正 DLL （ライブラリ）を inject する。
①
観測システムの運用VMI による観測仮想マシンの集約
NICT独自の仮想マシン観測技術（ Virtual Machine Introspection) により観測システム（クローラ）を集約し、観測データに応じたプロビジョニングを可能に。
複数 OS 、複数アプリケーションを仮想化し、観測データをホスト OS に集約、一元管理する。
Linux KVM ベースの仮想観測系
XEN ベースの仮想観測系
②
観測システムの運用
北陸リサーチセンターstarBED
NICT白山CoreLab
PlanetLab（全世界）
NICT けいはんな仮想インフラストラクチャ、グリッドの構築
NICT の観測網とテストベッド、クラスタを利用して観測網の広域化とデータ処理の高速化を目指したが。。
数十台～数百台のサーバによる大規模クラスタの構築
観測網の広域化
②
データ解析・可視化Hadoop / HIVE に大規模データ処理クラスタ
広域トラフィック観測データを KVS （ key value store) 用のファイルシステムに格納
HIVE による SQL ライクな検索インターフェイスの構築
機械学習アルゴリズム、LSH などによるデータの圧縮と格納
③
出力 :googleEarth による可視化
ネットワーク上のノード、ファイル分布状況を解析し、集約した情報を、色別して GoogleEarth 上に表示
これにより、スーパーノードや、地域別の流通の特徴などを可視化
KML 生成の parsing 、 XML 生成に時間がかかる。
東京都内にあるスーパーノードの表示例
④
観測システム 2007 - 2011
①解析・モニタの構築
２００７ ２００８ ２００９
２０１０
２０１１
②運用・仮想化技術の利用
③データ集計・可視化
④処理結果の出力
観測システム 2007 – 2011観測ノード数
２００７ ２００８ ２００９
２０１０
２０１１
２万から１０万ノード
２００万から３００万ノード
１０００万ノード
2011/03 – 2011/05
観測システム 2007 – 2011要素技術
２００７ ２００８ ２００９
２０１０
２０１１
２万から１０万ノード
２００万から３００万ノード
１０００万ノード
2011/03 – 2011/05
観測システム 2007 – 2011観測ノード数
２００７ ２００８ ２００９
２０１０
２０１１
２万から１０万ノード
２００万から３００万ノード
１０００万ノード
2011/03 – 2011/05
Event Handler / Shared Memory
Log File
Hypervisor / virtual machine monitor
Sequence / Strings
更なる処理能力の強化～観測サーバ２４台説～
Map Map Map
Shuffle User Space
Injected LibDecoder
Kernel Space
Filter Driver
JGN-X 上での配置・スケールアウト
Application Layer Network
StarBED 上での配置・スケールアウト
User Space
Injected LibDecoder
Kernel Space
Filter Driver
User Space
Injected LibDecoder
Kernel Space
Filter Driver
要素技術と課題仮想化システム
• Xen と KVM はオープンソースの仮想化ソフトウェアであり、 KVM は Linux のドライバとして稼動する一方、 Xen はブートローダやスケジューラを持ったハイパーバイザーである。
GUI やデバイスドライバの違いはあるが、 libvirt などにより 両者の違いを吸収してに管理することが可能である。
一日数万セッションを仮想化された OS 上の MySQL で処理するとI/O のエラーがでる。
オープンソースの仮想化ソフトウェアが観測量が増加すると性能がついていかなくなる
• VMWare ESX は商用のハイパーバイザーである。オー プンソースではないため観測粒度やライセンスの面で問題がある
が、管理インターフェースは Xen や KVM と比較して充実している。
特に仮想マシンへのインジェクトが必要ない場合、 VMWare ESX が安定稼動、低コスト運用に向いてしている。
要素技術と課題：クラスタシステム
• Tokyo Tyrant24時間で１０００万ノード規模の観測を行う場合、 MySQL な
どの RDB では性能が追いつかない。 NOSQL でないと観測スピードに対応できない。導入済み。
• Mongo DB
アメーバピグで使われている。MapReduce 、 Sharding が使える。
ドキュメント指向：非標準 P2P プロトコルアプリケーションは亜種
が多い。スキーマレスで JSON を使って格納できる。
要素技術と課題クラスタシステム
• Hadoop & MapReduce
現在、 wordcount 、 ranking で利用中。
テストベッド上で利用する場合、Hadoop 用の kickStart, PXEブートの仕組み
を利用する必要がある。（可能なら今年度中に）
まとめと今後の課題 現在、クラウドコンピューティング、モバイル端末、高速ネットワークの普及により、ア
プリケーションレイヤでのネットワーク観測データが爆発的に増加している。
これらのアプリケーションレイヤで構築されるネットワークを扱うため際に、大規模データと、加えて複雑な文字列解析を行う必要が生じている。
これらの新しいネットワーク観測・解析問題を解決するために、 JGN-X 上に多数のノードを仮想化し集約することで大規模なトラフィックデータを格納転送可能にし、HDFS 上にスケールアウト可能な解析系クラスタを starBED 上に構築し、頻度集計やノード規模測定などの解析を行うための検討を行った。
Amazon EC は運用面でこのタイプの研究では柔軟性を欠き、また大規模データの移動や処理にはコストが高いことを示した。
現在、データ処理系に対して、２００９年度後半から、観測系が極度に発達しており、これに対応するためのスケールアウトや sharding が可能な大規模クラスタシステムの構築が急務である。