一般社団法人 電子情報通信学会 信学技報 THE INSTITUTE OF ELECTRONICS， IEICE Technical Report INFORMATION AND COMMUNICATION ENGINEERS

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

Copyright ©2017 by IEICE

トラフィックパターンを考慮したデータセンタ指向 フロー判定手法の提案

今給黎薫弘† 佐藤丈博† 岡本 聡† 山中 直明†

†慶應義塾大学 大学院理工学研究科 〒223-8522 神奈川県横浜市港北区日吉 3-14-1

E-mail: imakiire@yamanaka.ics.keio.ac.jp

あらまし 近年，データセンタネットワーク(DCN)における消費電力増加に伴い光回線導入型ネット

ワークに注目が集まっている．我々は，光回線導入型 DCNとして電気パケットスイッチングネットワー

クと光回線スイッチングネットワークを併用した HOLST を提案している．HOLST では，光回線スイッ

チングネットワークにおいて，MEMS 光スイッチと PLZT 光スイッチを組み合わせており，パケットフ

ローサイズに応じた適切なスイッチングネットワーク選択による省電力効果向上のため，高速なフロー

判定技術が必要とされている．DCNにおけるフロー判定の要件としては，フローの発着が高頻度で発生

し，マイスフラッディングといったトラフィックパターンを考慮しなければならないことが挙げられる．

本研究では，DCN におけるフローの高頻度発着およびトラフィックパターンを考慮した ToR (Top of

Rack)スイッチにおける階層型 LRU (Least Recently Used)キューを用いたフロー判定手法を提案する．また，

マイスフラディング存在時のフロー判定精度について評価を行なった結果を報告する． キーワード データセンタネットワーク，エレファントフロー，マイスフラッディング，オンライン検出，LRU

Proposal of the Data Center-centric Flow Classification Method using Traffic Patterns

Yukihirio IMAKIIRE† Takehiro SATO† Satoru OKAMOTO† and Naoaki YAMANAKA†

†Graduate School of Science and Technology, Keio University 3-14-1 Hiyoshi, Kohoku-ku, Yokohama-shi， Kanagawa, 223-8522 Japan

E-mail: imakiire@yamanaka.ics.keio.ac.jp

Abstract Introduction of optical switching networks into Data Center networks (DCNs) attracts attention to reduce power consumption in Data Centers. We have proposed “HOLST” as a hybrid optical/electrical switching DCN architecture with optical TDM switching. In the “HOLST” architecture, an optical switching network is constructed with combining both MEMS and PLZT optical switches. To realize reducing power consumption in DCN, packet flow size detection method is required to classify flows into the electrical switching network, the optical TDM switching network, and the optical wavelength switching network. In addition, there are some requirements as the method of detecting flow size especially in DCN, such as high-speed detection for multi-characteristics of flows and overcoming traffic behavior e.g. mice flooding. In this paper, we will propose a flow classifying method using a hierarchical LRU (Least Recently Used) queues in a ToR (Top of Rack) switch. The proposed method takes in to account frequent flow arrival and traffic behavior in “HOLST”. We evaluate the accuracy of detecting flows and the effect of power reduction of the proposed method compared to conventional methods in DCN.

Keywords Data center network, Elephant flow, Mice flooding, Online flow detection, LRU

- 63 -

一般社団法人　電子情報通信学会 信学技報THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere. 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 Copyright ©2017 by IEICE

IEICE Technical Report PN2017-25(2017-08)

1. はじめに インターネットとともに様々な IoT (Internet of

Things) デバイスの普及が加速し続けている中，データセンタへの需要が増え続けている．文献 [1]に示されている 2019 年までのデータセンタ市場の規模及び消費電力の推移では，今後データセンタ市場は拡大の一

途を辿り，2020 年には 2015 年を比較して約 1.5 倍の市場規模になると予測されている．データセンタにお

ける消費電力は全世界の 2%を占めており [2]，市場規模の拡大と共に消費電力の増加も予測されることから，

データセンタにおける消費電力の削減は大きな課題の

一つとされている．データセンタにおける消費電力削

減の解決策の一つとして，光回線を導入した新たなデ

ータセンタネットワーク (Data Center Network: DCN)アーキテクチャが提案されている [3, 4]．

DCN への光回線の導入を考えた際，電気パケットスイッチングと光回線スイッチング併用したハイブリッ

ド光回線交換型 DCN[5, 6]が導入の容易性から有望であると考える．現状の光通信技術として光回線交換に

よるものは MEMS (Micro Electro Mechanical Systems) 光 ス イ ッ チ や PLZT (Plomb Lanthanum Zirconate Titanate) 光スイッチ等すでに市場に製品化されており , 実際に光回線を ToR (Top of Rack)スイッチ間に導入したネットワークに関する研究は多数存在している

[7-9]．ハイブリッド型 DCN では，省電力化向上のた

めに，DCN 内に流れるフローを主にデータサイズ，伝送時間の観点から分類し，低容量フローを電気パケッ

トスイッチングネットワークに，大容量フローを光回

線スイッチングネットワークに割り当てる．具体的に

はデータサイズが大きく，かつ伝送時間の長いフロー

を光回線交換ネットワークに，データサイズが小さい，

又は伝送時間の短いフローを電気パケットスイッチン

グネットワークに割り当てることによって省電力効果

の向上を目指している．この様に，各フローを適切な

ネットワークに割り当てるためにフロー判定技術が必

要となり様々な手法が提案されている [10, 11]．特に，DCN においてはトラヒックパターン [12]を考慮した判定手法が求められている．本論文では，我々が提案し

ている HOLST (High-speed optical layer 1 switch system for time slot switching based optical data center networks) [6, 13-17]への適用を目指したフロー判定手法として，階層型 LRU (Least Recently Used) キャッシュを用いた判定手法を提案する． 本論文の構成を以下に示す．2 章で光回線導入型ネ

ットワークである HOLST について述べる．3 章では，DCN におけるフロー判定手法として提案されている

Elephant Trap[10]と ALFE[11]を紹介し，HOLST へ導入する際の問題点を提示する．4 章にて，HOLST 導入時

の問題点を考慮した階層型 LRU キャッシュを用いた

フロー判定手法の提案を行い，5 章でフロー判定精度や省電力効果の特性評価を行う． 後に第 6 章にてむすびを述べる．

2. 光回線導入型ハイブリッドネットワークHOLST 我々が提案している光回線導入型ハイブリッド DCN

HOLST[6]について述べる (図 1)．HOLST は電気パケットスイッチングネットワークと MEMS 及び PLZT 光スイッチ併用光回線交換ネットワークから構成される省

電力指向 DCN である．HOLST では，フロー容量に応じて波長単位粒度での回線交換を行う MEMS 光スイッチと，ns オーダーの高速スイッチングによるサブ波長粒度での TDM (Time Division Multiplexing)スイッチングを行う PLZT 光スイッチを組み合わせ，光ネットワークに収容されるフロー数を増加させることで省電

力効果向上を目指している．

図 1 光回線導入型 DCN “HOLST”

HOLST では，PLZT 光スイッチの導入により ns 単位でのスイッチングが可能となる．PLZT 光スイッチによる TDM の導入により，光ネットワークに収容可能

なフロー数を増加させ，波長単位粒度の光回線交換し

か行わない Helios [5]と比較して著しい省電力効果の増大が実現可能であると報告されている [6, 14]．HOLST においては，波長粒度のフローであるエレファントフロー (Elephant Flow: EF)を MEMS光スイッチを用いた光回線交換ネットワークに，サブ波長粒度のフ

ローであるドギーフロー (Doggy Flow: DF)を MEMS光スイッチと PLZT 光スイッチを組み合わせて構成される光 TDM 回線交換ネットワークに，小容量フロー

であるマイスフロー (Mice Flow: MF)を電気パケットスイッチングネットワークに割り当てる．このように，

フローをフローサイズに応じて各ネットワークに割り

当てることが要求される．具体的には，初期状態では，

全フローは電気パケットスイッチングネットワークに

割り当てられており，各 ToR スイッチにてフローサイズ判定を行い，判定後にフローの収容先を適切なネッ

トワークに切り替える．そのため DCN 内のフローを

高速にサイズ判定する手法が必要とされている．

- 64 -

3. 既存フロー判定手法及び HOLSTへの適用性 本章では，DCN における既存フロー判定手法として，

Elephant Trap [10]及び ALFE [11]を紹介し，HOLST 導入にあたっての両方式の問題点を明確化する．

3.1. Elephant Trap [10] Elephant Trap は，光回線交換型ハイブリッド DCN

である Helios [5]において，エレファントフローを判定する手法として用いられている． Elephant Trap は LFU (Least Frequently Used)キャッシュを用いたオンライン型フロー判定手法である．DCN のフローはフローの発着が高頻度である (約 15 µs)ことが報告されており [12]高速な判定が必要となる．Elephant Trap では高頻度な発着に対応するために LFU キャッシュを用いたフロ

ー判定を行なっている．Elephant Trap においては，多数のマイスフローが少数エレファントフローと混在し

た場合に，エレファントフローのパケット間隔が空い

た場合に LFU キャッシュが宛先の異なる多数のマイ

スフローで埋め尽くされてエレファントフローが LFUからキャッシュアウトしてしまう“マイスフラッディ

ング”が発生することが知られている．マイスフラッ

ディングの発生により，エレファントフローのキャッ

シュヒット率は急激に低下する．

3.2. ALFE [11] ALFE は，マイスフラッディングの存在を考慮した

エレファントフロー検出手法である．ALFE は既登録フローがキャッシュから追い出された回数 (Evict Times)とフロー長に高い相関があることを用いてフロー判定を行う．具体的には，Flow ID を登録するキャッシュを 3 つ（Elephant Eden，Rabbit Slam，Mice Tomb）設定し，Flow ID 到着時に Evict Times によって ID を挿入するキャッシュを選択する．エレファントフロー

は，マイスフラッディングによりキャッシュアウトさ

れても継続時間が長いため高 Evict Times を保有するため，キャッシュアウト後に到着したパケットによる

Flow ID の挿入箇所が Elephant Eden となり，マイスフラッディングの影響を受けずにエレファントフローの

判定を行うことが可能となっている． ALFE を HOLST に導入することを考えた際に，二つの問題点が存在する．ALFE では，HOLST におけるドギーフローについて考慮されていないため，ドギーフ

ローを含めた判定が必要であるということが第一の問

題である．次に，ALFE では，マイスフラッディング対策のために全 Flow ID(一般に数万～数百万に達する )に対して Evict Times を保存するために Flow Records が必要となる．HOLST においては，256 台程度以上の ToR スイッチが DCN に接続されることが想定されており，巨大な Flow Records を ToR スイッチ

に保有させてのフロー判定が困難となることが予想さ

れる．従って，ToR 数 256 台以上の対応するためのスケーラビリティ確保が第二の課題となる． そのため，HOLST におけるフロー判定手法ではマイスフラッディングをはじめとしたトラフィックパター

ンを考慮した手法であること，また ToR スイッチ内で判定でき，かつスケーラブルな手法が必要となる．

4. 階層型キューを用いたデータセンタ指向フロー判定手法の提案

HOLST におけるフロー判定手法の必要用件として，マイスフラッディングをはじめとした DCN のトラフ

ィックパターンの考慮，ToR スイッチ 256 台に向けたスケーラビリティの確保，従来手法では考慮されてい

なかったドギーフローの判定の三点が挙げられる．ス

ケーラビリティ確保のためには，ToR スイッチに閉じたフロー判定実現が望ましい．

4.1. 階層型 LRU による判定手法 前述の必要用件を満たすフロー判定手法として階

層型 LRU キューを用いたフロー判定手法を提案する．図 2 に，提案判定手法の概要を示す．LRU キューを用いることにより，ALFE で必要となる Flow Records による Evict Times の記録を保持する必要がなくなり，スケーラビリティの確保を実現することができる．

図 2 階層型キューを用いたフロー判定手法

本提案におけるフロー判定手順を以下に示す． 1. パケット到着時に Flow IDを取得し，該当 Flow ID

が LRU キュー内に存在するかどうかを確認する．Flow ID はパケットのヘッダ情報のうち，送信元及び宛先 MAC アドレス，VLAN 番号，L2 ペイロード種別，送信元及び宛先 IP アドレス，送信元及び宛先ポート番号，L4 プロトコル等から適当なものを選択してハッシュ値を求めたものを用いる．

2. 新規 Flow ID の場合，マイスキューの先頭に挿入する．

3. LRUキュー内に同一 Flow IDが存在している場合，その Flow ID のパケット参照回数 (カウンタ )をインクリメントする．カウンタの値が閾値を超えた

場合，上位のキューへと遷移させる． 4. キュー内から溢れた Flow ID は下位の LRU キュ

ーの先頭に遷移する．マイスキューから追い出さ

れた Flow ID は削除される． 本提案では，Flow Record を用いずに階層化 LRU を採

- 65 -

用することで，マイスフラッディング時にドギーフロ

ー，エレファントフローの LRU キャッシュアアウトを防止することができる．

4.2. 決定木を用いた閾値計算 階層型キャッシュにおける各キューの閾値の決定に

あたり，決定木を用いた閾値の導出を提案する．決定

木アルゴリズムとして C5.0 [18]を用いて，閾値の決定を行う．具体的な手順としては，以下の通りである． 1. 設定した閾値をもとに階層型キューにおける

Flow ID の到着回数を x 秒間測定する． 2. 測定した到着回数と x 秒間におけるフロー判定結

果をサンプルデータとして決定木を用いて境界と

なる閾値を導出する．ここで導出する閾値はマイ

スキューとドギーキュー間の閾値 Threhold1，及びドギーキューとエレファントキュー間の閾値

Threhold2 の二つである．使用する決定木アルゴリズムは C5.0 である．

3. 2.の手順を y 秒間繰り返し，その期間における正答率の高い閾値として，次判定期間から適用する．

短時間の判定結果をもとにして閾値設定を繰り返し行うことによって，パケットパターンに合わせた閾値

の導出を目指す．

5. フロー判定精度及び省電力効果の評価 本章では，従来手法である Elephant Trap 及び ALFE

と提案手法をフロー判定精度及び消費電力を従来手法

である Elephant Trap 及び ALFE との比較を行った．

5.1. 評価環境 表 1 に特性評価環境を示す．特性評価に用いるデー

タとしては， Internet バックボーンの実データであるCAIDA データ [19]を用いた．マイス・ドギー・エレファントの分類は，事前に CAIDA データを解析して便

宜的に設けたものであり，DCN 環境においては直接適用できるものではない．各キューサイズの設定は，各

回線資源から導出した．DF キューサイズに関しては，TDM のタイムスロットに依存する部分もあるが，評価では，光回線の合計容量 / DF の平均フローサイズからキューサイズの設定を行なった．また図 3 に使用した CAIDA データにおけるフロー分布を示す．横軸に 1フロー辺りのパケット数の範囲を示し，左の縦軸はフ

ロー数，右側の縦軸にはパケット数を示している．こ

こでのフローとは前述した Flow ID によって区別されるパケット群を示す．図 3 より，CAIDA データではパケット数の少ない，つまりデータ長の短いフロー (MF)の数は多く，パケット数の多い，つまりデータ長の長

いフロー (EF)は少ないことが示されている．DCN においては，同様な傾向が想定されており，特性評価環境

として適切であることがわかる．評価における閾値は，

特性評価では用いたデータとは異なる 10 秒間の

CAIDA データを用いて C5.0 決定木を用いて導出を行なった．

表 1 特性評価環境

フロー数 約 70 万フロー

計測時間 60 秒

フローサイズ

EF 100MB 以上

DF 1 ~ 100MB

MF 1MB 以下

キューサイズ

EF 4(光回線数 )

DF 8100

MF 10000

閾値 (初期 ) MF→DF 100

DF→EF 10

消費電力 (スイッチ ) 電気 6.88[nJ/bit]

光 0.355[nJ/bit]

図 3 CAIDA データにおけるフロー分布

5.2. フロー判定精度評価 フローをマイス・ドギー・エレファントに正しく分

類できた判定精度の評価を行った．フロー判定精度は

式 (1)で定義される．

正答率 [%] = (各キューで正しく判定されたフロー数フロー全体数

)の平均×100 (1)

正答率は，各キューにおいてフロー判定が正しく行

われたかどうかを示す指標である．フロー判定精度の

評価結果を図 4 に示す．図 4 において，横軸は 60 秒までの経過時間であり，縦軸に (1)式より算出した正答率を示している．各グラフにおける Trap は従来手法である Elephant Trapを，ALFEは従来手法である ALFEを，Hierは提案手法である階層型キュー判定手法を示しており，Elephant Trap，ALFE では MF 及び EF における正答率，Hier では MF, DF 及び EF の正答率を示している．

- 66 -

図 4 従来手法と提案手法の正答率推移

図 4 の特性評価結果より，1 秒間ごとの正答率の差

の平均より，Elephant Trap と比較して正答率は 1 秒間ごとの差の平均で 10.5%下回り，ALFE と比較して 1秒間ごとの差の平均で 8.5%の向上が確認できた．

5.3. 消費電力の削減効果 消費電力削減効果を評価した結果について述べる．消費電力は，式 (2)を用いて算出した．

消費電力 W =単位時間あたりに判定されたフローサイズ×スイッチング消費電力 (2)

60秒間の消費電力の推移を評価した結果を図 5に示す．

図 5 従来手法と提案手法の消費電力推移

また表 2 に各手法の消費電力の平均値を示す．

表 2 各手法における平均消費電力 (60 秒間 ) Elephant Trap ALFE 提案手法

53.8[W] 39.3[W] 11.1[W]

特性評価から，Elephant Trap と比較して平均 82.3%，ALFE と比較して平均 59.6%の改善が確認できた．正答率の高い Elephant Trap よりも提案手法の消費電力

が低い理由として，Elephant Trap ではサイズの小さいマイスフローの判定がより正確に判定されている一方，

治安手法では階層型キューを用いることでマイスフラ

ッディングの影響を避けており，フローサイズの大き

いドギフローの正答率が Elephant Trap よりも高いため消費電力が低いためである．

6. むすび 本 論 文 で は ， 光 回 線 導 入 型 ハ イ ブ リ ッ ド DCN

“HOLST”におけるフロー判定手法として，階層型キューを用いたフロー判定手法を提案した． 提案手法は，Flow Record を用いずに階層化 LRU に

よってマイスフラッディングへの対策を実現している．

又，階層化の段数を増加させることで，新たにドギー

フローを判定可能としている．各キューの遷移時の判

定基準となる閾値は，事前にサンプルデータと決定木

を用いて導出している． 特性評価として，フロー判定精度及び省電力効果を

測定した．従来手法である Elephant Trap や ALFE と比較し，正答率では ALFE からの改善，省電力効果に関しては両手法からの改善を確認した．Elephant Trap と比較して正答率が低い要因として，提案手法ではドギ

ーフロー判定のためにエレファントキュー及びマイス

キューのサイズが小さく，判定の際に候補となるフロ

ーの数が少なっていることが理由として考えられる．

謝辞 本研究の一部は，国立研究開発法人新エネルギー・

産業技術総合開発機構 (NEDO)の助成事業によりサポートされている「HOLST プロジェクト」の成果です． また，本研究は，慶應義塾大学オールラウンド型リー

ディング大学院「超成熟社会発展のサイエンス」によ

り助成されています．

文 献 [1] ミック研究所 (2016/3/22)「データセンタ市場と消

費 電 力 ・ 省 エ ネ 対 策 の 実 態 調 査 」<https://mic-r.co.jp/>(参照 2017/8/1)

[2] FUJITSU JARNAL(2016/11/24)「大量のエネルギーを消費するデータセンターが目指す「究極の省エネ」とは ?」， <http://journal.jp.fujitsu.com/2016/11/24/02/>( 参 照 2017/8/1)

[3] D. Karthi and G. Das, “Post: A scalable optical data center network,” Proc. in 2013 IEEE International Conference on Advanced Networks and Telecommunications Systems (ANTS), Dec. 2013.

[4] K. Kitayama, Y. C. Huang, Y. Yoshida, R. Takahashi, and M. Hayashitani, “Optical packet and path switching intra-data center network: Enabling technologies and network performance with intelligent flow control,” Proc. in 2014 The European Conference on Optical Communication (ECOC), Sept. 2014.

- 67 -

[5] N. Farrington, G. Porter, S. Radhakrishnan, H. H. Bazzaz, V. Subramanya, Y. Fainman, G. Papen, and A. Vahdat,“Helios: a hybrid electrical/optical switch architecture for modular data centers,” Proc. in ACM SIGCOMM, pp. 339-350, Aug. 2010.

[6] M. Hirono, T. Sato, J. Matsumoto, S. okamoto, and N. Yamanaka, “HOLST: Architecture design of energy-efficient data center network based on ultra high-speed optical switch,” Proc. in IEEE LANMAN 2017, June 2017.

[7] A. Singla, A. Singh, and Y. Chen, “Osa: An optical switching architecture for data center networks with unprecedented flexibility,” in Presented as part of the 9th USENIX Symposium on Networked Systems Design and Implementation (NSDI 12). San Jose, CA: USENIX, pp. 239–252, 2012.

[8] A. Pal and K. Kant, “Roda: A reconfigurable optical data center network architecture,” in 2015 IEEE 40th Conference on Local Computer Networks (LCN), pp.561–569, Oct. 2015.

[9] M. C. Yuang, P. L. Tien, H. Y. Chen, W. Z. Ruan, T. K. Hsu, S. Zhong, J. Zhu, Y. Chen, and J. Chen, “Opmdc: Architecture design and implementation of a new optical pyramid data center network,” Journal of Lightwave Technology, vol. 33, no. 10, pp. 2019–2031, May 2015.

[10] Y. Lu, M. Wang, B. Prabhakar, and F. Bonomi, “Elephant Trap: A low cost device for identifying large flows,” Proc. in 15th IEEE Symposium on High-Performance Interconnects (HOTI), pp.99-105, Aug. 2007.

[11] T. Pan, X. Guo, C. Zhang, W. Meng and B. Liu, “ALFE: A replacement policy to cache elephant flows in the presence of mice flooding,” Proc. in 2012 IEEE International Conference on Communications (ICC), Ottawa, ON, 2012, pp. 2961-2965, June 2012.

[12] T. Benson, A. Akella, and D. A. Maltz, “Network traffic characteristics of data center in the Wild,” Proc. in ACM SIGCOMM Internet Measurement Conference (IMC), pp.267-280, Nov. 2010.

[13] 廣野将行，伊佐治義大，中島悠佑，佐藤丈博，岡本聡，竹下秀俊，山中直明 , “PLZT 光スイッチを用いた省電力指向データセンター光ネットワークアーキテクチャ，”信学技報 , PN2015-109, 2016年 3 月 .

[14] 廣野将行，佐藤丈博，松本隼，岡本聡，山中直明，“HOLST:超高速光スイッチによる省電力データセンターネットワーク アーキテクチャの設計，” 信学技報 ,PN2016-35, 2016 年 11 月 .

[15] 室航，廣野将行，松本隼，佐藤丈博，岡本聡，山中直明，“Hadoop におけるシャッフルヘビータスク判別手法の提案，”信学技報 , PN2016-90, 2017年 3 月．

[16] A. Yamashita, W. Muro, M. Hirono, T. Sato, S. Okamoto, N. Yamanaka, and M. Veeraraghavan, “Hadoop Triggered Opt/Electrical Data-Center Orchestration Architecture for Reducing Power Consumption,” Proc. in 19th International Conference on Transparent Optical Networks (ICTON), Th.A6.4, July 2017.

[17] M. Hirono, W. Muro, S. Sekigawa, T. Sato, S. Okamoto, and N. Yamanaka, “Hadoop-based Application Triggered Automatic Flow Switching in Electrical/Optical Hybrid Data-Center Network,” to appear in 43rd European Conference on Optical

Communication (ECOC), Sept. 2017. [18] R. Pandya and J. Pandya, “C5.0 Algorithm to

Improved Decision Tree with Feature Selection and Reduced Error Pruning,” International Journal of Computer Application, Vol. 117, No.6, pp. 18-21, May 2015.

[19] The CAIDA anonymized 2014 Internet traces [Online]. Available: https://data.caida.org/datasets/passive-2014.

- 68 -