yahoo! japan meetup #8 （インフラ技術カンファレンス）セッション②

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

2017年1月30日

1

ヤフー株式会社システム統括本部サイトオペレーション本部

インフラ技術3部 DCNW1 深澤開

Network for the Large-scale

Hadoop Cluster at Yahoo! JAPAN


自己紹介

2

名前

深澤開 (ふかざわかい) 所属

データ&サイエンスソリューション統括本部データプラットフォーム本部開発2部

システム統括本部サイトオペレーション本部インフラ技術3部 (兼務)

業務

全社Hadoopの設計・構築・運用

データセンター内ネットワークの設計・構築・運用マイブーム

ジム通い / ランニング


アジェンダ

3

Hadoop概要HadoopとNetwork

Yahoo! JAPANのHadoop Network変遷今までのNetworkの障害・問題と解決

今までのNetworkの障害・問題新クラスタでのNetwork要件

Yahoo! JAPANのIP CLOS Network 構成 Hadoopによるパフォーマンステスト新たな問題

Future Plan


Hadoop概要


Hadoop 概要

5

オープンソースの大規模な分散処理ミドルウェア


Hadoop 概要

6

オープンソースの大規模な分散処理ミドルウェア

1. HDFS (Hadoop Distributed File System)

2. YARN (Yet-Another-Resource-Negotiator)


Hadoop 概要

7

HDFS Hadoop の分散ファイルシステムファイルをブロック単位に分割して保存レプリケーションを作成して保存

デフォルトで3レプリケーションデーモン

Master : NameNode

Slave : DataNode


Hadoop 概要

8

HDFS HDFS上のメタデータの管理 DataNodeの状態管理

ブロックデータの保存

“HDFS Architecture“. Apache Hadoop.

http://hadoop.apache.org/docs/current/hadoop-project-

dist/hadoop-hdfs/HdfsDesign.html. (01/17/2017).


Hadoop 概要

9

YARN ジョブスケジューリングおよびクラスタリソース管理のためのフレームワーク

様々な分散処理が実行可能 MapReduce / Tez / Spark

デーモン Master : ResourceManager

Slave : NodeManager


Hadoop 概要

10

YARN NodeManagar の状態管理アプリケーションの状況把握

処理ノードのリソース管理

アプリケーションの管理

アプリケーションの実行“Apache Hadoop YARN“. Apache Hadoop.

http://hadoop.apache.org/docs/current/hadoop-

yarn/hadoop-yarn-site/YARN.html. (01/17/2017).


HadoopとNetwork


HadoopとNetwork

HDFS

DataNode A NameNode

DataNode A,B,C

DataNode BDataNode C

Block

File


HadoopとNetwork

HDFS

DataNode A

NameNode

DataNode BDataNode CDataNode D

HeartBeat


HadoopとNetwork

HDFS

DataNodeA

NameNode

DataNodeBDataNodeCDataNodeD

HeartBeat

障害を起こしたノードが持っていたデータ量の分だけトラフィックが発生する(1ノードあたり30TB)


HadoopとNetwork

16

HDFS


HadoopとNetwork

17

HDFS


HadoopとNetwork

18

HDFS


HadoopとNetwork

19

HDFS 1ラック分(30TB*20ノード)のデータの内層トラフィックが発生する


HadoopとNetwork

20

YARN (リソースに余裕がある場合)

Map

Map

Map

Map

Reduce

Reduce

Shuffle

基本的にデータがあるノードで処理


HadoopとNetwork

21


Map

Map

Map

Map

Reduce

Reduce

Shuffle



HadoopとNetwork

22


Map

Map

Map

Map

Reduce

Reduce

Shuffle


Suffle フェーズでノード間の通信が発生する


HadoopとNetwork

Map

Map

Map

Reduce

Reduce

Map

YARN (リソースに空きがない場合)

Shuffle

データのないノードで処理が実行されるためデータ転送が発生する

23


HadoopとNetwork

Map

Map

Map

Reduce

Reduce

Map


Shuffle


24


HadoopとNetwork

Map

Map

Map

Reduce

Reduce

Map


Shuffle


Shuffle フェーズだけでなくMapの段階でもノード間の通信が発生する

25


HadoopとNetwork

26

High

Low

Hadoop ではデータのレプリケーションや再配置、集計処理の中でデータの転送が多く行われる

North/South (縦方向)ではなくEast/West (横方向) の通信がメイン

大規模なHadoopになるとより多くのラック間通信が発生する


HadoopとNetwork

27

“Introduction to Facebook‘s data center fabric”. (11/14/2014). Retrieved

https://www.youtube.com/watch?v=mLEawo6OzFM. (01/17/2017).

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.28

Oversubscription

求められる帯域と実際に利用できる帯域の比率

Oversubscription

40 : 10 = 4 : 1

“Hadoop オペレーション Eric Sammer 著、玉川竜司訳 (O’Reilly). Copyright 2013 Eric Sammer, 978-4873116525.”

HadoopとNetwork

10Gbps

1Gbps NIC 40Nodes

= 40Gbps


Yahoo! JAPANの

Hadoop Network変遷


0

10

20

30

40

50

60

70

80

Cluster1(Jun. 2011)

Cluster2(Jan. 2013)

Cluster3(Apr. 2014)

Cluster4(Dec. 2015)

Cluster5(Jun. 2016)

PB

Cluster Volume

Yahoo! JAPANのHadoop Network変遷


20Gbps

Cluster1

Stack 構成Nodes/Rack 90Nodes

Server NIC 1Gbps

UpLink 20Gbps

Oversubscription 4.5 : 1



20Gbps

Cluster1


Server NIC 1Gbps

UpLink 20Gbps



4スイッチ/Stack


20Gbps

Cluster1


Server NIC 1Gbps

UpLink 20Gbps


Stack構成を組めるスイッチ数の限界



…

Cluster2

Spanning Tree Protocol

Nodes/Rack 40Nodes

Server NIC 1Gbps

UpLink 10Gbps

Oversubscription 4 : 110Gbps



…

Cluster2

Spanning Tree Protocol

Nodes/Rack 40Nodes

Server NIC 1Gbps

UpLink 10Gbps

Oversubscription 4 : 1Blocking



L2 Fabric/Channel

Nodes/Rack 40Nodes

Server NIC 1Gbps

UpLink 20Gbps

Oversubscription 2 : 1

L2 Fabric

…

Cluster3

20Gbps 20Gbps



L2 Fabric/Channel

Nodes/Rack 16Nodes

Server NIC 10Gbps

UpLink 80Gbps

Oversubscription 2 : 1

L2 Fabric

…

80Gbps 80Gbps

Cluster4



Release Volume #Nodes/Switch NIC Oversubscription

Jun. 2011 3PByte 90 1Gbps 4.5:1

Jan. 2013 20PByte 40 1Gbps 4:1

Apr. 2014 38PByte 40 1Gbps 2:1

Dec. 2015 58PByte 16 10Gbps 2:1



今までのNetworkの

障害・問題と解決


今までのNetworkの障害・問題

40

Stack構成でのスイッチ障害BUM Trafficによるスイッチへの負荷スケールアウトの限界サービスアウト処理の制限


Stackを組んでいるスイッチのうち1台に障害が発生

一緒にStackを組んでいる他のスイッチにも影響

5ラック分(90台)のノードが通信不能となる

計算リソースが不足し、処理停止に繋がる

Stack構成でのスイッチ障害



L2 Fabric

… …

4400Nodes


サーバからのARPによるトラフィックが原因でコアスイッチのCPUが高騰

サーバ側のARPエントリの保持時間を調整

ネットワークアドレスが大きいことで発生した問題

BUM Trafficによるスイッチへの負荷


Stack

最大で10台程度 L2 Fabric

シャーシの数に依存

スケールアウトの限界



今までのNetworkの障害・問題サービスアウト処理の制限

UpLinkの帯域によるDataNodeのサービスアウト処理の制限

ジョブに影響を与えない台数でのサービスアウト作業を実施


新クラスタのNetworkの要件

45

要件 (2015年春頃)

120〜200ラック10000台規模までスケールアウト可能1ラックあたりのアップリンク 100~200Gbps

サーバのNICは10Gbps

1ラック20台弱場所はUS DC


これらの問題を解決するために


これらの問題を解決するために

IP CLOS Network を採用しました


IP CLOS Network の採用

48

Google, Facebook, Amazon, Yahoo…

OTT(Over The Top)が採用しているDCネットワーク構成

“Introducing data center fabric, the next-generation Facebook data center network”. Facebook

Code. https://code.facebook.com/posts/360346274145943/introducing-data-center-fabric-the-

next-generation-facebook-data-center-network/. (10/06/2016).


East-West Traffic 増大に対応スケーラビリティの向上ボックススイッチのみであればいくらでもスケール可能

可用性の向上Spineやアップリンクなど落ちても問題ない構成に

運用コストの低減OSPF,BGPなど一般的な構成なので、

どんな会社のものでもOK

IP CLOS Network の採用


Yahoo! JAPAN の

IP CLOS Network


・・・

・・

・・・

・・

・・・

・・

・・・

・・

・・・・・・・・・・・

Spine

Leaf

ToR

構成ボックススイッチ構成

いくらでもスケールアウト可能スイッチの数が増大する


・・・・・

Internet

Spine

Core

Router

Layer3

Layer2・・・・・Leaf

構成


構成

53

・・・・・

Internet

Spine

Core

Router

Layer3


・・・

・・Spine

Leaf


なぜこうような構成にしたのか? 管理するものを減らす IPアドレス、ケーブル、インターフェース、BGP Neighbor…..

別の物理的制約フロアが1フロア限定シャーシ型の構成でも今回の要件は満たせる

シャーシ型のコストの変化以前よりもポート単価が安くなった

構成


ECMP

Spine-Leaf間はBGP

55

・・・・・

Internet

Spine

Core

Router

Layer3


BGP

構成


・・・・・

Internet

Spine

Core

Router

Layer3


/31

/26 /27

構成Spine-Leaf 間は /31

Leaf 配下は /26, /27


・・・・・

Internet

Spine

Core

Router

Layer3


/31

/26 /27

構成

BUM Traffic の問題を解消


・・・・・

Internet

Spine

Core

Router

Layer3


160Gbps①

②③④

構成Leaf Uplink 40Gbps x 4 = 160Gbps


・・・・・

Internet

Spine

Core

Router

Layer3


Leaf Uplink 40Gbps x 4 = 160Gbps

①②③④

構成

10Gbps NIC

20Nodes

160Gbps


・・・・・

Internet

Spine

Core

Router

Layer3



160G

①②③④

構成

200 : 160 = 1.25 : 1

10Gbps NIC

20Nodes


・・・・・

Internet

Spine

Core

Router

Layer3



160G

①②③④

構成

200 : 160 = 1.25 : 1

10Gbps NIC

20Nodes

サービスアウト処理の制限の解消


・・・・・

Internet

Spine

Core

Router

Layer3



160G

①②③④

構成

200 : 160 = 1.25 : 1

10Gbps NIC

20Nodes

UpLink の冗長化により耐障害性が向上


構成

63



構成

64


✔✔✔


Release Volume #Nodes/Switch NIC Oversubscription

Cluster1 3PByte 90 1Gbps 4.5:1

Cluster2 20PByte 40 1Gbps 4:1



Cluster5 75PByte 20 10Gbps 1.25:1



Hadoopによるパフォーマンステスト(5TB Terasort)

66


Hadoopによるパフォーマンステスト(40TB DistCp)



16Nodes/Rack

8Gbps/Node



16Nodes/Rack

8Gbps/Node

30Gbps x 4 = 120Gbps



A社 B社



A社 B社メーカーによるパフォーマンス差

はほとんどない


新たな問題

73

データ転送遅延アップリンク4本のうち1本でエラーパケットが発生この影響でデータ転送が遅延

Slow


“org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror”

Slow

新たな問題データ転送遅延アップリンク4本のうち1本でエラーパケットが発生この影響でデータ転送が遅延


ラックを移動するとIPが変わるラックごとにネットワークアドレスがついてるアクセスコントロールをIPアドレスでやっている移設ごとにACLを変更しないといけない

192.168.0.0/26 192.168.0.64/26

192.168.0.10 192.168.0.100

新たな問題


Future Plan


Future Plan

78

データ転送に影響に対する対策

Error!


Future Plan

79

Error!

Auto Shutdown

データ転送に影響に対する対策


Future Plan

80

Erasure Coding の採用

striping64kB

Orig

inal ra

w d

ata


Future Plan

81

D6

striping64kB

Orig

inal ra

w d

ata

Raw data

D5D4D3D2D1



Future Plan

82

D6

striping64kB

Orig

inal ra

w d

ata

Parity

Raw data

D5D4D3D2D1

P3P2P1



Future Plan

83

D6

striping64kB

Orig

inal ra

w d

ata

Parity

Raw data

D5D4D3D2D1

P3P2P1

D6D5

D4D3

D2D1 P1

P2P3



Future Plan

84

D6

striping64kB

Orig

inal ra

w d

ata

Parity

Raw data

D5D4D3D2D1

P3P2P1

D6D5

D4D3

D2D1 P1

P2P3

Read



Future Plan

85

D6

striping64kB

Orig

inal ra

w d

ata

Parity

Raw data

D5D4D3D2D1

P3P2P1

D6D5

D4D3

D2D1 P1

P2P3

Read



Future Plan

86

D6

striping64kB

Orig

inal ra

w d

ata

Parity

Raw data

D5D4D3D2D1

P3P2P1

D6D5

D4D3

D2D1 P1

P2P3

Low Data Locality



Future Plan

87

・・・・・・・・・・・・

様々なプラットフォームとの相互接続

… …

BOTTLENECK


Future Plan

88

・・・・・・・・・・・・・・

コンピューティングとストレージの分離

: Storage Machine

: Computing Machine


ご清聴ありがとうございました


Appendix


Appendix

91

• JANOG38

• http://www.janog.gr.jp/meeting/janog38/program/clos

• Hadoop Summit Tokyo 2016

• http://www.slideshare.net/HadoopSummit/network-for-the-

largescale-hadoop-cluster-at-yahoo-japan

yahoo! japan meetup #8 （インフラ技術カンファレンス）セッション②

Technology