NTT技術ジャーナル　2014.1220

オープンイノベーションによるクラウド基盤技術の取り組み

OpenStackの発展

OpenStack（1）は計算機やネットワークなどのインフラを仮想資源としてユーザに提供するOSS（Open Source Software）のIaaS（Infrastracture as a Service）基盤プロジェクトです．2014年 4 月にはIcehouse版がリリースされており，リリースサイクルごとにその機能を増やしています（図 １ ）．またIcehouseリリースの翌月にはOpenStack

Summit Atlanta2014が開催されましたが，このサミットではOpenStackのエコシステム＊ 1 の成熟が強調されていました．

サミットでは，OpenStackを用いた製品 ・ サービスの情報を集めたサイト“OpenStack Marketplace” が発表されました．Marketplaceによると，14社の企業がOpenStackのディストリビ ュ ー シ ョ ン を 提 供 し て お り，OpenStackを利用したパブリック，プ

ライベートクラウドサービスを17社の企業が提供しています．このようなユーザやクラウドサービスプロバイダのほかにもベンダ，コンサルタント，インテグレータなどさまざまな業種の企業がコミュニティに参加し，エコシステムを形成しています．エコシステムを利用することで事業会社での複数

OpenStack IaaS OSS

図 1 　OpenStackのリリーススケジュール

メジャーリリース

提供機能

仮想ネットワーク

ブロックストレージ

メータリング・監視

仮想環境プロビジョニング

データベース

仮想マシン

仮想マシンイメージ

認証サービス

Web ユーザインタフェース

オブジェクトストレージSwift

Nova

Swift

Glance

Nova

Swift

Glance

Horizon

Keystone

Nova

Swift

Glance

Horizon

Cinder

Quantum

Keystone

Nova

Swift

Glance

Horizon

Cinder

Quantum

Keystone

Nova

Swift

Glance

Horizon

Cinder

Neutron

Ceilometer

Heat

Keystone

Nova

Swift

Glance

Horizon

Cinder

Neutron

Ceilometer

Heat

Trove

Keystone

Nova

10月21日Austin

2 月 3 日Bexar

4 月15日Cactus

9 月22日Diablo

4 月 5 日Essex

9 月27日Folsom

4 月 4 日Grizzly

10月17日Havana

4 月17日Icehouse

10月16日Juno

2010年 2012年 2013年 2014年2011年

＊1 エコシステム：複数の企業，開発者，ユーザが互いに協力関係を結び，相互協力によって1つの環境を成長させていく仕組み．

OpenStackの取り組み

OpenStackは発足から ３ 年，さまざまな企業がコミュニティに参加し，エコシステムも確立して商用利用も増えています．本稿ではOpenStackの最新動向，NTT研究所におけるパブリッククラウド，プライベートクラウドの取り組み，およびNTT Innovation Institute, Inc.（NTT I３）でのハイブリッドクラウドの研究開発状況，OpenStackコミュニティでのNTTの活動状況などについて解説します．

市いちはら

原 裕ひろふみ

史 /水み ず の

野 伸し ん た ろ う

太郎 /佐さ と う

藤 賢けんいち

一

井いのうえ

上 朋と も こ

子 /夏な つ め

目 貴た か し

史 /室む ろ い

井 雅まさひと

仁

川かわしま

島 正まさひさ

久

NTTソフトウェアイノベーションセンタ†1 NTT Innovation Institute, Inc.†2

† 1 † 1 † 1

† 1 † 1 † 1

† 2

NTT技術ジャーナル　2014.12 21

特集

のユースケースへの対応やベンダロックインを避けることができます．このエコシステムの活用がNTTのサービスでOpenStackを利用する際の鍵となっており，NTT研究所では複数の国内外のパートナと連携しながらクラウドサービスの研究開発に取り組んでいます．

NTT研究所のこれまでの取り組み

NTT研究所では2012年からOpenStackと仮想ネットワークコントローラを連携させて複雑なネットワークを仮想環境上に構築する技術の検討（2）を行ってきましたが，この検討と並行してOpenStackを用いたパブリッククラウドの検証と開発も行ってきました．2012年当時ターゲットとしたOpenStackのFolsom版は検証の結果，そのまま商用で使うには機能が不足していることが分かり，いくつかの機能追加を行いました．次にNTT研究所で改修した代表的な機能を紹介します．

（1） 　仮想ネットワーク機能のマルチプラグインサポート

OpenStackのネットワークコントローラNeutronで複数のプラグインをプラガブル（脱着可能）に実行可能にす る マ ル チ プ ラ グ イ ン 機 能

（Metaplugin） を 追 加 し ま し た．Neutronでは下回りのネットワークに合わせてプラグインを選択できますが，複数のプラグインを同時に使うことができませんでした．そのため下回りに複数のベンダのスイッチを採用しているなど複雑なネットワークをコントロールするユースケースに対応するため，図 ２ に示すようにMetapluginによって複数のプラグインをプラガブルに使用可能にしました．

（2）　トランザクション機能OpenStackのFolsom版全体でトラ

ンザクション処理＊ 2 が不足していたため，NTT研究所ではOpenStackのトランザクション処理の検討を行いました．例えばOpenStackの操作中にエ

ラーとなった処理が実行の過程で作成したリソースが残る，誤った設定が残るということが多くありました．これらの問題を解決するためにOpenStack全体に対して，処理の異常時に適切にリソースの消去，設定の修正などを行うトランザクション処理を追加しました．

（3）　リソース管理機能商用サービスでOpenStackを利用す

る場合，Openstackのリソースに関するさまざまな課題が明らかになりました．例えば，商用サービスではユーザがリソースを作成したタイミングで課金を行 わ な け れ ば い け ま せ ん が，OpenStackには課金システムがありません．また，OpenStackへの操作に対して，その操作の正常性をチェックする機構が足りていないことが分かりました．このような課題を解決するためにリソースをOpenStackの外から管理し，ユーザからの操作を補助するリソース管理機能を作成しました（図 ３ ）．

これらの追加機能はコミュニティにも フ ィ ー ド バ ッ ク し て い ま す．MetapluginはNeutronのコードに取り込まれました．また，トランザクション機能についても，開発や検証で明らかにした知見を用いて，コミュニティでトランザクション処理を実現するためのTaskflowというライブラリの導入に貢献しています．リソース管理機能については，リソース管理機能が解決した課題をまずはコミュニティに共有する活動を行い，どのようにこれらの課題をOpenStackで解決すれば良いかを議論しています．

図 2 　Metapluginの利用例

ユーザ

ネットワークコントローラ（Neutron）

Metaplugin

Cisco Linux bridge

bridge

OVS

HV

NVPコントローラHV

Nicira RyuOpen vSwitchNEC

ユーザ

＊2 トランザクション処理：情報処理で不可分な一連の処理の流れを保証するための処理．

NTT技術ジャーナル　2014.1222

オープンイノベーションによるクラウド基盤技術の取り組み

NTT研究所とNTT I3のこれからの取り組み内容

NTT研究所では事業会社からの要望やユースケースを基にOpenStackを利用したクラウドサービスの開発を継続し，NTT Innovation Institute, Inc.

（NTT I3）では北米のマーケットを調査して北米のニーズに適した次世代のクラウドソリューションとなり得るクラウドサービスの研究開発を行っていきます．以下ではそれらの取り組みについて説明します．■パブリッククラウドへの取り組み

NTT研究所では2014年以降のパブリッククラウドの検討の大きな方針として，コミュニティ版のコードをそのまま使うことを掲げています．その理由としては，研究所が今まで開発していたものはコミュニティ版のコードに100以上の独自パッチを当てており，コミュニティ版のコードと大きな差が生まれていました．このため，コミュニティ版のコードのアップデートに追随していくことが非常に難しくなっていました．この問題を解決するために，2014年以降のパブリッククラウドの取り組みでは，独自パッチを内部で持たず，コミュニティ版のコードをそのまま使うために，必要な修正はコミュニティにパッチとして提供し，コミュニティ版に取り込まれなかった機能はOpenStackの外で管理される外部機能で実現します（図 ４ ）．これにより，コミュニティの中でのアップデートに追随していくことが可能となります．■プライベートクラウドへの取り組みNTT研究所ではパブリッククラウ

ドの検討と開発，コミュニティ活動を継続的に行ってきました．パブリックク ラ ウ ド の 検 討 はAWS（Amazon

Web Service）＊ 3 への対抗のためにNTTグループのクラウドサービス展開として重要なミッションととらえていますが，その一方でプライベートクラウドの要望も強くなってきたと感じています．これまで行ってきたパブリッククラウドの検討は主に中規模以上のクラウドを対象としたもので各種アプライアンスを用いて構成されており，最小でも数十台構成として検討していました．今後はすべてOSSで構

成されており，小規模構成からスタートし，必要に応じて拡張することが可能なプライベートクラウドの検討を行っていきます（図 ５ ）．■企業のITインフラ全体の高度化の取り組みNTT I3で は，DC（Data Center），

エンタープライズWANを含む企業のITインフラの運用を高度化するための

図 3 　リソース管理機能の利用例

ユーザ

GUI

Keystone Nova Neutron Cinder Glance

課金 バリデーション …

リソース管理機能

クラウドコントローラ（OpenStack）

ユーザ

図 4 　コミュニティ版のOpenStackを用いた構築

独自パッチ

Keystone

Keystone

外部機能 外部機能 外部機能 外部機能

Nova Neutron Cinder Glance

一部は外部で管理

一部はコミュニティに提供

Nova Neutron Cinder Glance

独自パッチ 独自パッチ

独自パッチ独自パッチ独自パッチ

OpenStack NTT改造版

OpenStack コミュニティ版（NTT改造なし）

＊3　AWS：Amazonが提供するクラウドサービスの総称．

NTT技術ジャーナル　2014.12 23

特集

基盤プロダクトを開発しています（3）．開 発 プ ロ ダ ク ト をESI（Elastic Service Infrastructure）と呼んでいます．NTTグループの企業向けビジネスの主なものとして，VPN（Virtual Private Network），ホスティング，マネージドIT，ネットワークセキュリティ監視などがありますが，ESIはこれらのビジネスをクラウド時代に向けて進化させる戦略的な基盤プロダクトです．

ESI開発の背景には，クラウドと現状の企業のITインフラとの運用効率のギャップがあります．クラウドコンピューティング技術の発展により，コンピュータ群の運用は大幅に効率化されました．しかし，これらの効率化の効果は企業のITインフラ全体の一部でしか発生しません．これらのコンピュータ群を設置されるDCには，ファ

イアウォールやロードバランサなどのネットワーク機器があります．また，DCと企業の各拠点はエンタープライズWAN（VPN）で結ばれています．これらの，ネットワーク機器やエンタープライズWANの運用は依然として，手作業で，煩雑で，スピード ・ コストがかかっています．

ESIは，仮想化，ソフトウェア運用といったクラウド起原の技術により，DC，エンタープライズWANの運用を効率化します．例えば，ファイアウォール，ロードバランサなどのネットワーク装置の運用については，仮想アプライアンス化されたファイアウォール，ロードバランサをソフトウェアのコントローラで一元管理することにより効率化します．このアプローチをエンタ ー プ ラ イ ズ 向 けNFV（Network Function Virtualization）＊ 4 と呼んで

います．成功のためには，多くの仮想アプラ

イアンス製品や仮想化時代のインフラ運用プロダクトとのエコシステムを築くことが重要です．そのために，ESIで は，OpenStackのAPI＊ 5 ， ソ フ トウェアを積極的に採用しながら，開発を進めています．

コミュニティ活動

OpenStackの立ち上げ直後の2010年から現在まででNTT研究所を含むNTTグループ全体で21名の開発者がコミュニティに対して貢献を行っています．コミュニティへの貢献とは，コミュニティに提案されているパッチ

図 5 　プライベートクラウドの構成案

コントローラ

データベース

ネットワーク

SNATルータ

ルータ

ストレージ

ルータ

ストレージ

仮想マシン

仮想マシン …

仮想マシン

仮想マシン

仮想マシン …

仮想マシン

ルータ

ストレージ

仮想マシン

仮想マシン … …

仮想マシン

ファイアウォール

ロードバランサ

VPN

コンピュート コンピュート コンピュート

メッセージキュー

データベース

メッセージキュー

OpenStackコンポーネント

OpenStackコンポーネント

最小構成 5台必要に応じてネットワークノードコンピュートノードを追加する

小規模の場合はVLAN大規模の場合はVXLAN

Interネットワーク

Publicネットワーク（インターネット）

コントローラ

データベース

メッセージキュー

OpenStackコンポーネント

コントローラ

コントロールネットワーク

＊4 NFV：ネットワーク機器の機能をソフトウェアで実現する技術．

＊5 API：アプリケーションを外部から利用するためのインタフェース．

NTT技術ジャーナル　2014.1224

オープンイノベーションによるクラウド基盤技術の取り組み

のレビュー，コミュニティへのバグパッチの提供，新機能の提案などがあります．

NTT研究所がバグ改修や新機能提案などの貢献を行ったプロジェクトは多岐にわたります（図 ６ ）．貢献の多くは，NTTグループの商用サービス提供のために必要としている機能が多いですが，そのような一企業のユースケースがコミュニティに受け入れられ，提案が承認されるには長い議論と時間が必要となります．また重要な点として，ほかの多くの企業も自サービスのユースケースを満たす多くのパッチを提案します．その中で自分たちのパッチをデベロッパにレビューして承認してもらう一番の近道は自分たちもコミュニティで多くの貢献をすることです．コミュニティで提案されているパッチに対して質の高いレビューを行い，コミュニティにとって価値のある

パッチを提供することで信用を勝ち取り，仲間を増やすことが重要になります．NTT研究所では，これからもOpenStackコミュニティに多くの貢献を行い，コミュニティ内での仲間づくり，地位向上を目指していきます．

今後の展開

OpenStackのエコシステムの発展で，さまざまな形態のクラウドサービスを提供することが可能となってきました．NTT研究所およびNTT I3ではこのエコシステムの中で，OpenStackコミュニティへの貢献を実施しながら，ユースケースに合わせて提供可能なOpenStackを利用したサービス開発に今後も力を入れていく予定です．

■参考文献（1） http://www.openstack.org（2） 水野 ・ 坂井 ・ 横関 ・ 飯田 ・ 小山：“OpenStack

とOpenFlowオーバレイ技術を活用したIaaS基盤，” NTT技術ジャーナル，Vol.24，No.10，

pp.12-16，2012．（3） http://www.ntti3.com/newsletter/files/

P O I N T - O F - V I E W - N E T W O R K -INFRASTRUCTURE-ELASTICITY.pdf

図 6 　OpenStackコミュニティへの貢献

Horizon

Keystone

Nova

Neutron

Glance

Cinder

Swift

Ceilometer

Heat

Sahara

Webユーザインタフェース ・KVM版ライブマイグレーション・IPv6サポート

・Glance⇔Volume間のイメージ転送機能・ライセンス情報付イメージDL制御・taskflow実装

・Sheepdog接続プラグインを提案中

・バックエンド（ファイルシステム）の複数指定

・利用可能な仮想資源に，ネットワークゲートウェイを 追加するための拡張・リクエストID返却機能追加

・Global Cluster改良に関して提案中・ErasureCodeへのプラグインインタフェースを提案中・S3互換API M/W（Swift3）の機能拡充を実施中・Slogging機能拡充・Swift向けTempestの改良

・Hadoop連携の機能拡充を実施中

・複数NICサポート・マルチベンダプラグインサポート・仮想ルータのStatic route設定・L3-agent/DHCP-agentの複数ノード対応

認証サービス

仮想マシン管理サービス

仮想ネットワーク管理サービス

仮想マシンイメージサービス

ブロックストレージサービス

オブジェクトストレージサービス

メータリング・監視サービス

仮想環境テンプレート管理サービス

Hadoop連携サービス

プロジェクト 機能概要 NTT研究所の貢献

（左から） 室井 雅仁/ 井上 朋子/ 市原 裕史/ 佐藤 賢一/ 水野 伸太郎/ 夏目 貴史/ 川島 正久（右上）

NTT研 究 所，NTT I3で は， 今 後 もOpenStackを活用したクラウドサービスの研究開発を通じて，利用者のユースケースに応じた質の高いサービスの実現を目指します．

◆問い合わせ先NTTソフトウェアイノベーションセンタ 第三推進プロジェクトTEL 0422-59-2207FAX 0422-59-2072E-mail　sic lab.ntt.co.jp