wakame project - 自作クラウド研究会
DESCRIPTION
Wakame ProjectTRANSCRIPT
Wakame Software Foundation
株式会社あくしゅ
やまざき
1
前職:某大手SIer
2007年起業:株式会社あくしゅ 昔から一緒にプロジェクトをやっていたメンバと共に
「分散・協調」をテーマにしたテクノロジ中心の会社
クラウドコンピューテゖング向けの製品開発に注力
2
ぜひご購入下さい!
3
1999年 Virtual Sound Horror House
4
1999年 Virtual Sound Horror House
5
6
メディアアート作品の出展 コンテンツ
7
クラウドコンピューティングに必要なソフトウェア群
8
目的日本から世界に向けて
クラウドコンピューテゖングを技術的に支援すること
手段クラウドコンピューテゖングに必要な
ソフトウェゕをオープンソースとして開発、リリースを行うApache License 2.0で公開します
今のところ全てRubyで書いています
9
Wakame Software Foundation
ノウハウ
自分のプロジェクトWakame Project
Software
Software
SoftwareSoftware
Software
Wakame Projectで開発されるソフトウェゕを組み合わせて、自分のプロジェクトに適用することができます。
フィードバック10
世界中のデータセンターを1つのコンピュータにする
11
ひとつのコンピュータなら…
ソフトウェゕも書きやすい
メンテナンスもやりやすい
システム開発者は本業に集中していただきたい
ンフラが彼らをケゕできる仕掛けを組み込んでいきたい
12
ひとつのコンピュータにこだわって行きたい
13
Hardware Software
14
Network Hardware Network Software
Cloud
Infrastructure
Platform
Application
Hardware
Operating System
Application
Single PC
15
SoftwareNetworked
Software
Infrastructure
Platform
Application
Cloud
Wakame-fuel
Wakame-os
Wakame-vdc
Wakame Project
16
Wakame-vdc
Wakame-os
Wakame-fuel
Cloud
迅速で安全なサーバの準備をするクラウド基盤
複数のクラウド基盤を横断的に適宜利用する
クラウド基盤上で動くアプリのオートスケールなど動的管理する
17
対象となるユーザ様 データセンター事業者様
サーバを複数台管理なさっているお客様
導入で期待できる効果 運用効率化
ダウンサジング
新しいサービスの創成
2010/12/24(金)に最新版をリリースしました Wakame-vdc
Wakame-os
Wakame-fuel
Cloud
18
機能 KVMに対応
今後主要なHyper Visorに順次対応していきます現在LXC対応を進めています
iSCSIによるブロックストレージに対応ンスタンスのブートもここから可能です
ンスタンス間の通信制御(セキュリテゖグループ)に対応
GUIを標準装備 共有リソースと専有リソースの区分に対応
お客様によってご指定のンスタンス、ストレージ、ネットワークを任意に組み込むための機能
19
http://wakame.jp
20
Data
Center
Manager
(DCMGR)
Queue
(AMQP)
Hyper
Visor
Agent
(HVA)
Storage
Target
Agent
(STA)
Naming
Service
Agent
(NSA)
DHCP
DNS
VM
iSCSI
ZFS
DCMGR
Web API
GUI
Server
(Web UI)
Browser
html/JSON
User
DCMGRCollector
ssh
IP
hostname
Instance
Block
Device
21
Instance
ブート方法は下記する二種類
Block Storage (ZFS)に格納されているSnapshotをVolumeに戻してKVMに接続して起動する
Amazon EC2のEBSに近い仕組みで高速
file://や、http://で取得可能なマシンメージを、ハパーバザから見えるデゖスクにコピーして起動する事も可能
Block Storageを用意できない環境向けにNFSと組み合わせることを想定している
Volume
Instanceへの追加デゖスクとしてAttach/Detachも可能
Snapshotは任意のタミングで取れる
VMのHA
Instanceの起動状況を監視し、落ちたら再度起動する仕組み
メモリは揮発してしまうが、マシンメージが残っているので、そこから復帰を試みるもの
22
AWS同様の記述が可能
NetFilterで実現する
ebtables, iptablesに翻訳して、各HVAで実行する
Security Groupの実現にVLANは利用しない
故にVLANを他の目的に使うことができる
Hyper Visor – KVM (Linux)
Instance
(VM)Hyper
Visor
Agent
NetFilter
Fire
Wall
Instance
(VM)
Fire
Wall
NIC
configure FWs
VNIC VNIC
control VMs
23
データセンター
企業A VPN 企業Aのリソース
企業B VPN 企業Bのリソース
企業C VPN 企業Cのリソース
VLAN-A
Wakame-vdcVLAN-B
VLAN-C
下記するようなデータセンターでの利用も想定しているため、ゕカウントごとにタグVLANを割り当てた異なるIPプールを持つ事ができる。
10.*.*.*
172.16.*.*
192.168.*.*
24
VLAN-AVLAN-B
VLAN-C
全機能をお試しいただく最小構成で、Linux(Ubuntu)とOpenSolarisが必要
OpenSolarisはZFSのストレージサーバとして利用する
ブロックデバスからのブートが必要なければ、Linuxマシン1台で済む
上記以外は全てLinuxで動作する http://wakame.jp/manual/wakame-vdc/10.11/installation.html
25
26
KVMサーバ
Storageサーバ
ゴキンジャム
LXC対応
検証環境の一部をAWSへ持って行きたい
Cloud on Cloudの実験中
NAT対応
固定グローバルIPを割り振りたい
Gatewayルータにする
実績を出す
実運用に向けて動き出す予定
27
自分たちで書いたコードが全て
頭のてっぺんから足の先まで
開発者の顔が見えること
カスタマズ自由自在
中身が分かっているので着手も早い
28
とても簡単に実現できます 「Web APIの翻訳」ができさえすれば良い
なぜ「正式」にはサポートしないのか 「互換する」と謳っているプロダクトも
実際のところは100%互換ではない所詮サブセットが互換する状態
Web APIを一緒にすると、実装上の振る舞いも一緒になってしまうのは大きな制約であるから
AWSが答えではないから運用してゆけば同じ仕組みで良いとはならないのでは
29
対象となるユーザ様ゕプリケーションの運用者及び開発者様
導入で期待できる効果ハブリッドクラウドによる
iDCの目的別・効率的利用
2010/08/31(金)にテクノロジプレビュー版をリリース
Wakame-vdc
Wakame-os
Wakame-fuel
Cloud
30
require ‘wakame’
aws_process = Wakame::Process.setup(:spec_name => ‘aws-us-east-1’)local_process = Wakame::Process.setup(:spec_name => ‘local’)
queue = Wakame::Queue.setup
aws_process.fork(queue) { |queue|# heavy process…queue.push(‘aws_process done!’)
}
local_process.fork(queue) { |queue|# light process…queue.push(‘local_process done!’)
}
puts queue.pop #=>‘local_process done!’puts queue.pop #=>‘aws_process done!’
AW
S In
stance
Your P
C
This sc
ript
local_
pro
cess
aw
s_pro
cess
fork fork
queuequeue
31PIの計算くらいだったらこれで十分です。
#include<wakame>
aws_process = create_wakame_process();aws_process->setSpecName(“aws-us-east-1”);
queue = create_wakame_queue();
if( aws_process->fork()==0 ){/* heavy process… */queue->push(“aws_process done!”);exit(0);
}
printf(“%s¥n”, queue->pop()); /* aws_process done! */
こんなコードがかけるようにします。
32
33
$ my_daemon &[1] 28289$ move %1 aws-us-east-1$ ps
PID TTY TIME CMD28243 pts/0 00:00:00 bash_cloud28265 pts/0 00:00:00 ps28289 pts/0 00:00:00 my_daemon
AW
S In
stance
Your P
C
bash
_clo
ud
ps
my_daem
on
exec exec
Wakame-os
Wakame-fuel
Cloud
Wakame-vdc(オンプレミス/オンデマンド)
開発したアプリケーション
AWS(オンデマンド)
34
AWS(オンデマンド)
Wakame-os
Wakame-fuel
Cloud
Wakame-vdc(オンプレミス/オンデマンド)
開発したアプリケーション
35
対象となるユーザ様ゕプリケーションの運用者及び開発者様
導入で期待できる効果ゕプリケーションの起動管理
オートスケールなどの対応
2009/04/22に初版リリース今後はWakame-osへの対応を
予定しています
現在リフゔクタ中Wakame-vdc
Wakame-os
Wakame-fuel
Cloud
36
東芝様のフゔームウェゕ配信に使われている (from 日経SYSTEMS)
http://itpro.nikkeibp.co.jp/article/NEWS/20100226/345120/
某広告集配信サービス
ユーザ単位に配信すべき広告をバッチ処理
Queue(Amazon SQS)からpopしてひたすら処理するので、CPU負荷は一定のまま
Queueにある程度溜まり始めたら増やしたい
37
More…
Simple
High Scale
High Redundancy
来年度春にはリリースします
38
IZUMO(仮称)
クリエーションラン株式会社
分散オブジェクトストゕ
File Systemを志向しており、コンテンツ共有(Deploy)や、DBのためのShared Diskとしても活用できる
Wakame Project内におけるS3相当の位置付け
39
Wakame Software Foundation US
Distributed Computing Systems, LLC. (米国)
某大学でコミュニテゖ構築中
Cloud in a Box Projectを共同で開始
DCS社のコゕコンピタンスはボリュームストレージのソリューション
Wakame-vdcとボリュームストレージの標準ゕプラゕンス構築を目指しています
40
会員様(敬称略50音順) 大学法人会津大学 株式会社ンフゖニテゖ カゴヤ・ジャパン株式会社 一般社団法人クラウド利用促進機構(CUPA)
クリエーションラン株式会社 株式会社クレスソフト Distributed Computing Systems, LLC. (米国)
株式会社デザニウム 株式会社ピコ・ナレッジ フォースクーナ株式会社 株式会社あくしゅ
個人会員様11名
41
42
Wakame Software Foundationにご参加いただいている方々は、これからのクラウドコンピューテゖングの未来を変える人々です。
お気軽にお問い合わせください
43