wakame project - 自作クラウド研究会

43
Wakame Software Foundation 株式会社あくしゅ やまざき 1

Upload: axsh-co-ltd

Post on 10-Jun-2015

3.514 views

Category:

Technology


1 download

DESCRIPTION

Wakame Project

TRANSCRIPT

Page 1: Wakame Project - 自作クラウド研究会

Wakame Software Foundation

株式会社あくしゅ

やまざき

1

Page 2: Wakame Project - 自作クラウド研究会

前職:某大手SIer

2007年起業:株式会社あくしゅ 昔から一緒にプロジェクトをやっていたメンバと共に

「分散・協調」をテーマにしたテクノロジ中心の会社

クラウドコンピューテゖング向けの製品開発に注力

2

ぜひご購入下さい!

Page 3: Wakame Project - 自作クラウド研究会

3

Page 4: Wakame Project - 自作クラウド研究会

1999年 Virtual Sound Horror House

4

Page 5: Wakame Project - 自作クラウド研究会

1999年 Virtual Sound Horror House

5

Page 6: Wakame Project - 自作クラウド研究会

6

メディアアート作品の出展 コンテンツ

Page 7: Wakame Project - 自作クラウド研究会

7

Page 8: Wakame Project - 自作クラウド研究会

クラウドコンピューティングに必要なソフトウェア群

8

Page 9: Wakame Project - 自作クラウド研究会

目的日本から世界に向けて

クラウドコンピューテゖングを技術的に支援すること

手段クラウドコンピューテゖングに必要な

ソフトウェゕをオープンソースとして開発、リリースを行うApache License 2.0で公開します

今のところ全てRubyで書いています

9

Page 10: Wakame Project - 自作クラウド研究会

Wakame Software Foundation

ノウハウ

自分のプロジェクトWakame Project

Software

Software

SoftwareSoftware

Software

Wakame Projectで開発されるソフトウェゕを組み合わせて、自分のプロジェクトに適用することができます。

フィードバック10

Page 11: Wakame Project - 自作クラウド研究会

世界中のデータセンターを1つのコンピュータにする

11

Page 12: Wakame Project - 自作クラウド研究会

ひとつのコンピュータなら…

ソフトウェゕも書きやすい

メンテナンスもやりやすい

システム開発者は本業に集中していただきたい

ンフラが彼らをケゕできる仕掛けを組み込んでいきたい

12

ひとつのコンピュータにこだわって行きたい

Page 13: Wakame Project - 自作クラウド研究会

13

Hardware Software

Page 14: Wakame Project - 自作クラウド研究会

14

Network Hardware Network Software

Page 15: Wakame Project - 自作クラウド研究会

Cloud

Infrastructure

Platform

Application

Hardware

Operating System

Application

Single PC

15

SoftwareNetworked

Software

Page 16: Wakame Project - 自作クラウド研究会

Infrastructure

Platform

Application

Cloud

Wakame-fuel

Wakame-os

Wakame-vdc

Wakame Project

16

Page 17: Wakame Project - 自作クラウド研究会

Wakame-vdc

Wakame-os

Wakame-fuel

Cloud

迅速で安全なサーバの準備をするクラウド基盤

複数のクラウド基盤を横断的に適宜利用する

クラウド基盤上で動くアプリのオートスケールなど動的管理する

17

Page 18: Wakame Project - 自作クラウド研究会

対象となるユーザ様 データセンター事業者様

サーバを複数台管理なさっているお客様

導入で期待できる効果 運用効率化

ダウンサジング

新しいサービスの創成

2010/12/24(金)に最新版をリリースしました Wakame-vdc

Wakame-os

Wakame-fuel

Cloud

18

Page 19: Wakame Project - 自作クラウド研究会

機能 KVMに対応

今後主要なHyper Visorに順次対応していきます現在LXC対応を進めています

iSCSIによるブロックストレージに対応ンスタンスのブートもここから可能です

ンスタンス間の通信制御(セキュリテゖグループ)に対応

GUIを標準装備 共有リソースと専有リソースの区分に対応

お客様によってご指定のンスタンス、ストレージ、ネットワークを任意に組み込むための機能

19

Page 20: Wakame Project - 自作クラウド研究会

http://wakame.jp

20

Page 21: Wakame Project - 自作クラウド研究会

Data

Center

Manager

(DCMGR)

Queue

(AMQP)

Hyper

Visor

Agent

(HVA)

Storage

Target

Agent

(STA)

Naming

Service

Agent

(NSA)

DHCP

DNS

VM

iSCSI

ZFS

DCMGR

Web API

GUI

Server

(Web UI)

Browser

html/JSON

User

DCMGRCollector

ssh

IP

hostname

Instance

Block

Device

21

Page 22: Wakame Project - 自作クラウド研究会

Instance

ブート方法は下記する二種類

Block Storage (ZFS)に格納されているSnapshotをVolumeに戻してKVMに接続して起動する

Amazon EC2のEBSに近い仕組みで高速

file://や、http://で取得可能なマシンメージを、ハパーバザから見えるデゖスクにコピーして起動する事も可能

Block Storageを用意できない環境向けにNFSと組み合わせることを想定している

Volume

Instanceへの追加デゖスクとしてAttach/Detachも可能

Snapshotは任意のタミングで取れる

VMのHA

Instanceの起動状況を監視し、落ちたら再度起動する仕組み

メモリは揮発してしまうが、マシンメージが残っているので、そこから復帰を試みるもの

22

Page 23: Wakame Project - 自作クラウド研究会

AWS同様の記述が可能

NetFilterで実現する

ebtables, iptablesに翻訳して、各HVAで実行する

Security Groupの実現にVLANは利用しない

故にVLANを他の目的に使うことができる

Hyper Visor – KVM (Linux)

Instance

(VM)Hyper

Visor

Agent

NetFilter

Fire

Wall

Instance

(VM)

Fire

Wall

NIC

configure FWs

VNIC VNIC

control VMs

23

Page 24: Wakame Project - 自作クラウド研究会

データセンター

企業A VPN 企業Aのリソース

企業B VPN 企業Bのリソース

企業C VPN 企業Cのリソース

VLAN-A

Wakame-vdcVLAN-B

VLAN-C

下記するようなデータセンターでの利用も想定しているため、ゕカウントごとにタグVLANを割り当てた異なるIPプールを持つ事ができる。

10.*.*.*

172.16.*.*

192.168.*.*

24

VLAN-AVLAN-B

VLAN-C

Page 25: Wakame Project - 自作クラウド研究会

全機能をお試しいただく最小構成で、Linux(Ubuntu)とOpenSolarisが必要

OpenSolarisはZFSのストレージサーバとして利用する

ブロックデバスからのブートが必要なければ、Linuxマシン1台で済む

上記以外は全てLinuxで動作する http://wakame.jp/manual/wakame-vdc/10.11/installation.html

25

Page 26: Wakame Project - 自作クラウド研究会

26

KVMサーバ

Storageサーバ

ゴキンジャム

Page 27: Wakame Project - 自作クラウド研究会

LXC対応

検証環境の一部をAWSへ持って行きたい

Cloud on Cloudの実験中

NAT対応

固定グローバルIPを割り振りたい

Gatewayルータにする

実績を出す

実運用に向けて動き出す予定

27

Page 28: Wakame Project - 自作クラウド研究会

自分たちで書いたコードが全て

頭のてっぺんから足の先まで

開発者の顔が見えること

カスタマズ自由自在

中身が分かっているので着手も早い

28

Page 29: Wakame Project - 自作クラウド研究会

とても簡単に実現できます 「Web APIの翻訳」ができさえすれば良い

なぜ「正式」にはサポートしないのか 「互換する」と謳っているプロダクトも

実際のところは100%互換ではない所詮サブセットが互換する状態

Web APIを一緒にすると、実装上の振る舞いも一緒になってしまうのは大きな制約であるから

AWSが答えではないから運用してゆけば同じ仕組みで良いとはならないのでは

29

Page 30: Wakame Project - 自作クラウド研究会

対象となるユーザ様ゕプリケーションの運用者及び開発者様

導入で期待できる効果ハブリッドクラウドによる

iDCの目的別・効率的利用

2010/08/31(金)にテクノロジプレビュー版をリリース

Wakame-vdc

Wakame-os

Wakame-fuel

Cloud

30

Page 31: Wakame Project - 自作クラウド研究会

require ‘wakame’

aws_process = Wakame::Process.setup(:spec_name => ‘aws-us-east-1’)local_process = Wakame::Process.setup(:spec_name => ‘local’)

queue = Wakame::Queue.setup

aws_process.fork(queue) { |queue|# heavy process…queue.push(‘aws_process done!’)

}

local_process.fork(queue) { |queue|# light process…queue.push(‘local_process done!’)

}

puts queue.pop #=>‘local_process done!’puts queue.pop #=>‘aws_process done!’

AW

S In

stance

Your P

C

This sc

ript

local_

pro

cess

aw

s_pro

cess

fork fork

queuequeue

31PIの計算くらいだったらこれで十分です。

Page 32: Wakame Project - 自作クラウド研究会

#include<wakame>

aws_process = create_wakame_process();aws_process->setSpecName(“aws-us-east-1”);

queue = create_wakame_queue();

if( aws_process->fork()==0 ){/* heavy process… */queue->push(“aws_process done!”);exit(0);

}

printf(“%s¥n”, queue->pop()); /* aws_process done! */

こんなコードがかけるようにします。

32

Page 33: Wakame Project - 自作クラウド研究会

33

$ my_daemon &[1] 28289$ move %1 aws-us-east-1$ ps

PID TTY TIME CMD28243 pts/0 00:00:00 bash_cloud28265 pts/0 00:00:00 ps28289 pts/0 00:00:00 my_daemon

AW

S In

stance

Your P

C

bash

_clo

ud

ps

my_daem

on

exec exec

Page 34: Wakame Project - 自作クラウド研究会

Wakame-os

Wakame-fuel

Cloud

Wakame-vdc(オンプレミス/オンデマンド)

開発したアプリケーション

AWS(オンデマンド)

34

Page 35: Wakame Project - 自作クラウド研究会

AWS(オンデマンド)

Wakame-os

Wakame-fuel

Cloud

Wakame-vdc(オンプレミス/オンデマンド)

開発したアプリケーション

35

Page 36: Wakame Project - 自作クラウド研究会

対象となるユーザ様ゕプリケーションの運用者及び開発者様

導入で期待できる効果ゕプリケーションの起動管理

オートスケールなどの対応

2009/04/22に初版リリース今後はWakame-osへの対応を

予定しています

現在リフゔクタ中Wakame-vdc

Wakame-os

Wakame-fuel

Cloud

36

Page 37: Wakame Project - 自作クラウド研究会

東芝様のフゔームウェゕ配信に使われている (from 日経SYSTEMS)

http://itpro.nikkeibp.co.jp/article/NEWS/20100226/345120/

某広告集配信サービス

ユーザ単位に配信すべき広告をバッチ処理

Queue(Amazon SQS)からpopしてひたすら処理するので、CPU負荷は一定のまま

Queueにある程度溜まり始めたら増やしたい

37

Page 38: Wakame Project - 自作クラウド研究会

More…

Simple

High Scale

High Redundancy

来年度春にはリリースします

38

Page 39: Wakame Project - 自作クラウド研究会

IZUMO(仮称)

クリエーションラン株式会社

分散オブジェクトストゕ

File Systemを志向しており、コンテンツ共有(Deploy)や、DBのためのShared Diskとしても活用できる

Wakame Project内におけるS3相当の位置付け

39

Page 40: Wakame Project - 自作クラウド研究会

Wakame Software Foundation US

Distributed Computing Systems, LLC. (米国)

某大学でコミュニテゖ構築中

Cloud in a Box Projectを共同で開始

DCS社のコゕコンピタンスはボリュームストレージのソリューション

Wakame-vdcとボリュームストレージの標準ゕプラゕンス構築を目指しています

40

Page 41: Wakame Project - 自作クラウド研究会

会員様(敬称略50音順) 大学法人会津大学 株式会社ンフゖニテゖ カゴヤ・ジャパン株式会社 一般社団法人クラウド利用促進機構(CUPA)

クリエーションラン株式会社 株式会社クレスソフト Distributed Computing Systems, LLC. (米国)

株式会社デザニウム 株式会社ピコ・ナレッジ フォースクーナ株式会社 株式会社あくしゅ

個人会員様11名

41

Page 42: Wakame Project - 自作クラウド研究会

42

Wakame Software Foundationにご参加いただいている方々は、これからのクラウドコンピューテゖングの未来を変える人々です。

お気軽にお問い合わせください

Page 43: Wakame Project - 自作クラウド研究会

43