wakametech #2

WakameTech #2「これまで」と「これから」

株式会社あくしゅ山崎泰宏

axsh co., LTD.

[email protected]

2010/11/3 1Copyright (C) axsh co., LTD.

Wakameとは？

• IaaS/PaaSのレヤを担うクラウドコンピューテゖングのための基本的ソフトウェゕの総称– Wakame-fuel

• 2009/4/22にリリースされたOSS

• システムの動的な構成管理を主目的としたもの– オートスケールを実現！– サーバルームでの手作業を全て自動化！

– Wakame-vdc• 2010/4/17にリリースされたOSS

• IaaSそのものを作り出せるようにコンピューテゖングリソースを管理するもの


Wakame-fuel


Wakame-fuel

• Amazon EC2で動く分散手順実行エンジン

– Ruby

– AMQP (RabbitMQ)

• Amazon EC2のWeb APIを組み込むことでサーバの調達が機械的に可能となった

• オートスケールの実現


Rails(mod_passenger)用のマシンを10台にしたい時

# wakameadm propagate_service ¥Apache_APP 10

コマンド１行で、後は見ているだけでOKです。


MySQL(Slave)用のマシンを5台にしたい時

# wakameadm propagate_service ¥MySQL_Slave 5

MasterからReplicationが始まります。


Amazon EC2上でシステムが自動的に増強される流れ

ロードバランサ

Webサーバ

DBサーバ

初期状態


Webサーバ

DBサーバ

(1) マシン準備


Webサーバ

DBサーバ

Webサーバ

(2) サービス起動


Webサーバ

DBサーバ

Webサーバ

(3) 設定

Wakameは、これらを数分で完了させます


サーバを自動調達・増設する原理


Storage

Machine

Image

File

図の説明

Master

Agent

Server + Xen Others(Web+DB+

etc.)

Server + XenServer + Xen

Web API

Amazon

S3

Amazon

Machine

Image

Amazon EC2


Storage

Machine

Image

File

Wakame-fuelの原理(1/7)

Master

Agent


etc.)


Web APIマシン起動

Wakame


Storage

Machine

Image

File


Master

Agent


etc.)


Web API

Machine

Image

File

Master

Agent

Others(Web+DB+

etc.)


Storage

Machine

Image

File


Master

Agent


etc.)


Web API

Machine

Image

File

Master

Agent

Others(Web+DB+

etc.)

サービス起動指示

サービス起動


Storage

Machine

Image

File


Master

Agent


etc.)


Web API

Machine

Image

File

Master

Agent

Others(Web+DB+

etc.)

スケールゕウト計画の指示


Storage

Machine

Image

File


Master

Agent


etc.)


Web API

Machine

Image

File

Master

Agent

Others(Web+DB+

etc.)

マシン起動


Storage

Machine

Image

File


Master

Agent


etc.)


Web API

Machine

Image

File

Master

Agent

Others(Web+DB+

etc.)

Machine

Image

File

Master

Agent

Others(Web+DB+

etc.)


Storage

Machine

Image

File


Master

Agent


etc.)


Web API

Machine

Image

File

Master

Agent

Others(Web+DB+

etc.)

Machine

Image

File

Master

Agent

Others(Web+DB+

etc.)

サービス起動指示

サービス起動

勝手に増えた！


Wakame-vdc


Wakame-vdc

• データセンタ内部のサーバ調達周りをコントロールするためのOSS

– IaaSを実現する

• 結局手順を自動実行するところは変わらないので、Wakame-fuelを再利用

– Ruby

– AMQP (RabbitMQ)


Wakame-fuelの構成図

ンスタンス

Wakame

Master

Wakame

Agent

Products

ンスタンス

Wakame

Agent

Products

ンスタンス

Wakame

Agent

Products

手順を実行する

設定を変更する

設定どおり機能する


ハパーバザ(Xen)

Wakameをハパーバザ層で活用してみる

ンスタンス

Wakame

Master

Wakame

Agent

Products

ンスタンス

Wakame

Agent

Products

ンスタンス

Wakame

Agent

Products

ンスタンスが機能する

Wakame

Agent

ンスタンスをコントロールする

Wakame

Master

手順を実行する


Web APIサーバを設置する

• Web APIを受け付けるだけでなく、データセンタ全体のマネジメントも行う

– Data Center Manager (DCM)

– Web APIサーバはある程度のスケールゕウトをするようにしておきたい


最終的な構成図

Data Center Manager

GUI ServerWeb API

Proxy

Web API

User Agent

Hyper Visor

Controller(Wakame-master)

Hyper Visor

Agent(Wakame-agent)

Hyper Visor

Application

Controller(Wakame-master)

Application

Agent(Wakame-agent)

Application

HVC

HVA

クラゕント層

権限管理層

リソース管理層

サーバ層


後はラックにサーバ追加するだけにしたい

Web API

Web API Proxy

GUI Server

対外サービス系ラック

HVA+Xen

HVA+Xen

HVA+Xen

HVC

リソース系ラック

HVA+Xen

HVA+Xen

HVA+Xen

HVC

リソース系ラック

Shared Storage

ストレージ系ラック


Wakameの狙いと今後


電子回路としてのハードウェゕ

Hardware Software

CPU


ネットワークとしてのハードウェゕ

Network Hardware Network Software


“The Datacenter as a Computer”


IaaS型クラウドに対するOS相当のソフトウェゕが必要

ハードウェアリソースをマネジメントするOS

• Processes/Threads

• Memory Allocation

• File I/Os

データセンタリソースをマネジメントするOS

• Servers

• Key-Value Stores

• Storage Provisioning

アプリケーションはOSを通じて

これらを自由に要求できる

Cluster Level Infrastructure


本当にWakameはOSに成れるのか？

このままではダメだ


× 構成を維持する仕組み

Load

Balancer

Load

Balancer

Static

MySQL

Slave

Passenger

MySQL

Master

構成は意外と変化する

もともと下記事項を解決するために考えられたもの

1. 起動・終了などの手順を組み立てる

2. 設定フゔルの更新を伝搬させる


× マスターが頑張る

マスターが押さえている情報は机上の空論。事件は現場で起こっている。

Master

Agent 1

Agent 2

Agent 3

あれ？Agent 2と3から応答が無い…？サーバ落ちた！

過負荷でpingすら打てない！


Batch ClusterWeb Cluster

× Batch系書きづらい

起動してすぐ終了するものが、部分クラスタとなる仕組み。

Load

Balancer

Load

Balancer

Static

MySQL

Slave

Passenger

MySQL

Master

Batch Batch Batch

ひとつのグラフでつじつま合わせるのが大変


ダメなところ - まとめ

• 統一的なグラフは書きづらい

– 目的ごとに違うグラフになる

– グラフはしばしば変更される

• マスターの記憶と実際が食い違う

– 現場のAgentに解決してほしいことばかり

• Batch等、ライフサイクルの独立した複数のアプリケーションを扱いづらい


Wakameを作り直すCluster Level Infrastructure Operating System


設計方針：Kernelを参考にする

Kernel

Process

Network

Kernel

Network

ProcessMS Office Web System

Windows Wakame


基本的にProcessは互いに影響しない

Notepad

影響させようとしない限り

Calc

Windows


基本Kernelとのみ対話する

Process libc Kernel

System

Call

Network

Processlibwakame

Network

Kernel

System

Call

require

link


シグナルの仕組みはメッセージングとして設計する

Kernel

Process

Process

signal

signal relay

handling

Network

Kernel

Network

Process

Network

Process

message

message relay

handling

message ⊇ {signal, system call, trigger, event, ...}


興味のあるメッセージに自ら反応するだけの仕組みにする

Network

Kernel

Agent

Agent

“DB started”

“DB started”

DB

Application

Serverstart

started?

事実のみ流す

勝手に連動する


AMQPによるネットワーク分離

Network

Kernel

Network

Process

Network

Process

message

message relay

handling

Event

Machine

Event

Machine

AMQP


この仕組みならば課題は解決できそう

• 構成はグラフから導かない– ベントに興味があるか無いかだけ– 自分以外はどうでも良いモデルなので、変更に強い

– upstartに似ている

• マスターは必要無い– Agentがメッセージングしながら動けば良い– 厳密には最初のメッセージを流すために、マスターらしきものは必要

• ラフサクルが独立したゕプリを複数起動しても干渉しない


Process v.s. Network Process

CPU

Process

CPU

CPUCPU CPUCPU

÷ｎ＝

CPU CPU CPU CPU×ｎ＝

Network Process Server


Network Processは高コストだが…

• ンスタンスの起動はどんどん速くなる…はず！

– CPUリソースの強化が進む

– マシンメージの転送高速化が進む

– ブート高速化が進む

• かつてはfork(2)も高コストで遅すぎると言われた時期がありました。


その他のリソース

• OSとしての役割はCPUリソースのみではない

• Wakameは今後下記も対象としていきたい

– メモリ

– ストレージ

– ネットワーク


将来的な展望

• ンストールパッケージの概念

– apt-get install gmail

• デゖストリビューションの概念

– What is the next Ubuntu?

今で言うSaaSとはまた違うSoftwareのあり方では？


The Datacenter

as a Computerコンピュータとしてのデータセンタを作りたい


axsh co., LTD.


wakametech #2

Technology