the future of apache cloudstack

CloudStack  Future  

Sebas1en  Goasguen  VP  Apache  CloudStack  

@sebgoa  

Background  

•  Citrix  Senior  Open  Source  Architect  

•  VP  of  Apache  CloudStack  

•  PMC  of  Apache  libcloud  •  ASF  member  •  O’Reilly  author  of  the  CloudStack  and  Docker  cookbooks  

Lots  of  users  

Strong  Ecosystem  

2015  Community  Plan  

“House  cleaning”    

Engineering  Roadmap  

Cleaning  the  house  

h6p://s.apache.org/coS2    

•  Code  and  Infra  •  Ecosystem  •  Events  /  MarkeDng  •  DocumentaDon  •  Website  

Code  -­‐cleanup  

•  Remove  AWSAPI  (  ~1M  LOC)  •  IP  clearance  for  EC2stack  and  GCEstack  now  officially  Apache  CloudStack  subprojects  

•  Sta1c  analysis  and  focus  on  code  quality  but  removal  of  dead  code.  

Future  of  CloudStack  architecture  in  a  Docker,  Mesos,  Kubernetes  world  

Infrastructure  -­‐cleanup  

•  No  more  Review  Board  •  All  contribu1ons  come  as  GitHub  pull  request  •  Increased  1me  and  priori1es  on  Travis  •  More  and  faster  tes1ng  •  Simulator  automa1cally  packaged  as  Docker  image  

•  New  release  management  process  

Ecosystem  

•  CloudFoundry  deployment  •  Cleanly  publish  all  config  management  recipes  •  Get  CloudStack  Ansible  module  in  core  (e.g  2.0)  •  Expand  Go  client  for  be\er  support  in:  – Terraform  – Docker  machine  

•  Define  “stack”  catalog  to  easily  provision  Hadoop,  Storm,  Spark  clusters  

Events  

•  CloudStack  Days  – Aus1n  – Sao  Paulo  – Tokyo,  June  2  – Sea\le,  August  20th  

•  CloudStack  European  Conference  – Dublin  October  8th  –  9th  

Documenta1on  

Documenta1on  

•  New  theme  •  Cleanup  of  old  docs  •  Consolida1on  of  wiki  pages  •  Re-­‐think  the  doc  structure  •  Be\er  mul1-­‐language  support  •  All  git  based,  mirrored  on  Github  •  Automa1cally  built  with  Readthedocs.org  

Website  

•  Now  moved  to  Git  •  Mirrored  on  GitHub  and  accep1ng  pull  requests  

•  Using  middleman  instead  of  apache  CMS  

Need  an  actual  modern  Design  

Engineering  Roadmap  Proposal  

On-­‐Going  Roadmap  defini1on  

h6p://s.apache.org/l6O  

Upgrade  –  e.g  

•  Database  upgrade  tools  •  Schema  versioning  •  Agent  upgrades  •  SystemVM  upgrades  •  Rollback  •  Docs  uprade  

Logging  /  Metrics  –  e.g  

•  Be\er  error  handling  •  Log  processing  •  MDC  system  (logback)  •  Correla1on  of  resources  in  logs  

Storage  –e.g  

•  Improve  objet  storage  •  Fix  swig  interface  •  Remove  NFS  dependency  •  Shared  data  disk  •  Snapshots  on  SAN  •  Migrate  secondary  storage  

Networking  –  e.g  

•  IPv6  •  Network  ACLs  •  Improve  VR  •  API  to  VR  •  Extend  VPC  in  physical  nets  •  Reserved  CIDR  

UI,  API  –  e.g  

•  RBAC  •  2  Factor  auth  •  Annota1ons  •  SAML  plugin  •  SSH  key  management  in  UI  •  Billing  quota  

QA  –  e.g  

•  Be\er  tests  •  Test  environment  •  QA  •  Driver  cer1fica1on  •  Crowdsource  of  QA  •  Performance    

Next  

•  These  bug  fixes  and  feature  request  will  go  to  the  community  as  a  proposed  roadmap  

•  Par1cipa1ng  companies  have  already  commi\ed  to  solving  some  of  those  items  

Architecture  •  Need  for:  – Be\er  abstrac1ons  between  all  layers  – Contractualized  guarantees  between  these  layers  

•  To:  – Coordinated  access  to  resources  with  strong  guarantees  

– Opera1onal  integrity  – Higher  feature  velocity  – Easily  composable  and  configurable    

Architecture    -­‐e.g  •  Refactor  management  core  •  Refactor  API  server  •  Use  embedded  je\y  •  Use  a  YAML  based  config  like  cassandra  and  elas1csearch  

•  Persistence  Layer  – Remove  DAO    

There  is  a  proposal  for  first  steps  to  take  

Benefits  •  Simple  configura1on  and  Upgrade  •  Even  easier  installa1on  •  Clean  plugin  framework  •  Decoupling  of  the  code  to  help  development  •  Pluggable  implementa1ons  (e.g  database,  network)  

•  Abstrac1on  of  compute  (e.g  containers,  VMs)  •  Use  of  external  resource  allocators  (e.g  Mesos)  

A  note  on  Docker  

•  Let’s  package  CloudStack  as  containers  for  easy  deployment.  

•  CoreOS  templates  available  for  CloudStack  

•  Let’s  not  try  to  orchestrate  containers  

•  Instead  let’s  embrace  things  like  Kubernetes  and  maybe  learn  from  it  

Thank  you  …  Contribute,  Share  …  

 Sebas1en  Goasguen  

@sebgoa