cloudstack hyderabad meetup: migrating applications to iaas clouds

US:            +1  408  556  9645              India:    +91  20  661  43  400            

Web:      h8p://www.clogeny.com    

Email:    contact@clogeny.com  

         InnovaGon  →  ExecuGon  →  SoluGon  →  Delivered  

MigraGng  ApplicaGons  to  IaaS  Clouds  -­‐  Chirag  Jog  

Cloud Computing

Datacenter  Management  

Enterprise  Applica2ons  DevOps  

Public,  Private,  PaaS,  SaaS  

Clogeny  ConfidenGal  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

About  me  

Chirag  Jog  •  Co-­‐founder  and  CTO,  Clogeny  Technologies    •  Experience  in  building  some  cuYng  edge  products  in  the  cloud.    •  Extensive  experGse  across  IaaS,  PaaS  &  SaaS  –  20+  cloud  pla]orms  •  Deep  experGse  in  Apache  Cloudstack  Pla]orm  

•  Several  deployments  for  marquee  customers    

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

Agenda  

"   IdenGfying  the  Candidates  for  the  Cloud  

"   Choosing  the  right  IaaS  cloud    

"  MigraGon  strategy    

"   Case  Studies  

"   Conclusion  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

IdenGfying  the  Candidates  

"   Does  you  applicaGon  have  varying  degree  of  demands?  •  Need  more  horsepower  at  specific  Gmes/seasons  

"   Do  you  expect  your  compute,  storage  and  network  requirements  to  grow  over  Gme?  •  Avoid  upfront  costs.  •  Scale-­‐up  when  required.  

"   Is  your  tesGng  and  QA  acGvity  restricted  to  the  hardware  you  can  afford?  •  Provision  addiGonal  hardware  only  during  QA/release  cycle  

"   Support,  Licensing  costs  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

Criteria  to  choose  the  right  IaaS  Cloud    

"   Service  Level  Agreements  (SLAs)  "   ElasGcity  for  Compute  and  Storage  resources  "   Networking  and  Security  features/services  "   Virtual  Machines  and  Data  Backups  and  Restores  "   Availability  Regions  and  Zones  "   DevOps,  AutomaGon  "  Monitoring  "   Image  Management  "   AddiGonal  services  –  Database  as  a  service,  Object  storage,  load  balancers  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

Public  and  Private  Cloud  Providers  

"   Leaders  •  Amazon  Web  Services,  Terremark,  Savvis  

"   Challengers  •  Bluelock,  Gogrid,  Joyent  

" Cloudstack-­‐based  •  Ninefold,  TATA  Instacompute,  Instance.com  

"   Private  Clouds  •  Cloudstack,  Eucalyptus,  VMWare  vCloud  Director  and  Openstack  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

MigraGon  Strategy  

Cluster  &  Performance  Analysis  

Cloud  Asset  Setup  

Production  Monitoring  &  Automation

Cloud  Architecture

Deployment  Planning

Review   current   and  f u t u r e   b u s i n e s s  r e qu i r emen t s   a nd  develop   relevant   plans  for   cloud   adoption  including   choice   of  c l oud   v endo r   and  platform

Arrive   at   the   right  topology   that   suits  customer   needs,   plan  s t o r a g e ,   s e c u r i t y ,  production   automation,  user   monitoring   tools  for  analysis  of   resource  usage

P e r f o r m a n c e  engineering,   clustering,  l o a d   b a l a n c i n g ,  sha rd ing ,   c a ch ing ,  managing  networks  and  storage  performance  

Create   the   components  and   con>igurations   for  y o u r   c l o u d   a s s e t s  i n c l u d i n g   i m a g e s ,  scripts ,   automation,  m o n i t o r i n g   a n d  managemen t   t oo l s .  Con>igure   HA   &   auto-­‐scaling  

Standard   and   custom  built   reports,   metrics  and   parameters   on  resource   utilization  and   demand   patterns  plus   load   balancer   for  your   services   on   the  cloud

Investigation  &  Replication  Phase

Automation  &  Optimization  

Phase Final  Setup  Phase

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

Re-­‐architecGng  for  the  cloud  

"   Scalability:  Horizontal,  VerGcal,  Geographical  "   Loose  Coupling  "  Monitoring  and  Logging  "   Automate  and  operaGonalize  as  much  as  possible  "   Design  for  Failure    

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

A  case-­‐study:  Social  commerce  pla]orm  

The  customer  :  US-­‐based  VC-­‐funded  startup  in  the  social  commerce  and  social  shopping  recommendaGon  space.  

Challenges:  

"   Hosted  on  non-­‐ElasGc  infrastructure  –  shared  hosGng  

"   3rd  party  plugin  in  criGcal  path  –  Highly  Available  

"   30-­‐40x  increase  in  traffic  during  holiday  season  –  ability  to  scale-­‐up/down  based  on  load  

"   AutomaGon  and  ease-­‐of-­‐use  

"   Reduce  TCO  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

10  

User  Interface  

Redis  Server  

•   Mobile  Apps    • Tablet  Apps    • Desktop  Browser  

AnalyGcs  Server  

Celery  Worker  

Schedule  workers  to  perform  tasks  

Feed  User  Behavior  to  Analy;cs  server  

Serve  Sta;c  Content    through  a  separate  server  

Store    all  vendor,  

customer  and  behavioral  data  in  

MongoDB    

Nginx    FrontEnd  Webserver  

Local  Redis  Cache  

Pylons  Web  framework  

RabbitMQ  Message  Broker  

MongoDB      

Redis  Node    

Tornado  WebServer  

StaAc  Content  Javascript/CSS  

Apache  Webserver  

FaceBook    Integra;on  

Exis;ng  Infrastructure        

3rd    Party  Monitoring  (Server  Density)  

A  case-­‐study:  Social  e-­‐commerce  pla]orm  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

MigraGon  Steps  –  InvesGgaGon  Phase  

•  Understanding  the  exisGng  architecture.  •  IdenGfy  horizontal  scalable  components.  •  UGlize  Cloudstack’s  features  most  effecGvely.  •  Right-­‐sizing  of  the  servers:  

§ Web  servers  :  Mostly  request  forwarders  § Celery  workers:  CPU  Intensive  § Datastores  :  Memory  and  CPU  Intensive  

•  Storage  configuraGon  for  Volumes:  § RAID  configuraGon  §  Filesystem  type  § No.  of  volumes  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

MigraGon  Steps  –  ReplicaGon  Phase  

"   Setup  the  servers  and  Volumes  as  per  invesGgaGon  "   Setup  the  webserver  and  workers    "   Database  replicaGon  

•  MongoDB  node  set  up  as  slaves  in  replicaGon  mode.  •  Redis  node  are  set  up  as  slaves  in  master-­‐slave  mode.  •  Ensures  all  the  data  –  exisGng  and  live  data  is  replicated  automaGcally.  

"   FuncGonal  and  IntegraGon  tesGng  to  ensure  the  applicaGon  works  as-­‐is  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

MigraGon  Steps  –  OpGmizaGon  Phase  

"   Database  Layer  •  Convert  MongoDB  from  single-­‐node  to  mulG-­‐node  replica-­‐set  for  equal  load  distribuGon  

•  Built-­‐in  facility  for  fail-­‐over  •  Setup  Redis  as  a  master-­‐slave  with  manual  failover  

"   ApplicaGon  Server  Layer  •  Move  all  the  resources  –  message  broker  (RabbitMQ)  and  workers  (Celery)  to  separate  nodes.  

•  Ability  to  scale  to  the  workers  (Celery)  based  on  load  "  Web  Server  

•  Single  point  of  failure  •  Leverage  Cloudstack’s  Load  Balancer  capabiliGes    

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

MigraGon  Steps  –  OpGmizaGon  Phase  

"  Monitoring  and  Alerts:  •  Ability  to  monitor  all  the  components    •  track  a  variety  of  metrics  to  pro-­‐acGvely  idenGfy  issues  in  producGon  setup  

•  Automated  Email/SMS  alerts  or  Mobile  Apps  for  noGficaGons  

•  SoluGons  :  Nagios,  Hyperic,  Cloudkick,  Server  Density  •  Metrics  to  be  tracked  :  

§ process  availability  §  server  availability  §  free/used  disk  space  §  free/used  memory  §  free/used  swap  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

MigraGon  Steps  –  AutomaGon  Phase  

"   Servers:  Automated  Provisioning,  ConfiguraGon  and  Backup.  

"   Data-­‐stores  :  Automated  backups  with  scheduling  

"   Self-­‐managing  Virtual  Machines  

"   Tools:  Chef,  Puppet,  CfEngine,  Fabric    

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

AutomaGon  scripts  

"   Provision  all  the  type  of  servers,  configure  appropriate  services  and  storage  

"   Setup  a  instance  by  pulling  the  latest  code  "   For  Webservers,  the  tool  configures  the  instance  and  a8aches  it  to  an  Load  Balancer    

"   For  MongoDB/Redis:  automaGcally  join  the  cluster  or  create  a  new  one.  

"   Data  Backups:  •  Automate  the  backups  of  the  data  stores  arer  quiescing  the  datastore.  

•  Runs  arer  a  configurable  period  of  Gme.  •   Manage  exisGng  snapshots  and  delete  really  old  snapshots    

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

17  

User  Interface  

Master  –Slave  Mode  

Worker  Role  

Redis  Server  

•   Mobile  Apps    • Tablet  Apps    • Desktop    

AnalyGcs  Server  

MapReduce  

Worker  

Celery  Workers  

Schedule  workers  to  

perform  tasks  

Feed  User  Behavior  to  Analy;cs  server  

Serve  Sta;c  Content    through  a  separate  server  

Nginx    FrontEnd  Webserver  

Local  Redis  Cache  

Pylons  Web  framework  

RabbitMQ  Message  Broker  

MongoDB  Replica  Set  Mode      

Redis  Cluster  

Tornado  WebServer  

StaAc  Content  Javascript/CSS  

Apache  Webserver  

FaceBook    IntegraGon  

Store  User  feeds    

Regular  backups  of  Volumes  using  snapshots  

Cloudstack-­‐based  Infrastructure        

Load  Balancer  

Load  Balancer  

Monitoring  &  Alerts  

Send  Emails  (for  Alerts)  

Cloud-­‐based  Setup    

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

A  case-­‐study:  VMWare  to  Cloudstack  MigraGon  

"   The  customer  is  a  leading  managed  soluGon  provider  in  North  America.  

"  Challenges:  •  Migrate  100+  VMware  based  VMs  to  Citrix  CloudPla]orm  3.0.5  

•  Design  and  develop  a  workflow  to  scan  exisGng  VMWare  vSphere  inventory,  create  images(OVAs)  and  import  into  Cloudstack  as  per  accounts.  

•  MulG-­‐volume  OVA  import  into  Cloudstack  •  Restoring  the  associaGon  between  public  IP  address  &  Virtual  Machines  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

A  case-­‐study:  VMWare  to  Cloudstack  MigraGon  

"  Key  Features:  •  Developed  a  inventory  scan  engine  using  vSphere  SOAP  APIs    to  generate  a  spec  of  the  complex  hierarchies  of  datacenters,  folders,  hosts  and  clusters.  

•  Developed  a  mulG-­‐step  workflow  to:  §   scan  a  virtual  machine  hardware  configuraGon  and  disk  layout  §   generate  a  snapshot  (VMDK)  of  the  virtual  machine  §   extract  per-­‐volumes  OVAs  as  per  Cloudstack’s  expectaGons  from  the  snapshot.  

•  Leverage  Cloudstack’s  Lazy  Assignment  of  IP  Addresses  to  allocate  a  specific  IP  address  for  an  account.*    

*Don’t  try  this  at  home.  We  modified  the  Cloudstack  database  directly  

h8p://www.clogeny.com    ©  2012  Clogeny  Technologies  

Thanks  !  

Contact:  chirag@clogeny.com