การจัดการและติดตั้งระบบ hyper-converged...

การจัดการและติดตั้งระบบ Hyper-converged infrastructure ด้วย Open Source

วนัท่ี 20 กรกฎาคม 2561 เจตนนัต เจือจนัทร และ กาญจนา สุกปลัง่ส านกัคอมพิวเตอร มหาวิทยาลยับูรพา

การอบรมเชิงปฏิบติัการ (Workshop) WUNCA 37thระหวา่งวนัท่ี 18 – 20 กรกฎาคม 2561

ณ มหาวิทยาลยัราชภฏันครสวรรค จงัหวดันครสวรรค

Topic

•Introduction•Deploying Virtual Environment and Ceph Hyper-converged•Multi Node Virtual Environment and Ceph Hyper-converged•Additional Steps on the Hyper-converged deployment•Maintenance and Upgrading Resources•Troubleshooting

Introduction

•ระบบ Hyper-converged infrastructure แบบโอเพนซอร ส สามารถใช้งานทดแทนระบบแบบมี license ไดอ้ยา่งหมาะสม เพียงพอกบัการใช้งานใน Campus Network ได ้•HCI คือ การรวมเอา Server + Storage + Storage Network

Introduction

•ประโยชน ของ Hyper-converged infrastructure•มีประโยชน อยา่งยิง่ส าหรับการปรับใชง้านท่ีมีความตอ้งการโครงสร้างพ้ืนฐานระดบัท่ีสูงข้ึน แต่มีงบประมาณท่ีจ ากดั ส าหรับการใชง้านแบบ distributed ท่ีท างานบนสภาพแวดลอ้มส านกังานและสาขาระยะไกล หรือ ส าหรับ virtual private clouds และ public clouds

Introduction: Hyper-converged infrastructure ข้อดี• ความสามารถในการขยายตวั compute, network และ storage (เช่น ปรับขนาดเซิร ฟเวอร และพื้นท่ีจดัเกบ็ขอ้มูลไดร้วดเร็ว)

• Low cost: ตน้ทุนต ่า เป็นโอเพนซอร ส สามารถใชเ้ป็นโครงสร้าง compute/storage ได้• Data protection and efficiency: มีการรวมบริการต่าง เช่น การส ารองขอ้มูล การกูคื้น

Simplicity: ความเรียบง่าย การก าหนดค่าใชง้านและการบริหารแบบรวมศูนย • Open Source: มีความเป็นโอเพนซอร ส สามารถแกไ้ข ดดัแปลง source code ได้

Open source Hyper-Convergence

•Proxmox VE•Compute, network and storage in a single solution• https://pve.proxmox.com/wiki/Hyper-converged_Infrastructure

• oVirt• builds on the powerful kernel based virtual machine (KVM hypervisor)

and on the RHEV-M management server, released by Red Hat• https://www.ovirt.org/documentation/gluster-hyperconverged/Gluster_Hyperconverged_Guide/

Proxmox VE and Hyper-Convergence

•Proxmox VE เป็น virtualization ท่ีรวม compute, storage และ networking เขา้ไวด้ว้ยกนั มี high available clusters มี backup/restore ใชใ้นส าหรับการท า disaster recovery

• มีระบบการจดัการผา่น centralized web management interface Proxmox VE จึงเป็นโอเพนซอร สส าหรับจดัการ hyper-converged infrastructure

None Hyper-converged infrastructure

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

SAN NAS

DAS

Co

mp

ute

NetworkSto

rage

None Converged

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

SAN NAS

DAS

Co

mp

ute

NetworkSto

rage

None Converged

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

SAN NAS

DAS

Co

mp

ute

NetworkSto

rage

None Converged

Hyper-converged infrastructure

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

Virtual SAN

Virtual Network

Hyper Converged

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

Virtual SAN

Hyper Converged

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

Virtual SAN

Hyper Converged

Virtual Network Virtual Network

Hyper-Convergence

• Convergent infrastructure• Software defined network (Open vSwitch / Linux Bridge)• Software defined storage (Ceph)• Software defined server (KVM / LXC)

• All datacenter components are in one chassis.

Hyper-Convergence

Compute

Network

Storage

Proxmox VE(OVS/Linux Bridge,

Ceph, KVM/LXC)

Benefits of Hyper-Convergence

•Modern servers have plenty of power therefore hardware can be reduced•Cost reduction•More flexibility

Components• Proxmox Virtual Environment

• Management platform and high availability provider• KVM/Qemu

• Full virtualization solution for Linux• LXC

• Lightweight virtualization solution for Linux• Ceph

• Distributed software defined storage• Open vSwitch

• Software defined switch

Proxmox Virtual Environment (VE)

•Proxmox VE is a platform to run virtual machines and containers. It is based on Debian Linux, and completely open source. •Kernel-based Virtual Machine (KVM) •Container-based virtualization (LXC)

Proxmox Virtual Environment (VE)

Proxmox Virtual Environment (VE)

•Server virtualization management solution•Rest-API•Web-GUI and CLI•HA-Manager / Cluster-manager•User-management•Full integration and management of all components

KVM/QEMU

•Hardware emulation•Live migration•Storage-mirroring•Device pass-through

LXC

•Native host performance•Less virtualization overhead•Fast deployment•Linux emulation only

Ceph

•Self-healing / error-detection•Snapshots•Redundant•Online expandable / shrinkable pools•Offside backups (incremental)•Block-device / Object-store / File-system

Ceph Storage•Ceph Storage เป็น distributed storage ท่ีท างานบน computer cluster ประกอบไปดว้ย node 3 ประเภท คือ•Monitor ดูแลสถานะของ cluster•OSD (Object Storage Device) อ่านเขียน ขอ้มูลตามค าสัง่•MDS (Metadata Server) ดูแลสถานะของ file hierarchy

•Ceph Storage บน cluster แต่ละ node ท าหนา้ท่ีแตกต่างกนั เพื่อการบริหารจดัการท าไดส้ะดวก การท างานถูกกระจายออกไปตามความเหมาะสม ลดความเส่ียงจากความเสียหาย และท าใหก้ารขยายขนาดท าไดง่้าย

Ceph Network

Open vSwitch

•vlan support (802.1Q)•port mirroring•bonding nics with LACP•QoS•Geneve, GRE, VXLAN, STT, and LISP tunneling

Proxmox VE

Requirements for Hyper-Convergence• CPU

• For each disk use one CPU• Enough CPU’s for KVM and Ceph

• Memory• Each TB used disk needs at least 1GB RAM per node• Enough memory for KVM and Ceph

• Network• Separate networks for Ceph, public traffic of VM’s, and cluster communication

• Do not use consumer hardware but enterprise-class HW

Deploying Virtual Environment and Ceph Hyper-converged

pve1.campus.ac.th

pve2.campus.ac.th

pve3.campus.ac.th

Cluster Network

Ceph Network

Bridge

Netw

ork 10.4.6.242/24

10.4.6.241/24

10.4.6.243/24

Nic1 (enp0s3)

Nic2 (enp0s8)

Nic2 (enp0s8)

Nic2 (enp0s8)

Nic1 (enp0s3)

Nic1 (enp0s3)

192.168.56.101/24

192.168.56.102/24

192.168.56.103/24

Linkagg(bond0) = Nic3 (enp0s9) + Nic4 (enp0s10)

Linkagg (bond0)

Linkagg (bond0)

Linkagg (bond0)

192.168.57.101/24

192.168.57.102/24

192.168.57.103/24

Multi Node Virtual Environment and Ceph Hyper-converged

•Lab 1•Lab 2•Lab 3

Additional Steps on the Hyper-converged deployment

•Lab 4

Maintenance and Upgrading Resources

•https://pve.proxmox.com/pve-docs/•https://pve.proxmox.com/wiki/Ceph_Server•https://pve.proxmox.com/wiki/Hyper-converged_Infrastructure

Troubleshooting

•https://pve.proxmox.com/wiki/Category:Troubleshooting