การจัดการและติดตั้งระบบ hyper-converged...

29
การจัดการและติดตั ้งระบบ Hyper-converged infrastructure ด้วย Open Source วันที่ 20 กรกฎาคม 2561 เจตนันต เจือจันทร และ กาญจนา สุกปลั สานักคอมพิวเตอร มหาวิทยาลัยบูรพา การอบรมเชิงปฏิบัติการ (Workshop) WUNCA 37th ระหว่างวันที่ 18 – 20 กรกฎาคม 2561 ณ มหาวิทยาลัยราชภัฏนครสวรรค จังหวัดนครสวรรค

Upload: others

Post on 30-May-2020

30 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

การจัดการและติดตั้งระบบ Hyper-converged infrastructure ด้วย Open Source

วนัท่ี 20 กรกฎาคม 2561 เจตนนัต เจือจนัทร และ กาญจนา สุกปลัง่ส านกัคอมพิวเตอร มหาวิทยาลยับูรพา

การอบรมเชิงปฏิบติัการ (Workshop) WUNCA 37thระหวา่งวนัท่ี 18 – 20 กรกฎาคม 2561

ณ มหาวิทยาลยัราชภฏันครสวรรค จงัหวดันครสวรรค

Page 2: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Topic

•Introduction•Deploying Virtual Environment and Ceph Hyper-converged•Multi Node Virtual Environment and Ceph Hyper-converged•Additional Steps on the Hyper-converged deployment•Maintenance and Upgrading Resources•Troubleshooting

Page 3: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Introduction

•ระบบ Hyper-converged infrastructure แบบโอเพนซอร ส สามารถใช้งานทดแทนระบบแบบมี license ไดอ้ยา่งหมาะสม เพียงพอกบัการใช้งานใน Campus Network ได ้•HCI คือ การรวมเอา Server + Storage + Storage Network

Page 4: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Introduction

•ประโยชน ของ Hyper-converged infrastructure•มีประโยชน อยา่งยิง่ส าหรับการปรับใชง้านท่ีมีความตอ้งการโครงสร้างพ้ืนฐานระดบัท่ีสูงข้ึน แต่มีงบประมาณท่ีจ ากดั ส าหรับการใชง้านแบบ distributed ท่ีท างานบนสภาพแวดลอ้มส านกังานและสาขาระยะไกล หรือ ส าหรับ virtual private clouds และ public clouds

Page 5: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Introduction: Hyper-converged infrastructure ข้อดี• ความสามารถในการขยายตวั compute, network และ storage (เช่น ปรับขนาดเซิร ฟเวอร และพื้นท่ีจดัเกบ็ขอ้มูลไดร้วดเร็ว)

• Low cost: ตน้ทุนต ่า เป็นโอเพนซอร ส สามารถใชเ้ป็นโครงสร้าง compute/storage ได้• Data protection and efficiency: มีการรวมบริการต่าง เช่น การส ารองขอ้มูล การกูคื้น

Simplicity: ความเรียบง่าย การก าหนดค่าใชง้านและการบริหารแบบรวมศูนย • Open Source: มีความเป็นโอเพนซอร ส สามารถแกไ้ข ดดัแปลง source code ได้

Page 6: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Open source Hyper-Convergence

•Proxmox VE•Compute, network and storage in a single solution• https://pve.proxmox.com/wiki/Hyper-converged_Infrastructure

• oVirt• builds on the powerful kernel based virtual machine (KVM hypervisor)

and on the RHEV-M management server, released by Red Hat• https://www.ovirt.org/documentation/gluster-hyperconverged/Gluster_Hyperconverged_Guide/

Page 7: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Proxmox VE and Hyper-Convergence

•Proxmox VE เป็น virtualization ท่ีรวม compute, storage และ networking เขา้ไวด้ว้ยกนั มี high available clusters มี backup/restore ใชใ้นส าหรับการท า disaster recovery

• มีระบบการจดัการผา่น centralized web management interface Proxmox VE จึงเป็นโอเพนซอร สส าหรับจดัการ hyper-converged infrastructure

Page 8: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

None Hyper-converged infrastructure

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

SAN NAS

DAS

Co

mp

ute

NetworkSto

rage

None Converged

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

SAN NAS

DAS

Co

mp

ute

NetworkSto

rage

None Converged

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

SAN NAS

DAS

Co

mp

ute

NetworkSto

rage

None Converged

Page 9: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Hyper-converged infrastructure

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

Virtual SAN

Virtual Network

Hyper Converged

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

Virtual SAN

Hyper Converged

Hypervisor

Host OS

Physical Server

Guest OS

App

VM

Guest OS

App

VM

Virtual SAN

Hyper Converged

Virtual Network Virtual Network

Page 10: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Hyper-Convergence

• Convergent infrastructure• Software defined network (Open vSwitch / Linux Bridge)• Software defined storage (Ceph)• Software defined server (KVM / LXC)

• All datacenter components are in one chassis.

Page 11: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Hyper-Convergence

Compute

Network

Storage

Proxmox VE(OVS/Linux Bridge,

Ceph, KVM/LXC)

Page 12: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Benefits of Hyper-Convergence

•Modern servers have plenty of power therefore hardware can be reduced•Cost reduction•More flexibility

Page 13: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Components• Proxmox Virtual Environment

• Management platform and high availability provider• KVM/Qemu

• Full virtualization solution for Linux• LXC

• Lightweight virtualization solution for Linux• Ceph

• Distributed software defined storage• Open vSwitch

• Software defined switch

Page 14: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Proxmox Virtual Environment (VE)

•Proxmox VE is a platform to run virtual machines and containers. It is based on Debian Linux, and completely open source. •Kernel-based Virtual Machine (KVM) •Container-based virtualization (LXC)

Page 15: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Proxmox Virtual Environment (VE)

Page 16: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Proxmox Virtual Environment (VE)

•Server virtualization management solution•Rest-API•Web-GUI and CLI•HA-Manager / Cluster-manager•User-management•Full integration and management of all components

Page 17: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

KVM/QEMU

•Hardware emulation•Live migration•Storage-mirroring•Device pass-through

Page 18: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

LXC

•Native host performance•Less virtualization overhead•Fast deployment•Linux emulation only

Page 19: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Ceph

•Self-healing / error-detection•Snapshots•Redundant•Online expandable / shrinkable pools•Offside backups (incremental)•Block-device / Object-store / File-system

Page 20: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Ceph Storage•Ceph Storage เป็น distributed storage ท่ีท างานบน computer cluster ประกอบไปดว้ย node 3 ประเภท คือ•Monitor ดูแลสถานะของ cluster•OSD (Object Storage Device) อ่านเขียน ขอ้มูลตามค าสัง่•MDS (Metadata Server) ดูแลสถานะของ file hierarchy

•Ceph Storage บน cluster แต่ละ node ท าหนา้ท่ีแตกต่างกนั เพื่อการบริหารจดัการท าไดส้ะดวก การท างานถูกกระจายออกไปตามความเหมาะสม ลดความเส่ียงจากความเสียหาย และท าใหก้ารขยายขนาดท าไดง่้าย

Page 21: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Ceph Network

Page 22: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Open vSwitch

•vlan support (802.1Q)•port mirroring•bonding nics with LACP•QoS•Geneve, GRE, VXLAN, STT, and LISP tunneling

Page 23: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Proxmox VE

Page 24: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Requirements for Hyper-Convergence• CPU

• For each disk use one CPU• Enough CPU’s for KVM and Ceph

• Memory• Each TB used disk needs at least 1GB RAM per node• Enough memory for KVM and Ceph

• Network• Separate networks for Ceph, public traffic of VM’s, and cluster communication

• Do not use consumer hardware but enterprise-class HW

Page 25: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Deploying Virtual Environment and Ceph Hyper-converged

pve1.campus.ac.th

pve2.campus.ac.th

pve3.campus.ac.th

Cluster Network

Ceph Network

Bridge

Netw

ork 10.4.6.242/24

10.4.6.241/24

10.4.6.243/24

Nic1 (enp0s3)

Nic2 (enp0s8)

Nic2 (enp0s8)

Nic2 (enp0s8)

Nic1 (enp0s3)

Nic1 (enp0s3)

192.168.56.101/24

192.168.56.102/24

192.168.56.103/24

Linkagg(bond0) = Nic3 (enp0s9) + Nic4 (enp0s10)

Linkagg (bond0)

Linkagg (bond0)

Linkagg (bond0)

192.168.57.101/24

192.168.57.102/24

192.168.57.103/24

Page 26: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Multi Node Virtual Environment and Ceph Hyper-converged

•Lab 1•Lab 2•Lab 3

Page 27: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Additional Steps on the Hyper-converged deployment

•Lab 4

Page 28: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Maintenance and Upgrading Resources

•https://pve.proxmox.com/pve-docs/•https://pve.proxmox.com/wiki/Ceph_Server•https://pve.proxmox.com/wiki/Hyper-converged_Infrastructure

Page 29: การจัดการและติดตั้งระบบ Hyper-converged ......การจ ดการและต ดต งระบบ Hyper-converged infrastructure

Troubleshooting

•https://pve.proxmox.com/wiki/Category:Troubleshooting