Virtualization Solution with New SPARC Server

저자 - 한승규 컨설턴트, 한국오라클 시스템사업부(seungkyu.han@oracle.com)

서버 가상화는 필수

클라우드와 구성을 위한 필수적인 요소가 서버 가상화다. 왜냐하면 클라우드 정의를 만족시키기

위한 요소 중에 하나가 유연한 구성 및 공유인데, 유연한 구성 및 공유를 위해서는 서버 가상화 솔루션

없이 실현이 불가능하다. 또한 데이터센터의 그린 IT실현을 위해서나 비용절감을 위해서 통합이

요구되어진다. 이 통합을 위해서는 가상화가 필수적인 요소다.

하지만 국내에서는 프로세서와 메모리의 가상 구성만 고려대상이지 I/O에 대한 가상화는 고려하지

않고 있다. 고가용성을 위해 I/O 이중화 또한 필수이기 때문에 많은 I/O 카드구성이 필요하게 되고 I/O카드 수가 많음에 따른 케이블, 네트워크 스위치, SAN 스위치 등이 점점 증가하는 추세다. 때론 이런

I/O카드 수 증가로 인한 대형 서버로 구성할 수밖에 없는 상황이 발생하기도 한다. 그로 인한 가상화의

장점인 그린 IT 실현 및 TCO절감 부분을 상쇄되고 있다. 어쨋든 가상화는 그린 IT 실현 및 TCO 절감을

위해서 선택이 아닌 필수요소가 되어 가고 있다. 그러면 오라클은 서버 가상화 솔루션이

어떤 것이 있고 특징이 무엇인지 알아보고 New SPARC 서버인 T5, M5, M10서버와

어떻게 접목하고 있지 알아보자.

Cover STory 03O

RACLE KO

REA M

AG

AZIN

ECover Story

Virtualization Solution with N

ew SPA

RC Server27

Summ

er 2013

및 다른 버전의 Solaris 운영도 가능.

•Clone : 동일 OS에서 1~2분의 짧은 소요시간 내에 디

렉토리 또는 파일시스템 이동을 통한 간단한 수평적 확

장 가능.

•Migration : 다른 호스트간 Zone 이동.

•Cluster : Zone간의 Cluster 구성 가능.

•Hard Partitions 및 OVM SPARC와 혼용 구성 가능.

위에서는 각 솔루션에 대한 간략한 특징을 살펴보았으

니 이제는 각 솔루션에 대한 기능을 자세히 살펴보겠다.

Oracle VM Server for SPARC

Oracle VM Server for SPARC 구성 요소

Oracle VM for SPARC 가상화는 역할에 따라 Control 도메인, 서비스 도메인, I/O 도메인, 게스트 도메인으로

구성되고 가상화 관리를 위한 별도의 서버가 필요하지

않고 Control 도메인을 통하여 가상화 관리가 가능하

다.

•Control 도메인 : Ldom(Logical Domain) Manager가

실행되며, 다른 논리적 도메인을 생성 및 관리 Oracle

VM for SPARC 소프트웨어를 설치할 때 처음 만든 도

메인이며 primary라는 이름을 가짐.

•Ser vice 도메인 : vds( V irtua l Disk Ser vice)나

vsw(Virtual Network Switch)와 같은 가상 장치 서비스

를 다른 도메인에 제공하며 임의 도메인을 서비스 도메

인으로 구성 가능하며 일반적으로 I/O 도메인과 같이

구성.

•I/O 도메인 : I/O 도메인은 PCIe 루트 콤플렉스를 소

유하거나, Direct I/O(DIO) 기능을 사용하여 PCIe 슬

롯 또는 온보드 PCIe 장치를 소유할 수 있으며 I/O 도메

인이 서비스 도메인으로 사용될 경우 물리적 I/O 장치

를 가상 장치 형태로 다른 도메인과 공유할 수 있음.

•Guest 도메인 : 서비스 도메인에서 제공한 가상 장치

ORA

CLE KOREA

MA

GA

ZINE

Cover StoryVirtualization Solution w

ith New

SPARC Server

28Sum

mer 2013

오라클 New SPARC 서버를 위한 서버 가상화 종류

오라클은 서버 가상화를 위해 경쟁사 대비 가장 다양한

가상화 기술을 가지고 있다. 하드웨어적으로 서버를 분

할하는 Physical Partition, 하이퍼바이저 기반의 Oracle

VM for SPARC 및 운영체제 가상화를 위한 Solaris

Container를 요구사항에 따라 적용할 수 있다. 이 가상

화 솔루션들은 모두 무료로 사용 가능하며 오라클에서

는 템플릿이 제공하여 신속한 배포가 가능하다는 특징

을 가지고 있다. 또 하나의 특징은 오라클의 특장점인

모든 스택에 대해서 최적화되어 있고 이 가상화 솔루션

을 관리할 수 있는 툴 또한 무료로 제공함으로써 클라우

드 Iaas를 쉽고 저비용으로 구성 가능하다.

그러면 New SPARC 서버 가상화 솔루션의 종류와 그들

의 특징을 알아보자.

1. Hard Partition (Domains)

•단일 플랫폼을 하드웨어적으로 분할 (Partitioning)한

뒤, 각 파티션에 독립적인 자원을 할당하여 여러 대의

독립된 서버(Domains)로 운영하는 방식으로, 완벽한

장애격리가 가능하며 오버헤드가 없음.

•SPARC M5는 DCU(Domain Configuration Unit)단

위로 SPARC M10-4S는 Building Block단위로 분할 가

능.

2. Oracle VM Server for SPARC(OVM for SPARC, Ldoms)

•펌웨어 기반의 가상화 계층인 하이퍼바이저를 통해

플랫폼을 분할(Partitioning) 한 뒤, 각 파티션에 독립적

인 또는 공유된 자원을 선택적으로 할당하여 여러 대의

독립된 서버(Domains)으로 운영하는 방식으로 보다 효

율적인 자원관리 가능.

•펌웨어 기반의 하이퍼바이저로 시스템 오버헤드가 매

우 낮음.

•모든 Oracle New SPARC 서버와 기존 T-series에서 사

용되고 1개 가상 프로세서 단위로 분할 가능.

3. Oracle Solaris Zones

•하나의 운영체제를 가상화하여 여러 운영체제 환경을

구성하는 방식으로 하이퍼바이저 방식보다 낮은 오버

헤드 유지가 가능하며, 8000개 이상의 가상 환경 구성

<그림 1> New SPARC 서버를 위한 가상화 종류

Hard Partitions

ALL All

OVM SPARC Solaris Containers

M10-4S/M5

App AOS

FirmwareHigher

HardwareLower

OS

App B App A

FirmwareHardware

App BApp AOS OS

App B

Hypervisor(Firmware)Hardware

OS

Higher 장애 격리 Higher

Lower 유연성 Lower

PCIe 디바이스의 Guest 도메인 간 효율적 공유가 가능

하고, Native I/O 에 근접한 성능을 가진다. 이를 통해

전력, 카드 수량, 케이블 수량 및 스위치 포트 수를 절감

할 수 있어 비용을 절감할 수 있다.

•PCIe Direct I/O : 물리적 I/O 디바이스에 대한 직접

적인 접근을 가능하게 하여 I/O 가상화에 따른 성능 저

하를 방지할 수 있다. Direct I/O는 두 가지 방식이 있

다. 첫 번째, PCIe Bus 할당 방식은 I/O Root Complex 전체를 할당하기 때문에 해당 PCI Bus에 속하는 PCI 스

위치 및 디바이스 등을 모두 포함하여 I/O 도메인 구성

이 가능하여, Alternative I/O 도메인 구성에 적합하다.

두 번째, PCIe Endpoint Devices 할당 방식은 PCIe 슬롯

단위로 할당 하는 방식으로 I/O 성능이 중요한 워크로

드에 적합한 방식이다.

•Dynamic Reconfiguration(DR) : 온라인 중에 CPUs,

Virtual I/O 등을 추가, 제거가 가능하다. 운영을 보다

더 유연하게 할 수 있는 기능이다. 이 기능은 매우 널리

알려져 대부분 가상화 솔루션에 채택하고 있다.

•CPU Dynamic Resource Management(DRM) :

Resource Management policy와 Domain Workload에 따

라 우선순위를 설정하여 자동으로 추가 제거가 가능하

다. 관리자의 개입이 없이 시스템 부하에 따라 공유 CPU

자원을 동적으로 사용하고 필요가 없는 경우 반납이 가

능하며 모든 게스트 도메인의 CPU 자원이 필요한 경우,

우선순위에 따라 높은 우선순위를 가지는 도메인부터

차례로 CPU 자원을 사용한다. 이 기능 또한 업무변화에

유연하게 대응하여 그 만큼 비용절감을 할 수 있다.

• Server Power Management : 동적 전원 관리 기능은

시스템 사용량에 따라 최적의 전력 사용을 가능케 함으

서비스를 이용하는 도메인. 게스트 도메인에는 물리적

I/O 장치는 없고 가상 디스크, 가상 네트워크 인터페이

스와 같은 가상 I/O 장치만을 사용. Web, WAS, DB 등

과 같이 실제 애플리케이션을 설치하여 사용됨.

효율적인 데이터센터 운영을 위한 다양한 가상화 기술제공

•Secure Live Migration : Oracle VM for SPARC 가상

서버에서 작동 중인 가상 머신을 다른 물리적인 서버의

가상 서버로 이동하여 실행하는 기술로, 가상 머신이 무

중단 상태로 이전(Live Migration)하여 서비스 중단이

거의 없이 사용 가능하며 시스템이 중단된 상태(Cold

Migration)에서도 이전 가능하다. 또한 SSH를 이용하

기 때문에 안전한 마이그레이션을 할 수 있으며 프로세

서 온칩 암호화 가속기와 연계하여 빠른 속도의 마이그

레이션이 가능하다.

•Single-Root I/O Virtualization(SR-IOV) : Guest 도메

인이 I/O 디바이스에 직접 접근하는 것처럼 동작하여,

ORA

CLE KOREA

MA

GA

ZINE

Cover StoryVirtualization Solution w

ith New

SPARC Server

29Sum

mer 2013

<그림 2> Oracle VM Server for SPARC 구성요소

Control & Service Domain

Guestvds vswitch vnet vdisk

PCle HypervisorLDC

<그림 3> Oracle VM Server For SPARC Live Migration

OS 및 Data 공유 스토리지

Live/Cold migration

<그림 4> PCIe SR-IOV Virtual Functions 구조

I/O Domain 0

VF0 VF1 VF2

Physical Function(PF)

SR-IOV Card

VF3 VFs

Hypervisor pci_0 pci_0 pci_0 pci_0

Operating system

Operating system

Operating system

Operating system

Operating system

I/O Domain 1 I/O Domain 2 I/O Domain 3 Primary

pci_0

PCle Switch (virtualized)

PCle Switch (virtualized)

PCle Switch (virtualized)

PCle Switch (virtualized)

PCle Switch (virtualized)

ORA

CLE KOREA

MA

GA

ZINE

Cover StoryVirtualization Solution w

ith New SPARC Server

30Sum

mer 2013

로써, 데이터 센터에서의 전력 사용을 최소화하여 서버

의 효율적인 운영이 가능하게 한다. 시스템 전력 사용량

절감을 위한 정책은 Performance Mode(시스템 운용에

가용한 모든 전력을 사용)와 Elastic Mode(시스템 사용

률에 따라 전력사용)가 있다. 또한 전산실 온도 및 전력

사용률에 따라 정책 기반 운영이 가능하며 전원 관리를

위한 편리한 관리 인터페이스 (GUI 및 Script) 지원한

다. 아래 <표 1>은 전력절감을 위한 기능들이다.

Oracle Solaris Virtualizations

Oracle Solaris 11은 가상화 구현을 위해 모든 요소(OS,

Network, Storage)를 가상화에 접목시켰다. Oracle

Solaris zone은 앞에서 설명한 것처럼 OS에 대한 가상화

이고 Network 가상화는 Oracle Solaris에서 네트워크 가

상화만 구현이 가능하다. 스토리지 가상화는 ZFS(Zeta

file system)으로 구현 가능하다. 이번에는 Oracle Solaris

zones와 Network 가상화에 대해서 알아보자.

Oracle Solaris zones

Oracle Solairs zone은 Oracle Solaris에 내장되어 있고

Hard Partition, Oracle VM Server for SPARC과 함께 사

용이 가능하며 Simple,유연하며, 가상화 솔루션 중 가상

화 오버헤드가 없으며 가장 높은 성능 보여준다. 또한

Solaris 이전 버전을 zone으로 구성이 가능하여 기존 버

전에서 사용 중인 애플리케이션을 마이그레이션 없이

그대로 사용이 가능하다. Oracle Solaris zone은 쉽고 빠

르게 복제가 가능하고 마이그레이션도 가능하기 때문

에 변경이 많은 IT 인프라환경에서 사용하면 시간 및 비

용을 절감할 수 있다.

<그림 6>에서 보는 봐와 같이 SPARC시스템을 oracle

VM Server for SPARC으로 파티션을 하여 Oracle Solaris

11과 Oracle Solaris 10을 설치하고 Oracle Solaris 11에

Solaris 11 zone, Solaris 10 zone을 구성 가능하며 Solaris

10에 Solaris 10 zone과 Solaris 8,9 zone 구성이 가능하다.

Cloud-Scale Networking

네트워크 가상화는 Oracle Solaris 11에서 더욱 강력해졌

다. Oracle Solaris 11에서는 네트워크 대역폭에 대한 한

계 값 정의와 흐름 제어를 할 수 있다. 하나의 물리적 네

트워크 인터페이스 카드를 Oracle Solaris zone별로 나누

어서 할당하거나 애플리케이션별로 나누어서 할당하여

서로 간섭받지 않고 대역폭을 사용할 수 있다. 대역폭에

대한 제한하는 방법은 두 가지가 있다. 위에서 언급한

것처럼 가상 네트워크 인터페이스 카드(vNIC)에 바로

값을 설정하는 방법과 아래와 같이 패킷의 흐름제어를

통해서 제한할 수 있다.

• IP address

• Transport protocol name (UDP, TCP, or SCTP)

• Application port number, for example, port 21 for FTP

• DS field attribute (IPv6 packets only)

하나의 예제를 통해서 알아보자. 하나의 서버에

webzone1, webzone2, backupzone 이렇게 세 개의

zone을 구성하여 1Gbps 물리적 NIC를 webzone1

<그림 6> Oracle Solaris zone 구성 형태

<표 1> 전력 절감을 위한 기능

주요 기능 설명

CPU core auto disabling • Core를 사용하지 않을 경우 해당 Core의 clock을 중지

CPU clock cycle skip •사용률이 낮을 때 CPU clock cycle을 자동으로 늘리거나 줄임

Memory Idle Mode• 메모리 사용이 없는 DIMM에 대하여 clock 신호를 중단한 idle mode로

변경

전력 사용량 제한 •관리자에 의해 정의된 전력 사용량 내에서만 시스템이 동작

<그림 5> Dynamic Resource Management 활용 예

온라인 업무

vCPU(1/8core) 단위로자동 재배치

4core

HYPERVISOR

배치업무

8core

배치업무

4core

• 적용 시간 정의• CPU 사용률• 사용 가능 최소/최대 vCPU• 우선순위• 증가/감소 단위

• 온라인 업무 정책 예제• 적용 시간: 09:00 ~ 24:00• 적용 사용률: 최소: 25%, 최대:70%• vCPU 사용: min 4, max 8• Priority 10• 증감단위 : 1 vCPU

• 배치 업무 정책 예제• 적용 시간 : 18:00 ~ 익일 09:00• 적용 사용률: 최소: 15%, 최대: 80%• vCPU 사용: min 8, max 12• Priority 20• 증감단위 : 2 vCPU

적용 시간 정의

ORA

CLE KOREA

MA

GA

ZINE

Cover StoryVirtualization Solution w

ith New SPARC Server

31Sum

mer 2013

에 400Mbps, Webzone2에 400Mbps, backupzone에

200Mbps를 할당하여 대역폭을 제한구성 할 수 있다.

이렇게 구성을 하면 백업 시 네트워크 대역폭을 모두 사

용하여 다른 애플리케이션에 영향을 주는 일이 발생하

지 않는다.

오라클 New SPARC 서버를 위한 서버 가상화 관리

오라클 서버의 통합관리는 Oracle Enterprise Manager

Ops Center로 관리가 가능하며 이를 통하여 오라클의

모든 서버 시스템 및 가상화 환경에 대한 탐색, 프로비

전닝, 패치 업데이트, 모니터, 관리 등의 종합적 라이프

사이클 관리 제공한다. 이 관리 툴 또한 무료로 사용 가

능하다.

오라클 New SPARC 서버를 위한 서버 가상화 특장점

• 다양한 가상화 솔루션 제공

• 템플릿 제공으로 빠른 Deployment 가능

• 가상화 솔루션 및 관리 솔루션 무료제공으로 TCO 절감

• 오라클의 모든 스택 간 최적화로 높은 성능제공 및

빠른 Deployment로 TCO 절감

• 가장 낮은 오버헤드로 높은 성능제공

• 유연한 인프라 구성 가능

<그림 7> 네트워크 가상화 예제

<그림 8> Oracle Enterprise Manager Ops Center 기능

*name = webzone-1*IP address-10.134.79.241

maxbw = 400Mb

1Gb

e1000g0

maxbw = 400Mb maxbw = 400Mb

webzone -1

net0 net0

vswitch

net0

webzone -2 webzone -3

*name = webzone-2*IP address-10.134.79.242

Server 1 Server 2

192.168.0.2 192.168.0.20

Server 3 Network Backup Server

*name = webzone-3*IP address-10.134.79.243

1. GUI 기반의 손쉬운 관리 환경

4. 패치 관리 기능

2. 시스템 모니터링 기능 제공

5. 에너지 전원 관리

3. 장애 및 Alert 중앙 관리

6. 자원 관리- 가상화 생성 및 자원 할당