Überlegungen zur datenbanksicherung von exadatas

Überlegungen zur Datenbanksicherung von Exadatas

Michael Färber Attila Mester Thomas Gorsitzke

Sales Consultants Oracle Deutschland B.V. & Co. KG

Copyright © 2014, Oracle and/or its affiliates. All rights reserved.

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.


• Verschiedene Methoden der Exadata-Sicherung

• Ein paar Takte Infiniband

• ZS3 Storage Appliance

• Best Practice Konfiguration der ZS3 für Exadata Sicherung

• Backup Sizing und Performance

• SpeedUp mit RMAN-Channels, Compression, dNFS, OISP

• Tape Library SL150

Agenda


Oracle’s Storage Portfolio

Engineered Systems

Exadata

SL8500

SL3000

VSM

SL150

LTO T9840

T10K

SPARC

SuperCluster ZFS Storage

Appliances

Cloud Storage

SAN Storage

Pillar

Axiom 600

Storage Management: OEM, ASM, Storage Analytics, CAM, ACSLS, ELS

Automated Tiering: Partitions, SAM QFS, Hybrid Storage Pools, VSM

Data Reduction: 11g ACO, HCC, RMAN, ZFS Storage Appliance Dedup/Comp

Data Protection: Data Guard, RMAN, OSB, ZFS Storage Appliance Snap/Rep, MaxRep

Security/Encryption: ASO, Oracle Key Manager, Disk/Tape Encryption

Storage Software

NAS Storage

Exalogic

2500-M2

Big Data

Appliance

Deployment Options: Private, Public, Hybrid

Services: IaaS, PaaS, SaaS

Consumption Options: Build, Manage, Subscribe

Tape and Virtual Tape

ideal auch

für DB Backup


Exadata Internal Backup Solution (FRA) Schnell und einfach

Nutzen der Fast Recovery Area (FRA)

der Exadata für schnellstes

Backup / Recovery

• Schnellste Lösung

• Anschließendes zeitlich entkoppeltes

Auslagern der Sicherung auf externe

Geräte möglich

• Gleicher Speicherort wie Flashback

• Platzeinschränkung für Produktions-DB


Exadata Storage Expansion Rack Backup Solution Ultraschnelle und einfachste externe Disk Solution

InfiniBand

Aus performancetechnischer

und administrativer Sicht die

optimalste Lösung zur Exadata-

Kapazitätserweiterung.

Oft angewendet bei Exadatas mit

High Performance Disks zur

High Capacity Erweiterung.

Exadata Exadata Storage Expansion Rack


ZFS Backup Appliance Backup Solution Erweiterung der Möglichkeiten für DB- und non-DB Files

Einfach und flexibel mit

erweiterten Möglichkeiten

wie Snapshots, Fast Cloning,

Compression nicht nur für

die Datenbank sondern auch

für allgemeine Fileservices.

*** Sehr schnell! ***

Unsere klare Preis-/Leistungs-

emfehlung. Vergleichen Sie!

ZFS Backup Appliance

Exadata

RMAN over

InfiniBand or

10 GbE


Tape Backup Solution Low Cost Long Term Data Protection

Backup

Server(s) FC

Low Cost Long Term

Lösung: Auslagerung

von Datenbeständen

und Sicherungen,

die länger und ggfs.

Verschlossen auf-

bewahrt werden

müssen.

Tape Library

Exadata

RMAN over

InfiniBand or

10 GbE


Zukunftsaussichten: Oracle Database Backup Logging

Recovery Appliance (Continuous Data Protection)

Exadata

RMAN

incrementals

Real-time

Redo

• Eliminiert Backup Fenster

• Restore to any point-in-time

• Schützt vor Datenverlust

• Ermöglicht autonome

Tape Archivierung

• Skaliert effizient

• Test-Drive im Juni in MUC

ODBLRA


native RMAN

Media Management

Server mit

Oracle Secure Backup,

NetBackup, NetWorker,

TSM, etc.

RMAN Backup

Backupset

Tape Backup

DB Backup, B2D2T empfohlene Architektur

dNFS Mount, 10GbE oder

InfiniBand (IPoIB)

10GbE oder InfiniBand (IPoIB) FC

RMAN

Oracle Modul mit SBT Library

Backup Client SW

ZS

3 B

ac

ku

p A

pp

lia

nc

e

Ta

pe

Lib

rary

Ex

ad

ata


Welche Architektur ist für

mich die Richtige?


Einige Parameter zur Ermittlung der passenden

Backup-Architektur (technisch & business)

• Recovery Point Objective (RPO) + Data Retention Policy

• Recovery Time Objective (RTO, Time to Restore Data)

• Standorte / Entfernungen / Desaster Ready?

• Tools / Backup-Software (Deduplication/Compression)

• Zu sicherndes Datenvolumen + Daily Change Rate

• Backup Window (Zeitfenster)

• Netzwerk-Infrastruktur (Ethernet / Infiniband)

• SAN-Infrastruktur (Fiber Channel)

• Backup-Infrastruktur (Tapedrives)

• Verfügbarkeit der Backups

• Wachstum / Erweiterbarkeit und Kosten


Unsere favorisierte Lösung

für große Exadata-Mengen:


2x schneller

3x skalierbarer (als die Vorgängermodelle)

Exa-Backup mit

ZS3 Series

25.3 TB Cache

3.5 Petabytes Raw

unkompr. Kapazität

22 PCIe Slots für 10GbE,

40Gb IB, 16Gb FC

ZS3-4

15.2 TB Cache

768 Terabytes Raw unkompr. Kapazität

12 PCIe Slots für 10GbE,

40Gb IB, 16Gb FC

ZS3-2

ZFS Storage Operating System

wie ZS3-4 aber mit 8-core CPUs

ZS3-BA


Storage Enclosures DE2-24P (Performance)

• 2U 24 2.5” HDD

• 300GB oder 900GB SAS2 10K RPM

• 73GB SAS2 SSD Write Accelerator

DE2-24C (Capacity)

• 4U 24 3.5” HDD

• 4TB SAS2 7.2K RPM

• 73GB SAS2 SSD Write Accelerator

ZFS SA: Shelf Options


ZFSSA Volume Konfiguration

Pools

• 2 Pools über alle Shelfs

• 1 Pool pro Controller

• beide Controller aktiv

• 8 Shares pro Pool

• Pool fail-over

im Controller Cluster

• jedes Share 1 Mountpoint

• keine SSDs, nur HDs*

• RaidZ-1 (3+1)

... ... Shares

16 dNFS Mounts

* Außer bei “incremental merge”


ZS3 RMAN Performance Scaling Adding Disk Shelves: 7200 RPM High Capacity Drives

Single Parity RAID 1 shelf 2 shelves 3 shelves 4 shelves 8 shelves

Backup (Image copy) 5.1 TB/hr 9.8 TB/hr 13.8 TB/hr 20.5 TB/hr 26 TB/hr

Restore (Image copy) 1.8 TB/hr 4.0 TB/hr 6.3 TB/hr 11.4 TB/hr 17 TB/hr

Durchsatz von Plattenzahl abhängig

• Durchsatz erhöht sich

mit Anzahl der Shelves

• 1 Storage Pool pro Controller

liefert beste RMAN Ergebnisse

• schnellere Platten liefern

besseren Durchsatz


• Kupferkabel bis 10 m

• Glasfaser + SFPs bis 100 m

• IP über IB

• Subnetz-Manager / OpenSM

• 1 Master / mehrere Slaves

• Empfohlen: max. 2-3 Slaves

wg. hohem Sync-Traffic

• Unabhängige Exadata-Maschinen an ZS3-Storage müssen

in verschiedene IB-Subnetze konfiguriert werden. (aus: Backup and Recovery Performance and Best Practices using the Sun ZFS Storage

Appliance with the Oracle Exadata Database Machine – An Orace White Paper – April 2012)

Infiniband (IB)

Sun Datacenter Infiniband

(Gateway) Switch mit 32 IB-Ports

(optional 8x 10 GbE)

QSFP


Was ist "direct NFS" und “OISP”?

dNFS liefert integriertes Performance Tuning für Oracle

Datenbanken auf ZFSSA (auch für Backup)

• Teil der Oracle DB

• Reduziert CPU Load und Latency

• Bypass des Betriebssystems

(> 25% schneller als NFS)

Loadbalancing über multiple Network Interfaces, Stripe

von Netzwerk Buffers über bis zu 4 Addresses

Oracle Intelligent Storage Protocol

(OISP) integrated with dNFS in 12c

dynamically tunes record size and

logbias variables on the ZS3

Appliance to optimize performance

OISP

Durchsatz dNFS Striping (Kundenbeispiel)

Number of Addresses 1 2 4

Backup 4209 MB/s 5261 MB/s 5417 MB/s


RMAN Channels + (d)NFS Shares

Ausprobieren:

RMAN Performance Tests mit „backup validate“

und unterschiedlicher Anzahl von Kanälen,

DB-Servern und evtl. Kompressionsraten.

• Eröffne einen RMAN Channel pro Bandlaufwerk

• Erstelle mehrere NFS-Shares auf dem Storage

• Eröffne einen RMAN Channel pro (d)NFS-Share

• Bis zu 16 RMAN Channels sind in der Regel sinnvoll

• Achte auf „Recommended Patches

for Direct NFS Clients“ (Doc ID 1495104.1)

• Nutze mehrere DB-Server gleichzeitig


ZS3 BU Appliance

mit 4x Exadata

direct connect

best practice

für HA

4

Schützt vor Ausfall eines • ZS3-Controllers (Head)

• IB-Switches

• IB-Adapters (HCA)

• Netzwerk Ports

Quelle: Configuring a Single Oracle ZFS Storage Appliance into an Infiniband Fabric with Multiple Exadata Machines


Best Practice Konfigurationen

• Netzwerk Konfiguration

• Storage Konfiguration

• Empfohlene Backup Strategie

• Restore Strategien

• Datenvorhaltung

• Test Szenarien


Konfigurationsschritte

• Netzwerk Konfiguration

• Infiniband für Exadata, wenn Entfernung < 100 m

• bei > 100 m Entfernung oder normale DB Server 10 GbE

• aktiv-aktiv IP Multipathing Gruppen und Jumbo Frames

• Enable dNFS (oranfstab Konfiguration)

• Storage Konfiguration

• keine SSDs wenn nur Backup/Restore (ohne Merge)

• zwei gleich große Pools pro Appliance

• Nutzung des "Exadata Backup Konfiguration Utilities"

(ESBU) zur Automatisierung


Konfigurationsschritte (Fortsetzung)

• Empfohlene Backup Strategien

• RMAN "weekly full" mit "daily incremental level 1" sind optimal

• max. 16 RMAN Channels allokieren

• Image Backups wenn Datenbank Test/Entw./Migration notwendig,

optionale Nutzung des "Snapshot Management Utilities"

• Datenvorhaltung

• wenige Backup Zyklen auf Disk vorhalten, Tape für Archivierung

• Backup Sets sollen über SBT* Schnittstelle auf Tape kopiert werden

* Systems Backup to Tape / Oracle RMAN-API für BU-Agenten


ORACLE DATABASE KOMPRESSION

ACO

• Wird auf dem Database

Node ausgeführt

• Low, Medium, High

benötigen Lizenz

• RMAN BASIC kompr. ist

frei nutzbar

STORAGE

KOMPRESSION

• ZFS Storage Appliance

• 4 Kompressionslevel

• Wird auf der ZFSSA

ausgeführt (CPU!)

• Keine zusätzlichen

Kosten

HCC

• Wird auf dem Database

Node ausgeführt

• Einsetzbar nur auf

Oracle Storage (ZFSSA,

Pillar, Exadata Storage

Zellen)

Reduzierung der Daten durch Kompression


Berechnung der benötigten ZFSSA Kapazität • Shelf-Kapazität

• 1 Shelf mit 24x4 TB Disks hat ca. 64 TB nutzbare (RaidZ1) Kapazität

• Benötigte Kapazität bei Full/Incremental Strategie:

• 1 Woche Retention: 2 Full, 12 Incrementals, 14 Tage ArchiveLogs

• 2 Woche Retention: 3 Full, 18 Incrementals, 21 Tage Logs, usw....

• Beispiel, Effekt der RMAN und ZFS Kompression bei Full Backup:

• 11x mit BASIC, CPU Load 70-80%

• 9x mit LOW, CPU Load 20%

• 10x with MEDIUM, CPU load 50%

• 17x with HIGH, CPU load 100%

• ZFS Kompression variiert

• Incremental und Archive Log Backups weniger, 2-3x


RMAN Incremental + Backup Compression

Annahmen:

• Datenbankgröße (used space) = 450GB

• Datenbank Changerate = 10%

• Backup type = RMAN backup set

• "Weekly full" Backup am Sonntag

• "Daily incremental" backups Mon-Sam

• Ø RMAN Kompressionsrate:

Full backup = 11x

Incremental backup = 3x

Archived log backups = 2x

Storage Savings with Compression: 7.6x 11.4x

Effektivste Nutzung des Storageplatzes


ZFSSA Performance Werte (ZS3-4)

• Durchsatz eines Controllers liegt bei ca. 3500 MB/s

• Backup Durchsatz pro Shelf bei max. 5 TB/h (ca. 1400 MB/s),

gemessen bei Exadata und IB Anschluss, HC Drives

• Restore weniger, ca. die Hälfte

• Restore vom Full Backup am schnellsten

Vorteil der "Incremenally Updated Strategy"


• RMAN Image Backups können ohne Kopieren als Datenbanken in Betrieb genommen werden

• Beschreibbare Volume Kopien (CoW) erlauben das Klonen der Datenbanken

• Asynchrone IP Remote Replikation verbessrt HA und DR

• ZFS Kompression kann Storage Platzbedarf reduzieren, Backup/Recovery beschleunigen

• Automatisierung des Snapshot und Cloning Managements mit der opt. SNAP Mgmt. Utility möglich

Mehrwerte für RMAN Backups auf ZFSSA

Sun ZFS Storage Appliance

Oracle RMAN Target

Primary Disk Array

RMAN

Replicated

Oracle RMAN Target

Tape Backup

Test Database Development Database

Production Database

Snapshots, Clones, Replication, Compression, HCC Support


Oracle Snap Management Utility Produktivitätssteigerung bei Datenbank- und Storage Administration


• Ermöglicht Snapshots & Clones

von der DBA Console

• Automation – Policy Management

• GUI or CLI

• Einfach und intuitive

• Steuert die ZFS Storage Operationen

• Virtuell unlimiterte Snapshots (capacity limited)

• Support für herkömmliche Oracle DB

Umgebungen und Engineered Systems

Vereinfacht Storage Management

für DBAs

Snap Management Utility for Oracle DB Automatisiert die Administration des Snap Managements


Richtwerte Connectivity

Network Typical Bandwidth per Port

1 GigE 100 – 125 MB/s

10 GigE 1 – 1.25 GB/s

Infiniband QDR (40 Gbps) 2 – 2.5 GB/s

Fibre Channel Typical Bandwidth per Port

2 Gb/s 200 – 212.5 MB/s

4 Gb/s 400 – 425 MB/s

8 Gb/s 800 – 850 MB/s

16 Gb/s 1600 – 1700 MB/s


Richtwerte Tape / ZS3-Disks Tape Drive / Media Native Cap. Compr.

Cap.

Max.

Speed

Typ. Compr. Speed

(1.5:1 ratio)

LTO4 800 GB 1.6 TB 120 MB/s 180 MB/s

LTO5 1.5 TB 3 TB 140 MB/s 210 MB/s

LTO6 160 MB/s 240 MB/s

T10000C 5 TB 10 TB 240 MB/s (0.8 TB/h)

360 MB/s (1.3 TB/h)

ZS3 RMAN Performance Scaling Adding Disk Shelves: 7200 RPM High Cap. Drives

(experienced in customer environments)

Single Parity RAID 1 shelf 2 shelves 3 shelves 4 shelves 6 shelves

Backup (Image copy) 5.1 TB/hr 9.8 TB/hr 13.8 TB/hr 20.5 TB/hr 26 TB/hr

Restore (Image copy) 1.8 TB/hr 4.0 TB/hr 6.3 TB/hr 11.4 TB/hr 17 TB/hr


Richtwerte für Exadata Backup/Restore-

zeiten per Infiniband

Ausbaustufe Customer

experienced

Backup

Customer

experienced

Restore

X4-2 Achtelrack 3.5 TB/h 2.5 TB/h

X4-2 Viertelrack 7.5 TB/h 4.5 TB/h

X4-2 Halbrack 15 TB/h 8.5 TB/h

X4-2 Vollrack 26 TB/h 17 TB/h

Vorausgesetzt, in der umgebenden Architektur

befindet sich kein anderer Engpass und alle

Empfehlungen wurden eingehalten.


RMAN Compression

RMAN Compr.

(Full Backup einer

uncompr. DB)

Customer

experienced

Compression

Customer

Experienced

CPU load

BASIC (free) 11x 70-80%

LOW (lic.) 9x 20%

MEDIUM (lic.) 10x 50%

HIGH (lic.) 17x 100%

Compression ist von den Backup-Admins nicht immer gewünscht.

Entweder, weil dadurch die Deduplizierungsrate des BU-Systems

verschlechtert wird oder weil das BU-System selber komprimiert.

Sprechen Sie mit dem Backup-Admin ihres Vertrauens!


Sun/Oracle Tape Library SL150

• Base Module: 3RU, 30 slots

• Expansion Module: 2RU, 30 slots

Size

• 30-300 Slots in a single system

• Up to 2 Power Supplies

Scale

• 45 TB per module

• 45-450TB in a single system

• Up to nearly 1 PB with 2:1 compression

Capacity

• 1-20 drives

• Half-height LTO drives: power and space efficient

Drives

YOUTUBE: Introducing Oracle StorageTek SL150


ODBLRA Test Drive in München / Juni 2014

Hands-On Training für Interessenten in München, ( ca. letzte Juni Woche )


Resources ZFS Storage Appliances:

http://www.oracle.com/us/products/servers-storage/storage/nas/overview/index.html

Configuration Best Practices for Exadata Backup with ZFSSA:

http://www.oracle.com/technetwork/server-storage/sun-unified-storage/

documentation/zfssa-exadata-rman-v1-3-1926901.pdf

Cloning Solution with RMAN and ZFSSA:

www.oracle.com/technetwork/articles/

systems-hardware-architecture/cloning-solution-353626.pdf

Snap Management Utility for Oracle Databases:

http://www.oracle.com/us/products/servers-storage/storage/nas/snap/

overview/zfs-snap-management-overview-1900112.html

New: Oracle Database Backup Logging Recovery Appliance:

http://www.oracle.com/us/corporate/features/

database-backup-logging-recovery-appliance/index.html

http://www.oracle.com/us/corporate/features/database-backup-logging-recovery-appliance/index.html












More Resources Oracle Exadata Database Machine – Backup & Recovery Sizing: Tape Backups An Oracle White Paper September 2011 – Oracle Maximum Availability Architecture

Configuring a Single Oracle ZFS Storage Appliance into an InfiniBand Fabric with

Multiple Oracle Exadata Machines - An Oracle Technical White Paper – December 2013

Backup and Recovery Performance and Best Practices for Exadata Cell and

Oracle Exadata Database Machine - Oracle Best Practices for High Availability - February 2013

Backup and Recovery Performance and Best Practices using the Sun ZFS Storage

Appiance with the Oracle Exadata Database Machine - An Oracle White Paper – April 2012

Oracle Engineered Systems Backup Utility for Oracle ZFS Storage Appliance v2.0.0 „ESBU“ vom 03/05/2014

Oracle Data Guard: Disaster Recovery for Oracle Exadata Database Machine Oracle Maximum Availability Architecture White Paper – April 2012

Evaluating Tape Drive Performance An Oracle White Paper – January 2011

Überlegungen zur datenbanksicherung von exadatas

Documents