flash lösungen von emckonferenz-nz.dlr.de/pages/storage2014/present/1... · “we had eight racks...
TRANSCRIPT
1 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
[email protected] Director Bus. Dev. Flash
Flash Lösungen von EMC
2 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
SIMPLE DATA SERVICES
Workloads haben verschiedene Anforderungen
Big Data
Archive
Data Warehouse
HPC
Media
Backup Target
Medical Imaging
VDI
DBaaS
Object
File Consolidation
In Memory
DB CRM/E
RP
Virtual Infra-structure
High Performance
OLTP
Data Mining/Anal
ytics Block Storage Consolidation
ADVANCED DATA SERVICES
3 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Das erfordert ein umfangreiches Angebot
ADVANCED DATA SERVICES
SIMPLE DATA SERVICES
VMAX
VNX
Isilon
Atmos
XtremSF XtremIO
Data Domain Avamar & NetWorker
4 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Die vier Storage Architekturen TYPE
1 Clustered Scale Up & Down
• Dual Controller • Shared Meta-Data • Transactional Commits • General Purpose Storage
TYPE
3 Lose verbundenes Scale Out
• Independent Controllers • Distributed Meta-Data • Transactional Commits • Large Content Repositories
TYPE
2 Eng verbundenes Scale Out
• Multi-Controller Grid • Shared Meta-Data • Transactional Commits • Mission Critical Workloads
TYPE
4 Verteilt Share Nothing
• Independent Controllers • Distributed Meta-Data • Non-Transactional Commits • 3rd Platform Applications
5 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Architektur Analyse
0
1
2
3
4
5$/IOps
$/GB
Latency
AggregatePerformance
QoSRAS
Scales Down
Manageabilityand Scale Out
SolutionIntegration Verfügbarkeit
Kosten Effizient
Breite Integration
Scale Out
Systemleistung
VNX
TYPE
1 Clustered Scale Up & Down
• Dual Controller • Shared Meta-Data • Transactional Commits • General Purpose Storage
6 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
TYPE
2 Eng verbundenes Scale Out
• Multi-Controller Grid • Shared Meta-Data • Transactional Commits • Mission Critical Workloads
0
1
2
3
4
5$/IOps
$/GB
Latency
AggregatePerformance
QoSRAS
Scales Down
Manageabilityand Scale Out
SolutionIntegration
Isilon VMAX
XtremIO
Viele Knoten möglich
Berechenbare Latenz
Sehr hoch Verfügbar
Einstiegskosten
€/IO & €/GB
Architektur Analyse
Isilon
7 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
TYPE
3 Lose verbundenes Scale Out
• Independent Controllers • Distributed Meta-Data • Transactional Commits • Large Content Repositories
0
1
2
3
4
5$/IOps
$/GB
Latency
AggregatePerformance
QoSRAS
Scales Down
Manageabilityand Scale Out
SolutionIntegration
v S A N
Systemleistung
Sehr viele Nodes
Niedrige €/GB
Latenz (Netzwerk)
Einstiegspreis
Architektur Analyse
8 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
TYPE
4 Verteilt Share Nothing
• Independent Controllers • Distributed Meta-Data • Non-Transactional Commits • 3rd Platform Applications
0
1
2
3
4
5$/IOps
$/GB
Latency
AggregatePerformance
QoSRAS
Scales Down
Manageabilityand Scale Out
SolutionIntegration Nachkaufbar
Einfach, Simple
Einstiegskosten
Data Services
Ent. Verfügbarkeit
Architektur Analyse
9 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Die vier Storage Architekturen TYPE
1 Clustered Scale Up & Down
• Dual Controller • Shared Meta-Data • Transactional Commits • General Purpose Storage • Transactional Commits
TYPE
4 Distributed Share Nothing
• Independent Controllers • Distributed Meta-Data • Non-Transactional Commits • 3rd Platform Applications
TYPE
3 Loosely Coupled Scale Out
• Independent Controllers • Distributed Meta-Data • Transactional Commits • Large Content Repositories
TYPE
2 Tightly Coupled Scale Out
• Multi-Controller Grid • Shared Meta-Data • Transactional Commits • Mission Critical Workloads
10 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
TYPE
1 Clustered Scale Up & Down
• Dual Controller • Sharedx Meta-Data • Transactional Commits • General Purpose Storage • Transactional Commits
TYPE
4 Distributed Share Nothing
• Independent Controllers • Distributed Meta-Data • Non-Transactional Commits • 3rd Platform Applications
TYPE
2 Tightly Coupled Scale Out
• Multi-Controller Grid • Shared Meta-Data • Transactional Commits • Mission Critical Workloads • Transactional Commits
TYPE
3 Loosely Coupled Scale Out
• Independent Controllers • Distributed Meta-Data • Transactional Commits • Large Content Repositories • Transactional Commits
Die vier Storage Architekturen
11 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
SIMPLE DATA SERVICES
Der Workload bestimmt die Architektur
Dual
Controller Scale Up/Down
Tightly Coupled
Scale-Out
Tightly Coupled
Scale-Out
Loosely Coupled
Scale-Out Loosely Coupled
Scale-Out Shared Nothing
Shared Nothing
ADVANCED DATA SERVICES
12 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
SIMPLE DATA SERVICES
Das EMC Speicher Angebot
Dual
Controller Scale Up/Down
Tightly Coupled
Scale-Out
Tightly Coupled
Scale-Out
Loosely Coupled
Scale-Out Loosely Coupled
Scale-Out Shared Nothing
Shared Nothing
VMAX
VNX
Isilon
XtremIO
Atmos
XtremSF XtremSW
ADVANCED DATA SERVICES
Data Domain Avamar & NetWorker
13 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Workloads die neue Performance-Orientierte Infrastrukturen benötigen
BIG DATA
Risk Management Fraud Detection High-Frequency Apps
Real-time Analytics Genomics
Facial Recognition Climate Analysis
High Performance Data Analytics
In-memory DBs
HANA, GemFire Hana Ent Cloud
Pivotal Hadoop Distribution
14 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
SIMPLE DATA SERVICES
Das EMC Speicher Angebot
Tightly Coupled
Scale-Out VMAX
VNX
Isilon
XtremIO
Atmos
ADVANCED DATA SERVICES
Data Domain Avamar & NetWorker
15 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
OVER 40PB SOLD #1 All-Flash Array In The Market
XtremIO
© Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
16 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
XtremIO, das All-Flash Scale-Out Array
Kommende Funktionen: Kompression
Aut. Cluster Erw. Array-Replikation
10/20 TB X-BRICKS RAW Storage
UP TO 1,000,000 FULLY RANDOM IOPS
7/15 TB pro X-Brick
Native usable Capacity
70/48 TB pro X-Brick
Dedup Capacity
400/800GB eMLC
25x Drives per X-Brick
Daten Services: Inline Data Dedup Thin Provisioning Writeable Snaps
XDP-RAID Verschlüsselung
17 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
XtremIO X-Bricks in allen Größen
Größe S Größe M Größe L Größe XL 5,2TB raw 10TB raw 20TB raw 20TB raw
3TB nutzbar 7,47TB nutzbar 15TB nutzbar 15TB nutzbar 70TB logisch
nutzbar 70TB logisch
nutzbar 48TB logisch
nutzbar 100TB logisch
nutzbar Typ. Anwendungen: Midsize VDI, VSI
Typ. Anwendungen: VDI, VSI, DB
Typ. Anwendungen: VSI, DB
Typ. Anwendungen: VDI, VSI, DB
13x 400GB eMLC
25x 400GB eMLC
25x 800GB eMLC
25x 800GB eMLC
18 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
SP A SP B
Infiniband RDMA
32 CPU
CORES
512 GB
RAM
25 eMLC SSDs
SAS 2.0 SAS 2.0
2 x FC 2 x iSCSI 8
HOST PORTS
2 x FC 2 x iSCSI
256GB RAM
256GB RAM
XtremIO X-Brick Cluster Building Block
19 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
X-Brick 3
X-Brick 1
X-Brick 2
X-Brick 4
SHARED MEMORY METADATA
SHARED MEMORY METADATA
SHARED MEMORY METADATA
SHARED MEMORY METADATA
SHARED MEMORY METADATA
SHARED MEMORY METADATA
SHARED MEMORY METADATA
SHARED MEMORY METADATA
RDMA Fabric
Unique User Data
Unique User Data
Unique User Data
Unique User Data
20 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
XtremIO Content Engine
Core Engine
CA38
C90
4K
134F
871
4K
0325
F7A
4K
F3AFB
A3
4K
AB45
CB7
4K
2014
7A8
4K
963F
E7B
4K
963F
E7B
4K Eingehender Datenstrom
32K
Unterschiedliche Inhalte ergeben unterschiedliche Fingerabdrücke
Gleichmäßige Verteilung der Fingerabdrücke…
21 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
XtremIO Content Engine
Core Engine
CA38
C90
4K
134F
871
4K
0325
F7A
4K
F3AFB
A3
4K
AB45
CB7
4K
2014
7A8
4K
963F
E7B
4K
963F
E7B
4K Eingehender Datenstrom
32K
X-Brick #1 X-Brick #2
22 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
XtremIO Content Engine Core
Engine
CA38
C90
4K
134F
871
4K
0325
F7A
4K
F3AFB
A3
4K
AB45
CB7
4K
2014
7A8
4K
963F
E7B
4K
963F
E7B
4K Eingehender Datenstrom
32K
4K
4K 4K
4K 4K
4K 4K
Dublette
23 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
XtremIO Content Engine Core
Engine
Eingehender Datenstrom 32K
4K
4K 4K
4K 4K
4K 4K 4K 4K 4K 4K P1 P2 4K 4K 4K 4K
4K 4K 4K 4K P1 P2 4K 4K 4K 4K
4K 4K 4K 4K P1 P2 4K 4K 4K 4K
4K 4K 4K 4K 4K P1 P2 4K 4K 4K 4K
4K 4K 4K 4K 4K 4K P1 P2 4K 4K 4K 4K
4K 4K 4K 4K 4K 4K P1 P2 4K 4K 4K 4K
4K 4K 4K 4K 4K 4K P1 P2 4K 4K 4K 4K
4K 4K 4K 4K 4K 4K P1 P2 4K 4K 4K 4K
• Nur einmaliges Schreiben • Dedupe fördert Performance • Architekturbedingtes
Load Balancing! • Prozess unabhängig von
XtremIO Clustergröße
24 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
0
250.000
500.000
750.000
1.000.000
1.250.000
IOPS
4K Random Lese Performance
1 X-Brick
2 X-Bricks
4 X-Bricks
0
100.000
200.000
300.000
400.000
IOPS
4K Random Schreib Performance
1 X-Brick
2 X-Bricks
4 X-Bricks
Halbe-Millisekunde Antwortzeit, mit allen Daten-Services aktiv!
XtremIO Scale-Out Architektur ermöglicht lineare IO Leistung
25 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
INLINE DATEN-REDUKTION
Niemals doppelte Daten schreiben
THIN PROVISIONING
4KB Granularität Optimale Auslastung
DATENSCHUTZ
Flash-optimierte Konfiguration
mit XDP
SCHREIBBARE SNAPSHOTS
Sofortkopien bei voller
Performance
XtremIO Daten Services Flash-optimierte Datenservices
26 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
XtremIO Data Protection (XDP)
Keine Konfiguration notwendig
Keine Hot Spares notwendig
RAID Rebuilding nach Ausfall
Schnelles Rebuilding, max. 50 Minuten, je nach Array Füllstand
27 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
XtremIO revolutioniert die Snapshots • Erweiterte Sicht auf die
Möglichkeiten – Nicht “Wieviele Kopien darf ich haben?”
sondern “Wieviele Kopien möchten Sie?”
• Jede Topology • Identische Leistung • Keine zus. Kapazität notwendig!!! • Keine aufgeblasenen Metadaten
PRODUCTION PARENT VOLUME
BACKUP VOLUME
DEVELOPMENT/TEST/QA (WRITABLE CLONES)
CLONE A TIME 1
CLONE B TIME 1
CLONE C TIME 1
CLONE B TIME 2
CLONE C TIME 2
CLONE C TIME 2
28 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Inline “Data at Rest” Verschlüsselung
• XtremIO Daten sind geschützt und sicher! – Eingesetzt werden selbst-verschlüsselnde SSDs mit AES256
Encryption – SSDs sind unlesbar wenn sie gezogen werden,
aus der XtremIO – Array-level Management sichert SSDs’
media encryption key • Verfügbar auf allen 20TB und neuen 10TB Encryption X-Bricks • Einfach, Kostenfrei und ohne Performance Auswirkungen!
29 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
XtremIO Konfiguration Nur ein Bildschirm – Keine Planung und kein Tuning notwendig
3 MAP VOLUMES 2 CREATE
INITIATOR GROUPS 1 CREATE
VOLUMES
30 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Monitoring CLI, REST API, vCenter Plugin, SNMP
PERFORMANCE
MONITORS
HARDWARE MONITORS
CAPACITY METRICS
ALERTS
31 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
XtremIO Kunden-Erfahrungen “We had eight racks worth of storage at
our site running 10,000 VMs. Running XtremIO we have half a rack worth. The difference is staggering.”
“XtremIO ist für uns genau die richtige Infrastruktur um die Telekom “Managed Workplace” VDI Plattform zu realisieren. Damit wollen wir wachsen!”
“It used to require eight minutes to deploy one 40 GB virtual desktop image. By comparison, with XtremIO it takes 17 seconds. It blew our mind.”
“A single copy of our database takes up 1.6TB. 20, 30, 40 copies of the database— they still take up only 1.6TB and the performance is on par with production. It’s almost like providing free databases for our developers. This completely solves our dev/test challenge.”
32 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
SIMPLE DATA SERVICES
Das EMC Speicher Angebot
Tightly Coupled
Scale-Out VMAX
VNX
Isilon
XtremIO
Atmos
ADVANCED DATA SERVICES
Data Domain Avamar & NetWorker
33 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
EMC ScaleIO Softwaredefiniertes konvergiertes Server-SAN
Software zur Erstellung eines server-basierten SAN aus lokalem Speicher zur Bereitstellung von Performance und Kapazität nach Bedarf
Schafft einen virtuellen Speicherpool mit verschiedenen Performance-Tiers
Medienunabhängig: Nutzt beliebige HDDs, SSDs und PCIe-Flash-Karten
Serverunabhängig: Auf vorhandenen physischen und virtuellen Anwendungs-servern installiert
34 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Ohne ScaleIO Mit ScaleIO
1.000 IOPS 10 TB 100 IOPS
1 TB 100 IOPS
1 TB 100 IOPS
1 TB 100 IOPS
1 TB 100 IOPS
1 TB 100 IOPS
1 TB 100 IOPS
1 TB 100 IOPS
1 TB 100 IOPS
1 TB 100 IOPS
1 TB
2.000 IOPS 20 TB
100 IOPS 1 TB
100 IOPS 1 TB
100 IOPS 1 TB
100 IOPS 1 TB
100 IOPS 1 TB
100 IOPS 1 TB
100 IOPS 1 TB
100 IOPS 1 TB
100 IOPS 1 TB
100 IOPS 1 TB
35 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
ScaleIO macht aus DAS ein Server-SAN
Performance – massiv parallele I/O-Verarbeitung
Elastizität – direktes Hinzufügen/Entfernen von Servern und Kapazität
Konvergenz von Speicher und Datenverarbeitung Scale-out auf Tausende von Servern
36 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Konvergenz Vereinfachen Sie Ihre Rechenzentrumsarchitektur
Führen Sie Speicher- und Datenverarbeitungsressourcen in einer Single-Layer-Architektur zusammen.
Aggregieren Sie Kapazität und I/O-Performance.
Machen Sie Speicher so universell wie CPU und RAM.
Konsolidieren Sie Speicher und Anwendungen auf x86- und ARM-Hardware.
Server
Netzwerk
Speicher
Konvergierte Architektur
37 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Skalierbarkeit Enorme Skalierbarkeit auf
Tausende von Knoten Modulares Hinzufügen von
Speichergeräten und Servern für mehr Kapazität und Performance
Automatische Ausrichtung des Speicherwachstums an den Anwendungsanforderungen
38 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Elastizität Direktes, dynamisches Hinzufügen,
Verschieben und Entfernen von Speicher- und Datenverabeitungs-ressourcen ohne Ausfallzeiten
Keine Kapazitätsplanung erforderlich Gemeinsame Nutzung
unterschiedlichster: – Servermarken – Konfigurationen – Betriebssystemplattformen (physisch und
virtuell) – Medientypen
39 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Performance Massiv parallele I/O-Verarbeitung
Verteilung der I/O-Verarbeitungslast auf alle Server
Automatische Wiederherstellung und Neuverteilung
Autonomes Management von Performance-Hotspots und Datenlayout
Speicher-Tiering
Beseitigung von I/O-
Engpässen
40 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
ScaleIO-Umgebung Kein Array, keine Switching Fabric, keine HBAs erforderlich
FLEXIBLE ERWEITERUNG
41 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Automatische Neuverteilung Dynamisches Hinzufügen von Knoten oder Festplatten – automatische Migration und Neuverteilung von Speicher
42 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Automatische Neuverteilung Dynamisches Entfernen von Knoten oder Festplatten – automatische Migration und Neuverteilung von Speicher
43 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Einfaches Management und einfache Überwachung Skripts für automatisierte Installation
und einfache Konfiguration Jeder IT-Administrator kann den
gesamten Stack des Rechenzentrums verwalten
Call-Home und Vorfallsberichte
Selbstreguliertes Datenlayout, Performanceoptimierung und Recovery nach HW-/SW-Fehlern – kein Eingriff durch einen Administrator erforderlich
44 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
IOPS-Begrenzung Quality of Service
Management
Enterprise-Funktionen Für “Infrastructure as a Service”
Beschreibbare Snapshots für
Backups
Protection Domains für
isolierte Server und Datasets
Speicher-pools für Tiering
Kontrolle über Performance, Kapazität und Datenspeicherorte
Einfache Data-at-Rest-Ver-schlüsselung für Sicherheit
ANW. 1
ANW. 2
ANW. 3
45 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.
Fazit Wie Sie mit ScaleIO Ihre TCO senken
1. Handelsübliche Hardware
2. Keine dedizierten Speicherkomponenten (FC-Netzwerk, HBAs usw.)
3. Weniger Strom-, Kühlungs- und Platzbedarf
4. Keine „Forklift“-Upgrades für EOL-HW
5. Weniger Verwaltungsoverhead
6. Lineare Investitionen nach dem „Pay-as-you-grow“-Ansatz mit planbaren Kosten