sonas - jako elektroniczna skarbonka na pliki

27
Marcin Drożan Storage Client Technical Specialist SONAS - jako elektroniczna skarbonka na pliki

Upload: ibm-software-polska

Post on 20-Aug-2015

235 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: SONAS - jako elektroniczna skarbonka na pliki

Marcin Drożan

Storage Client Technical Specialist

SONAS - jako elektroniczna skarbonka na pliki

Page 2: SONAS - jako elektroniczna skarbonka na pliki

Agenda

• Trendy na świecie - Epoka PB

• NAS – rodzaje

• SONAS – Architektura

– Zasada działania

– Backup

– HSM

– Disaster recovery

Page 3: SONAS - jako elektroniczna skarbonka na pliki

3

Budżety na storage wzrosnąo 1%-5% w 2011

Lawinowy wzrost ilości informacji

Zapotrzebowanie na storage rośnie 20-40% rocznie

Ilość informacji podwaja się co 18-24 miesiący

2000 2005 2010 2015

Terabajty

Petabajty

Exabajty

Zettabajty

Gigabajty

Page 4: SONAS - jako elektroniczna skarbonka na pliki

Epoka Petabajtów

50TB = zdjęcia dodane do Facebook każdego miesiąca

500 TB = wszystkie filmy na YouTube

1 PB = ilość danych przetwarzanych przez Google w ciągu 2 godzin

15 PB = Ilość danych tworzonych codziennie na świecie

4

Page 5: SONAS - jako elektroniczna skarbonka na pliki

Dane plikowe – szybszy wzrost

Źródło: IDC, State of File-Based Storage Use in Organizations: Results from IDC's 2009 Trends in File-Based Storage Survey: Dec 2009: Doc # 221138

Worldwide Storage Capacity Shipped by Segment, 2008–2013

Storage plikowy rośnie 4 razy szybciej niż storage blokowy

Tylko 20% danych to dane ustrukturyzowane

- DB2, Oracle, MS SQL Server

-SAP, CRM, ...

Reszta to dane częściowo ustrukturyzowanelub nieustrukturyzowane

- Filmy, zdjęcia, dokumenty aplikacji biurowych, strony www, itd.

5

Page 6: SONAS - jako elektroniczna skarbonka na pliki

Klasyczny NAS

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Filer Filer

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

NameSpace

#1

PrimaryFiler

SecondaryFiler

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Filer Filer

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

NameSpace

#2

PrimaryFiler

SecondaryFiler

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Filer Filer

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

NameSpace

#3

PrimaryFiler

SecondaryFiler

ScaleUp

ScaleUp

ScaleUp

Każdy filer tworzy osobny namespace. Brak współdzielenia zasobów pomiędzy różne klastryFailover wystepuje tylko pomiędzy primary kontrolerem a secondary kontrolerem

Klaster#1

Klaster#2

Klaster#3

6

Page 7: SONAS - jako elektroniczna skarbonka na pliki

Skalowalny NAS

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Filer Filer

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

NameSpace

#1

PrimaryFiler

SecondaryFiler

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Filer Filer

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

NameSpace

#2

PrimaryFiler

SecondaryFiler

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Filer Filer

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

NameSpace

#3

PrimaryFiler

SecondaryFiler

ScaleUp

ScaleUp

ScaleUp

Klaster#1

Klaster#2

Klaster#3

Virtual Global Namespace (software)#1

7

Page 8: SONAS - jako elektroniczna skarbonka na pliki

IBM Scale Out NAS Storage (SONAS)

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

S. Node S. Node

Disk Enclosure

Disk Enclosure

Disk Enclosure

IF NodeIF Node

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

S. Node S. Node

Disk Enclosure

Disk Enclosure

Disk Enclosure

IF Node IF Node

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

Disk Enclosure

S. NodeS. Node

Disk Enclosure

Disk Enclosure

Disk Enclosure

IF NodeIF Node

ScaleUp

ScaleOut

I L M

Globalny klaster

Infiniband

Logical Storage Tier Gold

Logical Storage Tier Silver

Logical Storage Tier Copper

Wielestorage nodówpracuje

równolegle

Dane rozmieszczone na wszystkich

dyskach storage pooli

Zagregowany odczyt/zapis

8

Page 9: SONAS - jako elektroniczna skarbonka na pliki

9

CIFS ClientsCIFS

Clients

HTTP ClientsHTTP Clients

FTP ClientsFTP

Clients

NFS ClientsNFS

Clients

Management Node

Management Node

Interface Node

Interface Node ...

...

“Cloud” IP Network

Tape

Interface Node

Interface Node

Internal Network - IP and Infiniband

Storage Node

Storage Node

Storage Pod

Storage Node

Storage Node

Storage Node

Storage Node

Storage Pod

High Density Storage Array

Storage Node

Storage Node

GPFS Server

GPFS Client GPFS Client GPFS ClientGPFS Client GPFS Client

GPFS Server GPFS Server GPFS Server

Future possible

node types

High Density Storage Array

• Skalowalność

• Różne warstwy storage

• Wirtualizacja do jednego systemu

• Prostota:

tylko 3 bazowe komponenty

Nody Zarządzający

Nody Interfejsów

Storage Nody High Density Storage Array

High Density Storage Array

SONAS - architektura

Future possible

node types

IP

Disk

Dedup

9

Page 10: SONAS - jako elektroniczna skarbonka na pliki

SONAS Appliance

W pełni zintegorwany Appliance

14.4 PB

30 Nodów z intrfejsami(1GbE i 10GbE do klientów)

60 Storage Nodów (8GB FC)

7200 Dysków

Prywatna sieć Infiniband

42 GbE Switch #241 GbE Switch #1

4039383736 36-port IB

35 36-port IB #1

34333231302928272625242322 1U Blank Filler Panel

21 Keyboard, Video, Mouse

2019181716151413121110987654321

Management Node #1

iPD

U

iPD

U

Management Node #2

Interface Node #6

Interface Node #5

Interface Node #4

Storage node #2

Storage node #1

iPD

U

Storage Controller #2.1

Disk Storage Expansion Unit #1.2

Storage Controller #1.1

iPD

U

Disk StorageExpansion Unit #2.2

Interface Node #3

Interface Node #2

Interface Node #1

10

Page 11: SONAS - jako elektroniczna skarbonka na pliki

SONAS - rozszerzenia

Node Expansion

• Do 30 nodów interfejsów

• Prywatna sieć Infiniband:

• Szybka (20 Gbps)

• Z niskimi opóźnieniami

Storage Expansion

• Na parę storage nodów może przypadać do 240

dysków,

• Maksymalnie 7,200 dysków twardych

Interface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface Node

Switches

Storage NodeStorage Node

60 Disks

60 Disks

60 Disks

60 Disks

Storage NodeStorage Node

60 Disks

60 Disks

60 Disks

60 Disks

Switches

Gęsta konfiguracja I/O

Gęsta konfiguracja storage

11

Page 12: SONAS - jako elektroniczna skarbonka na pliki

/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt

… … …>

….. ….. ...

scaleout

scaleout

SONAS -Tworzenie i zapisywanie plików

/home/appl/data/web/wazny_duzy_skoroszyt.xls

/home/appl/data/web/duze_video.mpg

/home

/appl

/data

/web

/home/appl/data/web/wazny_duzy_skoroszyt.xls

/home/appl/data/web/duze_video.mpg

IBM Scale Out NAS

Policy EngineGlobal Namespace

Wszystkie 3 pliki znajdują się w tym

samym katalogu, ale każdy rezyduje na

innej fizycznej storage pooli

Dane rozrzucone pomiędzy wszystkie

dyski w storage pooli.

Wysoka wydajność, auto-tuning, auto-

load balancing

Tier 1: SAS drives Tier 2: 1TB SATA drives Tier 3: 2TB SATA drives

Interface nodes

Interface nodes

Interface nodes

Storage nodes

Storage nodes >Storage

nodes

12

LogicznaFizyczna

Page 13: SONAS - jako elektroniczna skarbonka na pliki

SONAS – Równoległe czytanie plików przez wielu użytkowników

/home

/appl

/data

/web

/home/appl/data/web/wazny_duzy_skoroszyt.xls

/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt

/home/appl/data/web/duze_video.mpg

Global NamespacePolicy Engine

Tier 1 Tier 2 Tier 3

IBM Scale Out NAS

… … …>

….. ….. ...

scaleout

scaleout

Interface nodes

Interface nodes

Interface nodes

Storage nodes

Storage nodes >Storage

nodes

Równoległy streaming odczytów wielu plików

do wielu użytkowników

LogicznaFizyczna

13

Page 14: SONAS - jako elektroniczna skarbonka na pliki

SONAS – skanowanie systemu plików

• Kiedy liczba plików i storage’u rośnie do petabajtów….

• Wyzwaniem staje się skanowanie file systemu na tyle szybko aby zidentyfikować pliki, które muszą być:– Zmigrowane do innej storage pooli,– Przekopiowane do remote site’u– Przywrócone– Skasowane– Zbackupowane

• Skan musi być ekstremalnie szybki i wydajny– Aby umożliwić autoamtyczne migrowane pomiędzy różne tier– Zarówno na poziomie TB jak i PB

14

Page 15: SONAS - jako elektroniczna skarbonka na pliki

SONAS – skanowanie systemu plików

Storage nodesStorage nodesStorage nodes Storage nodesStorage nodesStorage nodes

Interface nodesInterface node

Interface node

Interface node

Global Namespace

Wszystkie nody(zarówno

storage’owe jak i interfejsów) moga

uczestniczyć w równoległym skanowaniu

ScaleOut

Skan metadanych

Skanowanie > 15 millionów plików na

minutę

/home

/appl

/data

/web

Tier 1 Tier 2 Tier 3

Policy Engine

•Silnik skanowania czyta wewnętrzne metadane systemu plików w SONAS• Nie musi czytać plików ani drzewa katalogów•Wszystkie nody mogą równolegle skanować metadane

1. Początek skanowania

2. Odczyt polityk

3. Równoległy skan 4. Zwrot wyników skanowania

IBM Scale Out NAS

15

Page 16: SONAS - jako elektroniczna skarbonka na pliki

16

SONAS – automatyczne przenoszenie danych

• Po zidentyfikowanie plików do przeniesienia do innej „warstwy” storage’u– Silnik równoległego przenoszenia danych fizycznie przemieszcza dane do:

• innych storage pool• Innych site’ów• Do zewnętrzych zasobów HSM• Etc.

– Pliki są zawsze dostępne nawet podczas ich przenoszenia– Po fizycznym przeniesieniu nie zmienia się logiczna ścieżka do plików

• Każdy nod może uczestniczy w procesie przenoszenia danych– Aby przeprowadzic fizyczną migrację danych do nowych miejsc docelowych jak najszybciej– Pliki mogą być przenoszone do szybszych lub wolniejszych logicznych warstw storage’u w oparciu o

polityki związane z• Dostępem do pliku, wielkością, wiekiem itp.• USER ID, Group ID, typem pliku, etc.

• Wewnętrzne ruchy danych w SONAS wykonywany jest przy użyciu tylko i wyłącznie oprogramowania SONAS

– Nie jest potrzebny żaden serwer TSM jeśli ruch danych odbywa się na wewnętrznych dyskach SONAS

Page 17: SONAS - jako elektroniczna skarbonka na pliki

Storage nodesStorage nodesStorage nodesStorage nodes Storage nodesStorage nodes

Interface nodesInterface

nodeInterface

nodeInterface

node

Global Namespace

6. Wszystkie nody mogą uczestniczyć

w przenoszeniu danych

ScaleOut

/home

/appl

/data

/web

Tier 1 Tier 2 Tier 3

5. Wykonaj wynik skanowania

Policy Engine

Żaden z plików nie zmienił swojego

logicznego położenia

IBM Scale Out NAS

SONAS – automatyczne przenoszenie danych

/home/appl/data/web/wazny_duzy_skoroszyt.xls

/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt

/home/appl/data/web/duze_video.mpg

17

Page 18: SONAS - jako elektroniczna skarbonka na pliki

18

SONAS – przyspieszenie backup’u

• IBM Scale Out NAS ma specialny mechanizm do szybkiego backupu z wykorzystaniem Tivoli Storage Managera

• Silnik skanowania w SONAS identyfikuje inkrementalne zmiany w systemie plików a następnie przekazuje listę zmienionych bloków bezpośrednio do TSM – Nie ma potrzeby skanowania całego drzewa katalogów

– Skracane jest okno backupowe do czasu wymaganego na przegranie tylko zmienionych danych

Tivoli StorageManager

backup server

Wyniki skanowania

IBM Scale Out NAS

•Wszystkie urządzenia TSM-supported:

•ProtectTier de-dup•Virtual Tape Library•Tape

Dane

Page 19: SONAS - jako elektroniczna skarbonka na pliki

SONAS – przyspieszenie backup’u

… …

… …

/home

/appl

/data

/web

IBM Scale Out NAS

Global NamespacePolicy Engine

Tier 1: SAS drive Tier 2: SATA drives

Storage node

Storage node

Tivoli StorageManager

Interface node

1. Skanowanie –identyfikacja

zmienionych bloków

Interface node

3. TSM wykonuje bezpośrednie LAN IO aby przenieść backup na taśmy, VTL, albo urządzenia z deduplikacją

2. Przekazanie listy zmienionych bloków do

TSM

/home/appl/data/web/wazny_duzy_skoroszyt.xls

/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt

/home/appl/data/web/duze_video.mpg

19

Page 20: SONAS - jako elektroniczna skarbonka na pliki

20

SONAS -Hierarchical Storage Management

• IBM Scale Out NAS dostarcza mechanizm Hierarchical Storage Management na taśmach w oparciu o wewnętrzne polityki– Silnik skanowani identyfikuje nieaktywne pliki, które mogą byc przeniesione na taśmy– Następnie przekazuje wyniki do Tivoli Storage Manager / Hierarchical Storage Manager

(TSM/HSM)– Stub file zostaje na dysku – auto-recall wykonywany jest w momencie dostępu do pliku

• „Store petabytes of data, on terabytes of disk”

Migracja nie aktywnych plików na taśmy, VTL urządzenia deduplikujące

TSM/HSMServer

IBM Scale Out NAS

Wyniki skanowania

Dane

Page 21: SONAS - jako elektroniczna skarbonka na pliki

Site A

SONAS A

Site B

WideArea

Network

SONAS B

Funkcje DR• Replikacja w oparciu o

rsync• Tylko zmienione bloki

• Asychroniczny mirroring

lub• sychroniczny mirroring

> 50m

SONAS – Disaster recovery

21

Page 22: SONAS - jako elektroniczna skarbonka na pliki

SONAS – Disaster recovery

… …

… …

/home

/appl

/data

/web

IBM Scale Out NAS

Global NamespacePolicy Engine

Tier 1: SAS drive Tier 2: SATA drives

Storage node

Storage node

Remote Scale Out NAS

Interface node

2. Skanowanie, porównywanie hashy

Interface node

hash

hash

Na podstawie porównania hashy generowane są

inkrementalne zmiany do wysłania

1. Odczytywanie polityk

3. Równoległe przsyłanie do zdalnej lokalizacji

Remote Scale Out NAS

/home/appl/data/web/wazny_duzy_skoroszyt.xls/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt

/home/appl/data/web/duze_video.mpg

22

Page 23: SONAS - jako elektroniczna skarbonka na pliki

Pojedyńczy , zintegrowany wizardinstalacji

Cały klaster instalowany z jednego DVD z jednego noda

Health Center/Cluster monitoringSystem LogAlert LogTopology

IBM SONAS Console SettingsUtilization ThresholdsScheduled tasksUstawienia powiadomień

SONAS – zarządzanie

23

Page 24: SONAS - jako elektroniczna skarbonka na pliki

24

SONAS – modularna skalowalność i niezawodność

Interface Node Interface Node Interface Node Interface NodeInterface Node

Netzwerk Sieć IP (CIFS/NFS)

SONASCIFSCIFS NFSv3NFSv3 HTTPSHTTPS FTPFTP

SONASCIFSCIFS NFSv3NFSv3 HTTPSHTTPS FTPFTP

Storage Node Storage Node Storage Node

InfinibandInfiniband

SONAS CIFSCIFS NFSv3NFSv3 HTTPSHTTPS FTPFTP

Storage Node

Jeden widok danych niezależnie od miejsca i czasu

Modularne możliwości rozbudowy wydajności i

pojemności

Odporność na awarie!

Page 25: SONAS - jako elektroniczna skarbonka na pliki

25

$$ $$ $$ $$

Automatyczne umieszczanie danych na właściwym storage’u, w oparciu

o wartość danych dla klienta

Niewidoczne przenoszenie danych

Optymalizacja hardware’u i software’u, oszczędności energi i miejsca

Szybki backup i replikacja

Szybka identyfikacja zmienionych danych

SONAS

Page 26: SONAS - jako elektroniczna skarbonka na pliki

SONAS

• Ujednolicony system zarządzania PB storage’u

• Globalny dostęp do danych niezależnie od lokalizacji

– Globalny namespace dla PB danych

• Dostarcza rozwiązanie, które rosnie wraz z wymaganiami

– Rozszerzalna pojemność, wydajność,– Globalny wirtualny serwer plików– Rozbudowa w oparciu o standardowe moduły

• Wysokie ROI – Zuważalna redukcja kosztów przez auto-tune,

auto-balancing , HSM

Page 27: SONAS - jako elektroniczna skarbonka na pliki