Применение файловой системы Lustre для обработки сейсмоданных

Всеволод Шабад, «СетьПроект»

Обработка сейсмоданных: особенности

Огромные объемы данных •сотни ТБ

Постоянный рост объемов данных •десятки и сотни % в год

Высокая скорость последовательного доступа •единицы ГБ/с

Множественный параллельный доступ •десятки вычислительных узлов под Linux

2

Спектр решений для обработки сейсмики

Открытый протокол NFS: • EMC Isilon

• NetApp FAS

• Hitachi HNAS

• IBM SONAS

• Panasas ActiveStor (NFS)

• Quantum StorNext (NFS)

• Quantum Lattus

• HP StoreAll 9XXX (Ibrix)

Закрытые протоколы: • Panasas ActiveStor (PanFS)

• IBM GPFS

• Lustre

• Quantum StorNext

+ дисковые массивы • IBM DCS3700/DS3500

• NetApp E5500/E2700

• EMC VNX

• Hitachi HUS

• Fujitsu Eternus DX

• Dell PowerVault MD

• …

3

Panasas ActiveStor

Сильные стороны: •репутация на рынке HPC

(high-performance computing) •высокая производительность •простота управления •мгновенные снимки •графическая консоль управления

Слабые стороны: •возможная потеря данных •логистические сложности в России

4

IBM GPFS

Сильные стороны: •высокая производительность •мгновенные снимки, пулы хранения

Слабые стороны: •сложность настройки •множество недокументированных

параметров •отсутствие графической консоли управления •дороговизна лицензий и техподдержки •перегрузка служб техподдержки

5

Quantum StorNext

Сильные стороны: •высокая производительность •мгновенные снимки, дедупликация, уровни

хранения •графическая консоль управления

Слабые стороны: •неустойчивое финансовое положение •дороговизна лицензий и техподдержки •единственный (!) Presale-специалист

на всю Европу •перегрузка служб техподдержки •логистические сложности в России

6

Сильные стороны: •высочайшая производительность •высочайшая масштабируемость •графическая консоль управления •бесплатность лицензий и дешевизна

коммерческой техподдержки •возможность работы с любыми массивами

Слабые стороны: •нет снимков, пулов хранения, дедупликации •мало публичных историй успеха

в нефтегазовой отрасли

7

Intel Lustre*

Масштабируемость Lustre — 1.5 ТБ/с

8

Опыт применения Lustre для сейсмики

DownUnder Geosolutions (Australia) •Сluster size: 12’000 cores •Storage size: 1.5 PB • I/O performance: 10 GB/s

Total S. A. (France) •Сluster size: 110’592 cores •Storage size: 7 PB

9

Lustre File System — история и команда

1999 --- Университет Карнеги-Мелон

2003 — Cluster File Systems, Inc.

2007 --- Sun Microsystems, Inc.

2010 --- Oracle Corporation

2010 --- Whamcloud

2012 --- Intel Corporation

10

Peter Braam

Eric Barton Andreas Dilger Brent Gorda

«СетьПроект» — партнёр Intel в России

11

Стоимость техподдержки — 7000 USD в год за OSS

Спектр возможных дисковых массивов

NetApp E2700, E5500

IBM DS3500, DCS3700

Dell PowerVault MD

Fujitsu Eternus DX

EMC VNX

Hitachi HUS, HUS VM

HP P2000

12

Архитектура Lustre Metadata Server

(MDS) - Active

Metadata

Target (MDT)

Lustre Clients

Object Storage

Servers (OSSs)

Object Storage

Targets (OSTs)

Metadata Server

(MDS) – Standby Lustre Gateway

Corporate Network

IEEL Management

Server

13

DC AC DC AC

1

1

2750W 750W

iDRAC

2 3 4

3

CX4 10Gb

Card1

1

2750W 750W

iDRAC

2 3 4

3

CX4 10Gb

CardDua

lS

AS

Dua

lS

AS

Host 21

ID/Diag

LnkLnkLnkLnkPort 2Port 1 Lnk Lnk

DriveExpansion

Host 21

ID/Diag

LnkLnkLnkLnkPort 2Port 1 Lnk Lnk

DriveExpansion

Хранение метаданных

MDT: NetApp® E2724 Storage Array

4 x 12 Gb/s SAS

MGS / MDS - Primary (Active) MGS / MDS - Secondary (Standby)

Active-Passive cluster

14

Хранение данных

OSTs: NetApp® E5560 / DE6600 Storage Array

2 x 40 Gb/s

Infiniband

1

1

2 750 W 750 W

i D R AC

2 3 4

3

CX 4 10 Gb

Card 1

1

2 750 W 750 W

i D R AC

2 3 4

3

CX 4 10 Gb

Card

D

u a

l

S

A S

D

u a

l

S

A S

LUNs 0,2,4,6,8,10 LUNs 1,3,5,7,9,11 OSS1 - Active OSS2 - Active

Active-Active cluster

15

Ёмкость и производительность

Component Hardware Interconnect (between the servers

and NetApp arrays)

Disk Drives

MDS IBM Servers (64 GB RAM)

12 Gb/s

SAS

MDT E2724 12 Gb/s

SAS

24 x 600 GB

2.5” 10K RPM

OSS IBM Servers (32 GB RAM)

40 Gb/s

Infiniband

OST(s) E5560 40 Gb/s

Infiniband

60 x 4 TB

3.5” 7200 RPM

OST(s) DE6600 40 Gb/s

Infiniband

60 x 4 TB

3.5” 7200 RPM

347 TB usable, 5.6 GB/s writes, 6 GB/s reads — RAID-6

16

Управление и мониторинг

17

Знания •различных систем

хранения данных •специфики различного

геофизического ПО

Опыт разнообразных проектов

Партнерство с вендорами

Технологии управления проектами

Особенности «СетьПроекта»

18

Услуги «СетьПроекта»

Помощь в постановке задачи •уточнение

исходных данных •выявление

неочевидных ограничений •организация

тестовых стендов

Внедрение СХД •проектирование •поставка •развертывание

Сопровождение СХД

19

Бежим вместе?

20