Местные мифы о хранении больших данныхДмитрий Алексеев

Объем хранимой цифровой информации растет на 50% в год!

По оценкам, в 2009 г. в мире имелось 0,8 Zettabytes

В 2010 г. их стало уже 1,2 Zettabytes

К 2020 г. ожидается 35 Zettabytes!

При этом:

- В IT бюджеты заложен рост 2-3%* (В России – больше)

*Source: IDC, White Paper Sponsored by EMC, The Digital Universe Decade - Are You Ready? Doc.# IDC_925, May 2010

Объем огромный, но структурируется не равномерно!

Почему в России Гб дороже?- Спасемся в облаке Ну да, в общем-то. Только «облако» должно на чем-то лежать . На чем?

- ЦОДы в России Как делать не надо

- Рубашка должна быть в тон костюму А может, кто-то хочет на Вас нажиться?

- За морем телушка - полушка Отчего же перевоз алтын?

Объем огромный, но структурируется не равномерно!

УНИВЕРСАЛЬНЫХ РЕШЕНИЙ НЕТ -Иерархическое хранение как разумный компромисс между скоростью и ценой/надежностью

250TB of storage

Tape

$946,405

$7

$3.5

$0

Mill

ion

s

SATA Disk

$6,365,950

Blended Disk and

Tape

$2,255,346

Hardware

Prod + DR Carts

Maintenance

Power & Cooling

Floor space

Combination Tape + Combination Tape + Disk leads to perfect Disk leads to perfect solutionsolution

– High capacity SATA disk can offer lower cost access to online data

– Tape is less expensive and consumes less energy, but is not often the best choice for online access to data

– A blended solution provides online access to the most recent data, with longer term storage on energy-efficient tape

Tape Ent.

$1/GBОборудование

SASDisk

SATA Ent.Disk

$2/GB

Потребляемая энергия

20w/TB 5w/TB 0.4w/TB

$0.5/GB

Как ЭФФЕКТИВНЕЕ хранить большие объемы

Стоимость комплекса оборудования

Стоимость корпоративных систем хранения при объёме ~1PB

Стоимость носителя

$0.1/GB

SATA Ent.Disk

Tape Ent

$0.4/GB

5w/TB ~0w/TB

Дисковая систем стоит в 2-4 раза больше чем ленточная библиотека и потребляет (а также требует охлаждения) в 10-50 раз больше чем библиотека при рекомендованном на 1ПБ количестве драйвов.

Таблица использует данные прайс-листа компании IBM на сентябрь 2011

Аналитики ‘’Clipper Group’’ посчитали, что стоимость владения Дисковой системой в 29 раз превышает стоимость владения

Ленточной, в основном за счет огромной разницы в энергопотреблении и охлаждении.

А ведь помимо цены есть и более важный вопрос надежности!

6 мифов о ленте – что из них правда?

Применение и РазвитиеЛента безнадежно устарелаНадежностьДисковые системы догнали ленточные по надежности и являются 100% гарантом сохранности данныхПроизводительностьЛенту редко используют потому что она медленнаяУправлениеПроцесс записи на ленту сложнее, чем на дискиЭнергопотреблениеСовременные дисковые массивы потребляют совсем не много энергии Условия храненияХранить ленту необходимо в специальных помещениях, при этом периодически перематывать

Компания FUJIFILM уже сейчас добилась 35 ТБ несжатой емкости на одном картридже!

НАДЕЖНОСТЬ - 99,9%

Ленточные картриджи и дисковые системы одинаковы по надежности - Безусловно нет.

Дисковые системы более уязвимы к физическому воздействию и сбоям энергоснабжения, по параметру Uncorrectable Bit Error Rate они уступают ленте в 10 000 раз, и срок их службы ограничен 3-4 годами, в то время как:

После 12 лет хранения — полностью читаемыми оказались 99,945% носителей (более 16 000 лент).

В 2010 году, в NERSC* было произведено считывание 14 805 823 метров магнитной ленты, что равняется расстоянию от г. Сан-Франциско до г. Перт (Австралия)В 14 файлах обнаружилось по одному нечитаемому блоку. Все 14 файлов в сумме занимали 108 метров магнитной ленты, что приблизительно равно длине самолёта Боинг 777, на котором можно долететь из Сан-Франциско в Перт.

*Национальный вычислительный центр энергетических исследований США

НАДЕЖНОСТЬ - 99,9%

Ленточные картриджи не являются 100% гарантом сохранности данных но:

У них нет постоянно вращающихся частей

У них нет электронных компонентов и управляющих контролеров (одна из проблемных частей жестких дисков)

Они устойчивы к ударным нагрузкам, так как в них отсутствуют хрупкие части – например, считывающие головки и микроэлектроника

Они не греются.

Даже с разорванной и спекшейся ленты можно снять данные

ПРОИЗВОДИТЕЛЬНОСТЬ

Ленту редко используют потому что она медленная?

Ultrium LTO 6без компрессии 160 Мбайт/сс компрессией 400 Мбайт/с

StorageTek T10000Cбез компрессии 240 Мбайт/сс компрессией 460 Мбайт/с

Сравнение СКОРОСТИ передачи данных

HDD

Tape 　 drive

Optical Disk

0 20 40 60 80 100 120 140

MB/sec

DVD-ROM 8×

PDD (read)

Blu-ray

SDLT600

DLT-S4

LTO Ultrium3

LTO Ultrium4

IBM TS1120

T10000

3.5" HDD 7.2K rpm

3.5" HDD 10K rpm

3.5" HDD 15K rpm

max sustained data rate

Используя в библиотеке одновременно несколько приводов можно значительно увеличить скорость за счет нескольких потоков записи

УПРАВЛЕНИЕ

Процесс записи на ленту такой же как на диск?ТЕПЕРЬ ДА

Исторически применялось специализированное ПО:Резервное копирование (пример BakBone)Иерархическое хранение (пример XenData)

Новая технология обращения к ленте LTFSТехнология партирования данных наружу в формате понятном стандартным файловым системам

УСЛОВИЯ ХРАНЕНИЯ

Хранить ленту необходимо в специальных помещениях, при этом периодически перематывать?

Начиная с 5 поколения LTO Ultrium – все изменилось.

Но даже предыдущие поколения лент могут гарантированно сохранять данные более 30 лет, что подтверждено историей и практикой их использования

FUJIFILM - технологии вдохновляют

Fujifilm invests nearly $4 million dollars every day in research and development, using its enormous library of proprietary chemistry and advanced thin-film engineering expertise to create new products and advance existing businesses as customer needs evolve.

Fujifilm Advanced Research Laboratories (opened in April, 2006) 　

Fujifilm’s Three Advanced Research Laboratories Fujifilm’s Three Advanced Research Laboratories

Fujifilm Advanced Research Lab

Advanced Core Technology Laboratories

Building future core technologies centered on photonics, nanotechnology, and functional materials Organic Synthesis Chemistry Research Laboratories

　 　　 Carrying out R&D related to highly functional organic materials in such fields

as the organic electronics and the medical imaging/ life-science fields Life Science Research Laboratories

Development of core technologies and products related to medical therapy and health

in such fields as protein/DNA analysis and diagnostic systems, drug discovery

and drug discovery support, regeneration therapy, and healthcare

Electronic Microscope Photos of the Magnetic Particles

NANOCUBIC TechnologyNANOCUBIC Technology

MP Barium ferriteMP

ATOMM TechnologyATOMM Technology

100 - 200 nm30 – 40 nm40 - 100 nm 6 – 8 nm

Fujifilm Confidential

Ultra Small Magnetic Particles

Почему в России Гб дороже, часть 2

- Рубашка должна быть в тон костюму А может, кто-то хочет на Вас нажиться?

- За морем телушка - полушка Отчего же перевоз алтын?

Спасибо за внимание!