100 летний архив

Ключевые слова

• проблема физического и логического хранения– проблема известна и понятна

• долговременное хранение означает около 10-15 лет– организации могут сохранять и мигрировать

форматы на этот период– для более длительного периода в процессе

возникают ошибки, его стоимость увеличивается, а объем информации избыточен

• необходимость длительного хранения реальна– около 80% опрошенных организаций имеют

необходимость хранить данные около 50 лет и 68% опрошенных около 100 лет

• помощь необходима– текущие практики слишком ручные,

слишком зависят от человеческого вмешательства, слишком дороги, слишком легко допустить ошибки и неадекватно координируется между внутренней информацией владеющей организации

– 58% опрошенных строго заметили, что IT профессионалы не имеют представления об требованиях к информации, которую они длительно хранят

4 пути как потерять информацию

• нельзя прочитать• нельзя интерпретировать• нельзя найти• нельзя проверить её правильность

2 основные технические задачи для длительного хранения

• физическая миграция это копирование объектов на новые устройства хранения с доступом и защитой от потерь

и• логическая миграция это перевод

объекта в новый формат хранения без потери смысла

Лучшие практики сегодня говорят о физической и логической миграции каждые 3-5 лет

Задача 100 летнего архива

• Если организации нужно сохранить сейчас 1,000 TB (1 PB), то согласно этой практике через год ей нужно будет хранить на 50% больше, а через 3 года 2,25PB

• Сегодня практики масштабирования архива затратны и неэффективны, и не будут исполняться пока не наступит кризис

• Сегодня мировая цифровая информация находится под значительным риском

Об аудитории исследования

• 276 организаций из IT, RIM (Record and Information Manager), архивов, законодателей, безопасности и бизнеса по всему миру

• длился 3 месяца с ноября 2006 по январь 2007 года

• было задано 63 вопроса

Информация о методологии исследованияИсследование проводилось в сети

интернет.Респонденты были анонимны за исключением информации, необходимой для выяснение требований к хранению.Опросник состоял из 63 вопросов, в которых были и такие, где требовалось ввести ответ в поле, не все респонденты ответили на все вопросы.

Какие самые болевые точки при длительном хранении данных?

Миграция данных

12% Классификация

8%

Поддержка читаемости

10% Отсутствие поддержки со стороны работников

7%

Устаревание технологий/Обновление

10% Проблемы обнаружения/удаления

6%

Отсутствие бизнес поддержки/сообщества

10% Слишком много широко используемых форматов

6%

Цена 9% Отсутствие экспертизы/науки

5%

Требования к длительному хранению

• Драйверы развития– риск перед законом– соответствие требованиям– бизнес риски– риски безопасности– сохранение истории организации

Требования к длительному хранению

• преодоление барьеров/недостатков– менеджмент высшего звена– поддержка читаемости

• физической и логической миграции

– взаимодействие между обладателями информации и администраторами

– стоимость и сложность– статус профессионала

Требования к длительному хранению

• Необходимости практиков– решение физической и логической

миграции– решение появления новых технологий– усовершенствовать ожидания бизнеса– уменьшить оперативные затраты– лучшие инструменты управления– лучшее взаимодействие

Требования к длительному хранению

• Технологические проблемы– решение задач физической и логической

миграции– решение задачи поддержания

масштабирования с увеличением объема– классификация информации– включение исходной информации и

метаданных– взаимодействие с

появляющимися/изменяющимися/широко используемыми технологиями

– включение баз данных и почты– включение широко используемой

информации– лучшее нахождение и удаление

(информации)

Примеры основных болевых точек

• нежелание IT удалять данные• риск деградации• миграционные проблемы• стоимость и выгоды от обсуждения и миграции• отсутствие хороших решений длительного

хранения• нежелание менеджеров высшего звена видеть

проблему• отсутствие знания у персонала и IT реальных

требований к хранению• захват метаданных

Примеры основных болевых точек

• риск • скудные/несодержательные метаданные• гибкие технологии• организационная структура и начальство• потеря координации между IT и RIM• широко используемые технологии• отсутствие стандартов• проприетарные форматы

Опрошенные организации по типу

негосударственные организации;

21.7

государственные агенты; 32ИТ компании; 24.2

Интеграторы; 12.5

Продавцы, профессиональны

е сервисы; 6.4 Другие; 3.2

Какую индуструию представляют респонденты

Биотехническая/Фармацевтическая/Химическая

Правовая

Банковская/Финансовая/страховая

Инженеринг/ Научные исследования

Электрическая/Телекоммуникационная/

Энергетическая/Коммунальная

Церковная/Библиотечная/Музейная

Производственная

ИТ аутсорсинг/Консалтинг/Услуги

Государство

Другие

Образование

0 5 10 15 20 25

География респондентов

Глобальные компании

Южная Америка

Центральная Америка

Австралия/ Новая Зеландия

Африка

Средний Восток

Юго-Восточная Азия

Азия

Европа

Северная Америка

0 10 20 30 40 50 60 70 80 90

4.1

0.4

0.7

2.2

0

0

0.4

3

7

84.1

Профессия респондента

Законник

Консультант

Представители бизнеса

Архивариусы

Безопасник

Управление данными

Архитекторы

ИТ

0 5 10 15 20 25 30 35 40 45

0.8

4.2

18.3

20.2

0.4

40.3

3.4

11

На какой стадии находятся респонденты

Пытаемся начать

Пытаемся соблюдать требования

Создаем стратегию хранения и исследуем

Проводим анализ записей

Набираем команду для реализации архива

учимся, коснультруемся созданию архива

Управление лучшими архивными практиками

Создание ИТ инфрастркутуры для архива

Изменение сохранения и хранилища

Установка требований к процедурам

0 5 10 15 20 25 30

Что для респондентов означает длительное

хранение

> 100 лет

> 50 - 100 лет

> 21 - 50 лет

> 11 - 20 лет

> 7 - 10 лет

> 3 - 6 лет

0 5 10 15 20 25 30 35 40 45

Что означает хранить долго в зависимости от

работы

> 100 лет

> 50 - 100 лет

> 21 - 50 лет

> 11 - 20 лет

> 7 - 10 лет

0 10 20 30 40 50 60 70 80 90

Специалисты в области управления даннымиИТПредставили бизнесаАрхивариусыЗаконники

Внешние факторы развития архива

Другие

Безопасность

Бизнес риски

Соответствие требования

Закон

0 10 20 30 40 50 60 70

50

38

52

55

60

5 основных факторов развития архива

• защита и сохранение истории организации

• ответ на требования регулятора• проблема с судебной защитой• защита бизнес или

интеллектуальной собственности• защита информации о клиентах

Информация, которая требует длительного

хранения

Производственные записи

Геопространственные/Геофизические

Записи разработки

Письма

Финансовые записи

Архив баз данных

Государственные записи

Записи организации

Записи клиентов

Исходные данные

0 5 10 15 20 25 30

3

4

4

4

5

6

11

18

19

25

Приложение под риском длительного чтения

Личные приложения для повышения продуктивности

ECM системы

Другие

Почта

Записи клиентов

Финансовые приложения

Специализированные бизнес приложения

Базы данных

0 10 20 30 40 50 60 70 80 90

Как хранятся данные респондентов для

длительного хранения

Аутсорсится

Другое

Региональные датацентры

Локально

На складах

Центральный датацентр

0 10 20 30 40 50 60

Как используют респонденты магнитные ленты для длительного хранения

> 15 лет

15 лет

10 лет

5 лет

1 год

< 1 год

0 5 10 15 20 25 30 35 40

С подключением к сетиБез подключения к сети

Как используют респонденты диски для длительного хранения

> 15 лет

15 лет

10 лет

5 лет

1 год

< 1 год

0 5 10 15 20 25 30 35 40 45 50

Магнитный дискОптический диск

Рейтинг бизнес требований для

длительного хранения

Координация

Стоимость контроля

Юридическое открытие

Миграция

Конфиденциальность/Приватность

Доступность

Возможность прочитать/

Интерпритировать информацию

0 10 20 30 40 50 60 70 80 90

Что необходимо от архивной системы для гарантии

длительной читаемости

Другие решения

Гарантия интегрирования

Мультистолетние информационная система

Лучшее техническое обеспечение/Инструменты

миграции форматов

0 5 10 15 20 25 30

25

6

8

9

11

19

22

На сколько важны эти решения для длительного

хранения

Обычные архивы/Формат хранения между приложениями

Межвзаимодействующие системы длительного хранения

Возможность сменить архивную систему без необходимости конвертирования формата

хранения в новый

Возможность поиска архивной информации из разрличных приложений, которые записали её

0 10 20 30 40 50 60 70 80 90

ИТ

ИТ

ИТ

ИТ

RIM

RIM

RIM

RIM

Бизнес

Бизнес

Бизнес

Бизнес

Что респонденты делают с болевыми точками

Другое

Улучшение миграционных инструментов

Стандартизация логический форматов

Построение комитета от бизнеса

Автоматизирование процессов

Разработка методов классификации

Взаимодействие ИТ/RIM/Безопасников

Создание образовательной организации

Создание опций поиска

0 2 4 6 8 10 12 14 16 18

Рекомендации респондентов

• поймите - это сложно• поймите на сколько это важно для

будущего• IT не обладает информацией• RIM, законодатели и бизнес

пользователи принимают участие в решениях и выставлении требований

• сформируйте команду для классификации информации и установки требований

Рекомендации респондентов

• метаданные важны, отобразите их на интерфейсе

• оставайтесь с индустриальными стандартами

• выйдите на уровень ваших требований к хранению уже сейчас

• тренируйтесь и оставайтесь на уровне индустриальных разработчиков для длительного хранения

• создайте комитет из менеджеров и установите общие цели

Рекомендации от создателей доклада

• Ответ на развитие бизнеса– разработанные решения и лучшие

практики должны соответствовать требованиям безопасности, интегрирования и др.

• Преодоление недостатков– Три технических недостатка

( стоимость, сложность, миграция) основные элементы подходящего решения

Рекомендации от создателей доклада

• Топ цели для решения проблемы хранения– физическая и логическая миграция– интегрирование метаданных– уменьшение стоимости управления и

уменьшение операционных затрат через автоматизацию

– оставить информацию доступной, находимой, защищенной, частной и безопасной

– интегрирование с существующими стандартами и практиками

Решение

• создать эталонную модель для длительного хранения на основе OAIS

• создать новые стандарты форматов SD-SCDF (Self Describing, Self-Contained Data Format) для логической миграции и мотивировать разработчиков использовать их

• Обучить рынок

Решение проблемы -

должно быть межотраслевым и интегрированным со стандартами и

лучшими практиками