Что такое ГРИД ?

Что такое ГРИД?

Олешко С.Б.Петербургский институт ядерной физики

г.Гатчина

2

Немного истории

• 1964 год – фирма IBM создаёт семейство машин IBM360 (System 360). Это первые компьютеры третьего поколения (на интегральных микросхемах)

• В СССР IBM/360 была клонирована под названием ЕС ЭВМ. Они были программно совместимы со своими американскими прообразами

• Считается, что семейство System 360 является первым мейнфреймом. Мейнфрейм - это главный компьютер вычислительного центра с большим объемом внутренней и внешней памяти

• До 80-х годов развитие мейнфреймов определяло общее развитие вычислительной техники

3

IBM360 (System 360).

4

Суперкомпьютеры

• В общем случае, суперкомпьютер — это компьютер значительно более мощный, чем доступные для большинства пользователей машины

• Появление термина “суперкомпьютер” принято связывать с компьютерными системами Сеймура Крея (CDC 6600, CDC 7600, Cray-1, Cray-2)

• Переход от скалярных процессоров к векторным процессорам, затем к параллельной работе нескольких векторных процессоров

5

Cray-2

6

Микропроцессоры и ПК

• В конце 70-х - начале 80-х годов прогресс в развитии микропроцессоров привёл к появлению персональных компьютеров.

• Это же привело к смене магистрального направления развития суперкомпьютеров от векторно-конвейерной обработки к большому и сверхбольшому числу параллельно соединённых скалярных процессоров.

• Сейчас массивно-параллельные системы могут объединять в себе сотни и даже тысячи отдельных процессорных элементов

7

Мировой рейтинг Top500

• Первое место - суперкомпьютер IBM Roadrunner, установленный в американской Национальной лаборатории в Лос-Аламосе, насчитывающий 129600 ядер. Его мощность составила 1105 терафлоп (флоп - число операций с плавающей запятой в секунду). Программа работ полностью засекречена.

8

IBM Roadrunner

9

Мировой рейтинг Top500

• Второй - суперкомпьютер Cray XT5 (Jaguar), установленный в Окридже (США), 150152 ядер. Мощность - 1059 терафлоп в секунду

10

Cray XT5 (Jaguar)

11

Кластеры

• Кластер – это система, в которых серийные процессорные модули объединены высокоскоростными коммутационно-связными средствами локальных сетей

• Преимущества:– меньшая стоимость– надёжность– можно наращивать вычислительную мощность – стандартизация программного обеспечения

12

Суперкомпьютеры в России

• СК "МВС-100K" - HP Cluster Platform на базе 4-ядерных процессоров Xeon 5400 (7920 процессорных ядер ). Расположен в Межведомственном суперкомпьютерном центре в Москве. Мощность – 71,28 терафлоп.

13

Суперкомпьютеры в России

Кластер T-Platforms T60, расположенный в МГУ им Ломоносова (5000 ядер). Мощность – 47 терафлоп.

14

Кластер Беовульф (Beowulf)

• Беовульф – это мультикомпьютерная архитектура, которая может использоваться для параллельных вычислений.

• Это система, обычно состоящая из одного серверного узла и одного или более клиентских узлов, соединенных при помощи некоторой сети.

• Это система, построенная из готовых промышленных компонент, например ПК, на которых может работать ОС Linux

• Она не содержит специфических аппаратных компонентов и легко воспроизводима

• Серверный узел управляет всем кластером и является файл-сервером для клиентских узлов. Он также является консолью кластера и шлюзом во внешнюю сеть.

15

Кластер ПИЯФ

16

Кластер ПИЯФ

17

Кластер ПИЯФ

18

Сетевые технологии

• Развитие технологий локальных сетей

• Появление глобальных компьютерных сетей, прежде всего – Интернет– технологии (программы и аппаратура)– инфраструктура (каналы передачи данных)– распределённые ресурсы– стандарты– пользователи

19

Грид и распределённые вычисления

Распределённые вычислительные инфраструктуры существовали и до Грид, но ….

–обычно они представляют собой локальные или специализированные системы

созданные для одной определённой цели или для отдельной группы пользователей

обычно количество пользователей ограничено не допускается совместное использование ресурсов других

организаций

20

Грид и распределённые вычисления

Грид идёт дальше и предполагает:

–Различные типы ресурсов не всегда одинаковые аппаратная часть, данные, приложения

и политика администрирования

–Различные способы взаимодействия различные группы приложений хотят взаимодействовать с

Грид различными способами

–Доступ к ресурсам через границы административных доменов для неограниченного количества не локальных пользователей

–Динамическая природа ресурсов Ресурсы часто добавляются/удаляются/изменяются

–Масштабируемость до всемирных размеров

21

Для чего это нужно?

Физика высоких энергий симуляция, реконструкция, анализ, …

Медицина / Здравоохранение отображение, диагностика и лечение

Биоинформатика геном человека, поиск новых лекарств, …

Нанотехнологии разработка новых материалов на молекулярном

уровнeИнженерия

авиационная безопасность, проектирование…Природные ресурсы и Окружающая среда

прогноз погоды, прогнозирование наводнений, …Термоядерный синтез

проект ITERМатериаловедение

22

Предпосылки Грид

• Наличие во многих организациях высокопроизводительных вычислительных ресурсов (часто кластеров)

– вычислительные скорости удваиваются каждые 18 месяцев

1986 – 2000 : x 500

2001 – 2010 : x 60

• Развитие традиционных Интернет- технологий

• Необходимость решения сложных научных, инженерных и бизнес-задач

Про

изво

дит

ельн

ост

ь на

за

трач

енны

й д

олл

ар

Волоконно-оптическая

связь (бит/сек)

Кристаллы процессоров

(число транзисторов)

Кристаллы памяти (бит/кв. дюйм)

Количество лет0 1 2 3 4 5

9 12 18

•Стремительное развитие сетевой транспортной среды и технологий высокоскоростной передачи данных.

– скорости сетей удваиваются каждые 9 месяцев 1986 – 2000 : x 340 000

2001 – 2010 : x 4000

23

Что такое Грид

Термин ГРИД был выбран по аналогии с энергетическими сетями (electric power grid)

подобно тому, как при использовании энергосистем мы не интересуемся – какой конкретный электрогенератор выработал ток, который мы потребляем,

при использовании компьютерного грида мы можем не заботиться о том - какой конкретно компьютер (или устройство хранения/передачи данных) в грид-системе выполнил нашу задачу

24

Что такое Грид

Грид – это множество компьютеров

• (суперкомпьютеры, кластеры, персональные компьютеры, …), средств хранения данных, специальных устройств, служб, которые могут динамически входить и покидать Грид-систему.

• Они гетерогенны во всех аспектах

• Они могут быть географически распределены и соединены скоростными сетями передачи данных

• Они могут быть доступны по запросу для некоторого множества пользователей

Интернет

25

Что такое Грид

Грид призван обеспечить возможность делать

компьютерные вычисления«по требованию»

просто подключившиськ «решетке»

вычислительных ресурсов.

26

Что такое Грид

Опять аналогия

В энергосетях определяющую роль играют:

технологии передачи и (пере)распределения электроэнергии на большие большие расстояния;

инфраструктура - аппаратные средства (повышающие/понижающие подстанции, линии электропередач, другое электрооборудование, позволяющее электростанциям предоставлять энергию потребителям) и соответствующие службы (ремонта, контроля и т.д.);

стандарты – параметры электрического тока (напряжение в сети, частота), типы и размеры вилок/розеток, позволяющие без проблем подключать любой электроприбор к единой сети.

„

27

Что такое Грид

Также как и электрические сети, грид это соединение

технологии, инфраструктуры стандартов.

28

Что такое Грид

Технология

это специальное программное обеспечение, которое позволяет организациям или частным лицам предоставлять ресурсы (компьютеры, хранилища данных, сети и другие) в общее пользование, а потребителям – использовать их, когда необходимо.

29

Что такое Грид

Инфраструктура

состоит из аппаратных средств и служб

(на основе людских и программных ресурсов), которые должны быть организованы, и постоянно поддерживаться для того, чтобы ресурсы могли совместно использоваться.

30

Что такое Грид

Стандарты

должны определять

формат и протоколы обмена

сообщениями,

как между службами, так и между службами и пользователями, а также правила работы грида.

31

История

1985–1995 Программа Национального Научного Фонда США «National Science Foundation (NSF) Supercomputer Centers».

Октябрь 1997 NSF инициировал новую программу развития информационных технологий – Partnerships for Advanced Computational Infrastructure (PACI).

1998 Создан (и успешно развивается) инструментальный пакет Globus Toolkit.

1999 Сформировалось (и активно действует) международное научное Грид-сообщество – Global Grid Forum (GGF)

2002 GGF и IBM была представлена новая системная разработка – Open Grid Service Architecture (OGSA).

2003 Создано объединение Enterprise Grid Alliance (EGA)

2006 GGF и EGA объявили о слиянии и образовании Open Grid Forum (OGF)

32

Что такое Грид

Отдельный компьютер (РС)

Прикладное ПО

Ресурсы РСДиски, процессор, память …

Операционная система РС

33

Что такое Грид

Локальная сеть

Прикладное ПО

Операционная система каждого узла

Ресурсы узла

Промежуточное ПО для соединения с другими узлами (компьютеры, серверы, …)

Ресурсы РС

Отдельный компьютер

Прикладное ПО

Операционная система

34

Что такое Грид

Промежуточное ПО для соединения с другими узлами (компьютеры, серверы, …)

Промежуточное ПО для соединения с другими локальными сетями…

Операционная система каждого узла

Ресурсы узла

Следующий шаг - Грид

Локальная сетьПрикладное ПО

Операционная система каждого узла

Ресурсы узла

Промежуточное ПО для соединения с другими узлами

Ресурсы РС

Отдельный компьютер

Прикладное ПО

Операционная система

Прикладное ПО

35

WWW и Грид

World Wide Web обеспечивает доступ к информации, которая находится в миллионах различных серверов, географически распределённых по всему миру

В отличии от WWW: ГРИД – это новая вычислительная инфраструктура, которая обеспечивает бесперебойный доступ к вычислительным мощностям и ресурсам хранения данных, распределённых по всему миру

36

ППО Грид (middleware)

”Прозрачное” взаимодействие между гетерогенными ресурсами (принадлежащих различным, географически распределённым организациям), приложениями и пользователями возможно только при помощи…– использования специализированного программного обеспечения,

называемого middleware

Middleware “скрывает” технические детали Грид-инфраструктуры и обеспечивает безопасную интеграцию/распределение ресурсов

интернет-протоколы не обеспечивают безопасный механизм

доступа к разделяемым ресурсам

37

ППО Грид (middleware)

GRID

MIDDLEWARE

Визуализация

Рабочие станции

Мобильный доступ

Суперкомпьютера, PC-кластеры

Хранилища данных, эксперименты, …

Internet, сети

38

Использование Грид

• Организация эффективного использования ресурсов для небольших задач, с утилизаций временно простаивающих компьютерных ресурсов

• Распределенные супервычисления, решение очень крупных задач, требующих огромных процессорных ресурсов, памяти и т.д.

• Вычисления с привлечением больших объемов географически распределенных данных, например, в метеорологии, астрономии, физике высоких энергий

• Коллективные вычисления, в которых одновременно принимают участие пользователи из различных организаций

39

Проект SETI@home

• Поиск следов внеземных цивилизаций

• Обработка данных, полученных радиотелескопом Аресибо

• Около 5 млн. участников• 1200 CPU лет в день• Постоянная вычислительная

мощность ~34 TF (примерно такая, какая достигнута в Симуляторе Земли в Японии)

• Высокая степень гетерогенности ресурсов - >77 различных типов процессоров

40

Проект GIMPS

• http://www.mersenne.org/

• Поиск простых чисел Мерсенна. Числа Мерсенна имеют вид Mp = 2p – 1, где p-простое

• Самое большое известное на данный момент простое число M43112609 = 243112609 − 1 было найдено в рамках проекта GIMPS в

августе 2008 года. Оно состоит из 12,978,189 цифр!! • Ресурсы (на 10.06.2009):

– команд – 216

– участников – 20888

– CPUs – 115601

– мощность - 38.497 терафлоп

41

Проект WISDOM

• Приложение Drug Discovery, позволяющее вычислять вероятность прямого контакта между потенциальным лекарством и белком-мишенью

• Первый в истории биомедицины сеанс массовой обработки данных (малярия)

Исследовано 46 миллионов посадочных лиганд

Получено более 1 Тб данныхИспользованы ~1000 компьютеров из 15 стран, что составляет ~ 80 машино/лет

Средний фактор ускорения – 600

• Второй сеанс (птичий грипп)Использованы ~5000 компьютеров из 27 стран, что составляет ~ 420 машино/лет

Получено более 2 Тб данныхСредний фактор ускорения – 2000

Domain distribution of Flexx run jobs

es; 5122

fr; 7580

gr; 2004 il; 263 it; 3687

nl; 3356

tw; 827

uk; 8106

bg; 597 com; 1072

de; 715 cy; 383

pl; 1877

ru; 218

ro; 337

42

О ЦЕРНе (CERN)

• Расположен на границе Щвейцарии-Франции. Крупнейший в мире исследовательский центр по ФВЭ

• Работают представители ~500 университетов и институтов (штат~2500чел., 6500 визитеров из ~40 стран)

• Сделано много открытий и разработано много новых технологии, включая WWW.

• Большинство Нобелевских лауреатов по физике последних лет так или иначе связаны с ЦЕРН.

43

Большой адронный коллайдер (LHC)

Длина окружности ускорителя – 27 км.

Запуск перенесён на 2009 год

44

Что такое БАК?

• Энергия столкновения пучков протонов – 14 TeV

• Используя новейшие сверхпроводящие технологии он будет работать при температуре –271°C, т.е. немного выше абсолютного нуля

• С общей длиной в 27 км ускоритель будет самой большой сверхпроводящей установкой в мире

45

Эксперименты на БАК

46

Место для детектора ATLAS

47

Детектор ATLAS

48

Детектор ATLAS

49

Как будет работать БАК

50

Результаты

Начиная с такого набора событий:

Необходимо найти такое:

Селективность (степень отбора) ~ 1 из 1013, что примерно соответствует поиску иголки в 20 миллионах стогах сена!!!

51

Данные БАК

• 40 000 000 столкновений в секунду

• После фильтрации, остаётся только 100 событий в секунду

• Объём оцифрованных данных для одного события ~ 1Мб

• За год необходимо записать 1010 событий = 10 Петабайт данных в год

1 Мегабайт (1MB) Цифровая фотография

1 Гигабайт (1GB) = 1000MB DVD фильм

1 Терабайт (1TB) = 1000GB Объём всех книг, изданных за год в мире

1 Петабайт (1PB) = 1000TB Производит за год один эксперимент БАК

1 Экзобайт (1EB) = 1000 PB Объём информации, которую производит за год всё человечество

CMS LHCb ATLAS ALICE

52

Необходимость ГРИД для БАК

• Объём получаемых данных БАК соответствует 20 миллионам записанных CD дисков в год. Где их хранить?

• Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности 100000 самых современных процессоров. Где их взять?

• Ресурсы ЦЕРН уже сейчас составляют более 4000 процессоров (ядер) и 8 Пб памяти на дисках и на лентах. Но этого мало!!!

Выход – объединение вычислительных ресурсов физиков всего мира

Конкорд(15 Км)

Воздушный шар(30 Км)

Стопка CD дисков с данными БАК за 1 год (~ 20 Км)

Монблан(4.8 Км)

53

Всемирный компьютинг для БАК

• Проекты EGEE и OSG являются основой для проекта Worldwide LHC Computing Grid ( WLCG)

54

Хранение данных в БАК

55

Название проекта

EGEE- Enabling Grids for E-sciencE

Развертывание инфраструктуры

Грид для науки

56

Сроки выполнения проекта

57

Ресурсы EGEE-III сейчас• 267 центров в 54 странах

• ~ 114 000 CPU

• ~ 20 PB дисковой памяти, + ленточные MSS

• распределённое управление

• >200 ВО из различных областей науки

>150тыс. заданий/день

>16000 пользователей

58

Партнёры EGEE

59

Управление ГРИД EGEE

Операционный центр управления (OMС)

- ЦЕРН - общая координацияЦентры базовой инфраструктуры (CIC) - 5 центров (Великобритания, Франция, ЦЕРН, Италия, Россия)

- обеспечение постоянной (24x7) работы базовых грид-служб, мониторинг системы;

- реализация и контроль за выполнением правил, выработанных OMS

- обеспечение поддержки узлов 2-го уровня

Региональные операционные центры (ROC) ~ 11 центров

- поддержка пользователей и администраторов ресурсов

- координация региональных ресурсов

60

Мониторинг узлов EGEE

61

Участие России в проекте EGEE

В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности.

Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).

Сейчас в РДИГ (http://www.egee-rdig.ru) входят 15 институтов (в 2004 году - 8)

62

Распределение время/регион

63

Распределение задания/регион

64

Распределение по России

65

Полезные ссылки

• http://www.eu-egee.org - проект EGEE-III• http://www.egee-rdig.ru/ - RDIG консорциум• http://egee.pnpi.nw.ru/ - ПИЯФ РАН• http://rocmon.jinr.ru:8080/accounting/ - мониторинг RDIG• http://www.gridclub.ru/ - GRIDCLUB.RU :: Интернет-портал по

грид-технологиям• http://egee.sinp.msu.ru - НИИЯФ МГУ

66

Спасибо за внимание