09 rodionov

МОДЕЛИРОВАНИЕ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ

ВЫЧИСЛЕНИЙ ДЛЯ ОЦЕНКИ МАСШТАБИРУЕМОСТИ

ПАРАЛЛЕЛЬНЫХ ПРОГРАММ

А.С. Родионов

Институт вычислительной математики и математической геофизики СО РАН

1Новосибирск - 2013

2

БлагодарностиРабота выполнена в рамках выполнения Госконтракта Минобрнауки № 07.514.11.4016 (2011-2012гг) «Исследования и разработка методов имитационного моделирования функционирования гибридных экзафлопсных вычислительных систем»

Поддержана научной школой 2171.2012.9 и проектами РФФИ №12-01-00034-а и №12-01-00727-а

ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН

Новосибирск - 2013

3

Возможные цели моделирования1.Оценка схемотехнических решений.

2.Анализ системы управления ВС (балансировка нагрузки, очередь заданий, распределение ресурсов…)

3.Прогноз масштабируемости параллельных программ

4.Настройка параметров алгоритмов



4

ЦЕЛИ РАБОТЫ

1. Разработка методов имитационного моделирования параллельных программ, предназначенных для исполнения на суперкомпьютерах с пета и экзафлопсным уровнем производительности, на существующих высокопроизводительных ЭВМ

2. Разработка программных решений в области создания агентно-ориентированной системы имитационного моделирования исполнения параллельных алгоритмов



ПРОБЛЕМЫ МАСШТАБИРОВАНИЯ АЛГОРИТМОВ(тезисы)

5

• Исследование свойств масштабируемости параллельных алгоритмов является важной задачей при оценке эффективности их реализации, как для настоящих, так и будущих суперкомпьютеров пета- и экзафлопсного уровня.

• Данная проблема выходит за уровень технологических задач и требует научно-исследовательского подхода к ее решению.

• Вычислительные алгоритмы, как правило, являются более консервативными по сравнению с развитием средств вычислительной техники.

• Оценить поведение алгоритмов можно путем реализации их на имитационной модели.

• Имитационная модель позволяет выявить узкие места в алгоритмах, понять, как нужно модифицировать алгоритм, какие параметры необходимо настраивать при его масштабировании на большое количество ядер при заданной архитектуре вычислительной системы.



Что у других?1. Наиболее известна система BigSim (

http://charm.cs.uiuc.edu/research/bigsim), проект проводимый в США (Университет Урбана-Шампань, Иллинойс) – требует слишком подробного описания, но и даёт исчерпывающий результат

2. В Институте системного программирования РАН (г. Москва) под руководством академика В.П. Иванникова разработана система ParJava – только программы на Java

3. Проект PARSIT (University of Oklahoma) – замечательный проект, но для малых параллельных систем (до сотен процессов)

4. MapReduce (Cornell University) – ориентирован на решение задач вычислительной геометрии

5. … … …

Новосибирск - 2013 6


http://charm.cs.uiuc.edu/research/bigsim

1. НЕ ставится задача моделирования «железа». Архитектура исполнительной среды задаётся полунеявно посредством задания системы координат и определения функции вычисления задержек на передачу данных. Вполне возможно, что такая функция для конкретных архитектур будет иметь весьма сложный вид.

2. НЕ ставится задача возможно более точного оценивания времени исполнения моделируемой программы, требуется оценить ускорение при увеличении объёма используемых ресурсов.

3. Модель программы представляется взвешенным графом переходов между блоками программы с указанием параллельных ветвей. Временные задержки в блоках определяются на основе измерений, производимых в тестовых прогонах реальных программ на ЭВМ с возможно большим количеством ядер, что позволяют надеяться на учёт в измеренных задержках эффектов от системной составляющей.

4. Система управления вычислениями должна моделироваться как независимая часть модели.

ТРЕБУЕМЫЙ УРОВЕНЬ ПРЕДСТАВЛЕНИЯ МОДЕЛИ

7



ОСНОВНОЙ АЛГОРИТМ СОЗДАНИЯ МОДЕЛИ

1. Создать реальную, работающую параллельную программу

2. Прогнать программу на возможно более мощной ВС (с профилированием)

3. Подобрать или реализовать функции вычисления задержек в соответствии с выбранной архитектурой перспективной ВС

4. Описать модель программы (задать схему и задержки на линейных участках + вложение в архитектуру ВС)




Укрупнённый состав моделиИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН

AGNES (AGent NEtwork Simulator) – среда имитационного моделирования, создана на Java на основе JADE и состоит из двух типов агентов:

• управляющие агенты (УА), создающие среду моделирования; • функциональные агенты (ФА), образующие модель,

работающую в среде моделирования.Достоинства пакета AGNES: отказоустойчивость; сбалансированное распределение нагрузки; наличие проблемно-ориентированных библиотек агентов; возможность динамического изменения модели в ходе

эксперимента.

АГЕНТНО-ОРИЕНТИРОВАННАЯ СИСТЕМА ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ (AGNES)

10



11

AGNES

Приложение AGNES – это распределенная мульти-агентная система, называемая платформой. Состоит из системы контейнеров, распределенных в сети. Обычно на каждом хосте находится по одному контейнеру (может быть несколько). Агенты существуют внутри контейнеров.

В качестве атомарной частицы в модели вычислений выбран вычислительный узел и исполняемый на нем код алгоритма. Функциональный агент эмулирует поведение вычислительного узла кластера и программу вычислений на этом узле.

Вычисления - набор примитивных операций (вычисление на ядре; запись/чтение данных в память; парный обмен данными; синхронизация данных между вычислителями) и временных характеристик каждой операции.

Система AGNES установлена в ЦКП ССКЦ ИВМиМГ СО РАН и доступна по ссылке

http://www2.sscc.ru/PPP/Mat-Libr/agnes.htm



http://www2.sscc.ru/PPP/Mat-Libr/agnes.htm

12

1. Параллельное статистическое моделирование. Найдено узкое место, рекомендована каскадная схема сбора данных

2. Сеточные методы. Рекомендована последовательность пересчёта узлов в подобластях

3. Полный перебор в решении NP-трудной задачи на графах (с использованием GPU). Определен наилучший способ представления данных

4. Поиск в глубину в решении той же задачи на MPP кластере. Определено наилучшее соотношение между количеством узлов, отвечающих за ветвление, и узлов, используемых для параллельного расчёта целевой функции

РЕАЛИЗОВАННЫЕ МОДЕЛИ И РЕЗУЛЬТАТЫ



Шаг 1: Подготовка к моделированию независимых реализаций на группах ядер

Шаг2: Моделирование реализаций, вычисление выборочных средних для группы

Шаг 3: сбор и осреднение данных

Пример: СХЕМА ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ МЕТОДОВ МОНТЕ-КАРЛО

13




Примеры моделируемых программ создавались Марченко М.А., Куликовым И.М., Миговым Д.А., Никулиным М.И., Родионовым А.С.Моделирование проводилось совместно с Подкорытовым Д.И. и Винсом Д.В.


15


ПУБЛИКАЦИИ1. A.C. Родионов, Д.И. Подкорытов, Моделирование DDoS атак в отказоус-

тойчивой мультиагентной среде имитационного моделирования AGNES // Материалы пятой международной научной конференции по проблемам безопасности и противодействия терроризму, Москва, 2009. С. 293–296.

2. D. Podkorytov, A.S. Rodionov, O. Sokolova, A. Yurgenson, Using Agent-Oriented Simulation System AGNES for Evaluation of Sensor Networks // MACOM / Ed. by A. V. Vinel, B. Bellalta, C. Sacchi et al. Vol. 6235 of Lecture Notes in Computer Science. Springer, 2010. P. 247-250.

3. Б.М. Глинский, А.С. Родионов, М.А. Марченко, Д.И. Подкорытов, Д.В. Винс. Агентно-ориентированный подход к имитационному моделированию суперЭВМ экзафлопсной производительности в приложении к распределенному статисти-ческому моделированию // Вестник ЮУрГУ, 2012. № 18(277), Вып.12., с. 94-99.

4. Д.И. Подкорытов. Агентно-ориентированная среда моделирования сетевых систем AGNES // Ползуновский вестник, 2012. № 2/1, с. 93-106.

5. D. Podkorytov, A.S. Rodionov, H. Choo. Agent-based simulation system AGNES for networks modeling: review and researching // ICUIMC 2012 / Ed. by S.-H. Lee, L. Hanzo, R. Ismail et al. ACM, 2012. Paper 115, 4 pages.

6. B. Glinsky, A. Rodionov, M. Marchenko, D. Podkorytov, D. Weins. Scaling the Distributed Stochastic Simulation to Exaflop Supercomputers // Proceedings of 2012 IEEE 14th International Conference on High Performance Computing and Communications , p. 1131-1136. Новосибирск - 2013

Спасибо за внимание. Ваши вопросы?

17

СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРН.В. Кучин, Б.М. Глинский, Б.Г. Михайленко

Кластер HKC-160(hp rx1620)

168 процессор.Itanium 2,1,6 ГГц;InfiniBand,Gigabit Ethernet (GE); > 1 ТФлопс

Серверс общей памятью

(hp DL580 G5) 4 процессора(16 ядер) Intel Xeon QuadCore Х7350, 2.93 Ггц; ОП - 256 Гбайт; 187,5 Гфлопс.

СХДдля НКС-1603,2 Тбайт

СХД сервера с общей памятью9 Тбайт (max-48 Тбайт)

СИСТЕМЫ ХРАНЕНИЯДАННЫХ (СХД)

Параллельнаяфайловая система

IBRIXдля НКС-30Т

32 Тбайта

СХД для НКС-30Т36 Тбайт (max - 120 Тбайт)

СетьИВМиМГ

Сеть

Internet ННЦ

СистемноеОбщематематическое

Прикладное (ППП)

ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ

GigabitEthernet InfiniBandGE

GE …………………………

!!! NEW Кластер

гибриднойархитектуры

HKC-30T+GPU

576 (2688 ядер) процессоровIntel Xeon Е5450/E5540/X5670

80 процессор.CPU (X5670) – 480 ядер;

120 процессор.GPU (Tesla M 2090) – 61440 ядер.

Общая пиковая производ.115 Тфлопс

Серверс общей памятью (hp DL980 G7)

!!! NEW

4 процессора (40 ядер)Intel Е7-4870;ОП - 512 Гбайт ; 384 Гфлопс.Max: 8 процессоров (80 ядер), 2048 Гбайт, 768 Гфлопс.

HKC-30T



18

ГИБРИДНЫЙ КЛАСТЕР (НКС-30Т+GPU)

64

BL2x220c

G5

128

BL2x220c

G6

96

BL2x220c

G7

40SL390s G7

+120 GPU

M2090

++

Кластер НКС-30Т Расширение кластера на GPU

+

Серверс общей памятьюDL980 G7

ОП - 512 Гбайт 40 ядер

384 ГФлопс

I N F I N I B A N D

IBRIXПараллельная

файловая система

4 сервера32 Тбайта

IBRIXПараллельная

файловая система

Планируемое наращивание

xx серверов

. . . . .


СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР


09 rodionov

Documents