самый умный в мире суперкомпьютер - miptсамый умный в...
TRANSCRIPT
2 Introducing the Summit Supercomputer
самый умный в мире суперкомпьютер
TOP500
ноябрь 2018
5
Производительность
• 200 PFlops для задач моделирования
• 3.3 ExaOps для задач аналитики и искусственного интеллекта
Каждый узел содержит
• 2 процессора IBM POWER9
• 6 GPU NVIDIA Tesla V100
• 608GB быстрой памяти
• 1.6 TB NVMe
Решение состоит из:
• 4608 узлов
• Двухканальной сети Mellanox EDR InfiniBand
• Файловой системы IBM SpectrumScale на 250 PB, передающая данные на 2.5 TB/s
Компоненты решения
3 Introducing the Summit Supercomputer
Дом, где живет Summit: Национальная лаборатория
департамента энергетики США в Оак-Ридж
Национальная лаборатория в Оак-Ридж является
крупнейшей открытой научной лабораторией Министерства
Энергетики США
6 Introducing the Summit Supercomputer6
IBM создала Summit
3+
ExaOps
AI Exascale
Сегодня
1.74XМеньше
энергопотребление
4.6XМеньше ядер
2,282,544
10,649,600
Количество ядер
IBM vs Sunway
Summit – IBM Power Systems
AC922, IBM Power 9 22C
3.07GHz, Nvidia Volta GV100
Sunway TaihuLight – Sunway
MPP, SW26010 260C 1.45Ghz
RMAX Tflop/s
IBM vs Sunway
1.49XБольше TFlop/s
187,659
125,439
Потребление (kW)
IBM vs Sunway
8,806
15,371
7 Introducing the Summit Supercomputer
Процессор IBM Power9
• До 24 ядер
– P9 на Summit обладают 22 ядрами для оптимизации
производительности
• PCI-Express 4.0
– 2x быстрее чем PCIe 3.0
• NVLink 2.0
– Когерентное, высокоскоростное соединение с GPU
• 14nm FinFET SOI технология
– 8 миллиардов транзисторов
• Кэш
– L1I: 32 KiB на ядро, 8-полос
– L1D: 32KiB на ядро, 8-полос
– L2: 256 KiB на ядро
– L3: 120 MiB eDRAM, 20-полос
8 Introducing the Summit Supercomputer
Характеристики карт NVIDIA Volta
9 Introducing the Summit Supercomputer9
План этажа со стойками Вычислители (256)Коммутаторы (18)СХД (40)Инфраструктура (4)
10 Introducing the Summit Supercomputer
Summit в цифрах
200 петафлопная машина Summit, может выполнять 200 квадриллионов операций с плавающей точкой в секунду (флопc). Если каждый человек на Земле выполнит один расчет в секунду, то для выполнения того, что Саммит может сделать за 1 секунду, потребуется 305 дней.
Занимая 521 кв.м., Summit может заполнить два теннисных корта.
Summit использует почти 300 км оптики –это примерно 8.5 «кругов» по ТТК
Более 18 тонн воды прокачивается через систему охлаждения Summit каждую минуту.
Для некоторых приложений ИИ, исследователи могут использовать менее точные вычисления, чем flops, потенциально увеличивая производительность Summit до уровня exascale, или более миллиарда миллиардов вычислений в секунду.
11 Introducing the Summit Supercomputer
Summit заменяет Titan в роли ведущего суперкомпьютера
• Намного меньше узлов
• Узлы намного мощнее
• Намного больше памяти в узлах и обший объем памяти системы
• Более быстрый
интерконнект
• Намного выше полоса пропускания CPU➔ GPU
• Намного больше и быстрее файловая система
Feature Titan Summit
Application Performance Baseline 5-10x Titan
Number of Nodes 18,688 4,608
Node performance 1.4 TF 42 TF
Memory per Node 32 GB DDR3 + 6 GB GDDR5 512 GB DDR4 + 96 GB HBM2
NV memory per Node 0 1600 GB
Total System Memory 710 TB >10 PB DDR4 + HBM2 + Non-volatile
System Interconnect Gemini (6.4 GB/s) Dual Rail EDR-IB (25 GB/s)
Interconnect Topology 3D Torus Non-blocking Fat Tree
Bi-Section Bandwidth 15.6 TB/s 115.2 TB/s
Processors1 AMD Opteron™
1 NVIDIA Kepler™
2 IBM POWER9™
6 NVIDIA Volta™
File System 32 PB, 1 TB/s, Lustre® 250 PB, 2.5 TB/s, GPFS™
Power Consumption 9 MW 13 MW
12
Application firsts
• 1988: 1st gigaflops
– Finite elements on Cray Y-MP
• 1998: 1st teraflops
– Magnetic materials (LSMS) on Cray T3E
• 2008: 1st petaflops
– Disorder in superconducting materials (DCA++) on Cray XT5 Jaguar
• 2018: 1st ExaOps
– Genomics (CoMet) on IBM AC922 Summit
Simulation
QMCPACK
• Accurate quantum mechanics-based simulation of materials, including high-temperature superconductors
• First-of-a-kind studies of properties of complex oxide materials
• Runs on Summitwith 25 speed-up on GPUs over CPUs only, and >97% parallel scalability
• 12 faster on Summit than on Titan
Artificial intelligence
MENNDL
• Designs deep learning networks for image-based data sets, going beyond what human experts would design
• Enables a goal of nanotechnology: Atom-by-atom material fabrication
• Scaled to 3,000 available nodesof Summit, achieving98.6 petaflops (FP32)
ORNL: Delivering sustained leadership in HPC
Data analytics
CoMet
• Coevolutionary relationships across a population of genomesat scale
• Enables discovery of epistatic relationships
• 1.88 ExaOps achieved on 4,000 Summit nodes in mixed precision
– 25 faster than same method running on Titan
– 10,000 faster than best comparable state of the art
13 Introducing the Summit Supercomputer
QMCPACK: Анализ материалов на атомном уровне
Paul KentORNL
"Большое количество памяти на узел в SUMMIT очень важно для увеличения диапазона сложности материалов и физических явлений. Кроме того, гораздо более мощные узлы действительно помогут нам расширить спектр наших исследований"
14 Introducing the Summit Supercomputer
Создание систем для изучения людей, как организмов
Daniel Jacobson
ORNL
“Сложность биологической
системы невероятна. Summit
позволяет исследовать новую
область науки, которая была
невозможна до его появления .”
15
TiRFs
DNNs
CoMeT
• Modified CCC algorithm uses NVIDIA Volta Tensor Cores and cuBLASto compute counts of bit values
– Speed: 4.5 previous highly optimized bitwise algorithm, 25 faster than Titan
– >10,000 faster than competing codes
• Near-perfect scaling to 4000 nodes:1.88 ExaOps achieved
– W. Joubert et al., Parallel Comput., accepted
Exploiting new technology Scaling to Summit New discoveries enabled
• Coevolutionary relationships across a populationof genomes at unprecedented scale
• Epistatic interactions for opioid addiction (Gordon Bell Prize submission)
CoMet: First-ever exascale scientific application on Summit
1,000–600,000genomes
Phenotypes
3D protein structure
Protein complexes
Experimentation
GWASnetworks
Small molecule structures
Coevolution networks
Existing structures
Gene sequences
2.0E+18
1.5E+18
1.0E+18
5.0E+17
0.0E+00
1 ExaOps
0 1000 2000 3000 4000 5000
Nodes
16 Introducing the Summit Supercomputer
Развитие здравоохранения с большими данными
Georgia Tourassi
ORNL
“По сути, мы обучаем компьютеры читатьдокументы и абстрактную информацию,используя большие объемы данных.Summit позволяет нам исследовать гораздоболее сложные модели наиболееэфективным способом.”
17 Introducing the Summit Supercomputer
What makes Summit the most powerful and smartestsupercomputer for science?
GPU Brawn: Summit links more than 27,000 deep-learning optimized NVIDIA GPUs with the potential to deliver exascale-level performance (a billion-billion calculations per second) for AI applications.
Memory Where it Matters: Summit’s
sizable memory gives researchers a
convenient launching point for data-
intensive tasks, an asset that allows for
greatly improved application performance
and algorithmic accuracy as well as AI
training.
High-speed Data Movement: High
speed Mellanox interconnect and NVLink
high-bandwidth technology built into all of
Summit’s processors supply the next-
generation information superhighways.
CPU Muscle: IBM Power9 processors to
rapidly execute serial code, run storage
and I/O services, and manage data so
the compute is done in the right place.
19 Introducing the Summit Supercomputer19
Система ORNL Summit
Водяное охлаждение
20 Introducing the Summit Supercomputer20
Система ORNL Summit
Накладные 480v и оптические кабели
Оптические кабели Mellanox IB
21 Introducing the Summit Supercomputer21
Система ORNL Summit
Инсталляция файловой системы