Renato Micelirenato.miceli@fieb.org.br

Director General at the SENAI CIMATEC Supercomputing Center for

Industrial InnovationCoordenador do Centro de Supercomputação para Inovação Industrial do

SENAI CIMATEC

Building Exascale-Ready Software Systems

for Industry 4.0Desenvolvendo Sistemas de Software Exaflópicos

para a Indústria 4.0

LatAm in Top500 Jun/2015América Latina no Top500 Jun/2015

# System Site Vendor RMAX

148 Santos Dumont GPU LNCC/Brazil Bull 456.8

167 CIMATEC Yemoja SENAI CIMATEC/Brazil SGI 405.4

180 Santos Dumont Hybrid LNCC/Brazil Bull 363.2

209 Santos Dumont CPU LNCC/Brazil Bull 321.2

256 ABACUS I CINVESTAV/Mexico SGI 277.5

286 Grifo04 Petrobras/Brazil Itautec 251.5

347 Tupã INPE/Brazil Cray 214.2

LatAm in Top500 Jun/2015América Latina no Top500 Jun/2015

# System Site Vendor RMAX

148 Santos Dumont GPU LNCC/Brazil Bull 456.8

167 CIMATEC Yemoja SENAI CIMATEC/Brazil SGI 405.4

180 Santos Dumont Hybrid LNCC/Brazil Bull 363.2

209 Santos Dumont CPU LNCC/Brazil Bull 321.2

256 ABACUS I CINVESTAV/Mexico SGI 277.5

286 Grifo04 Petrobras/Brazil Itautec 251.5

347 Tupã INPE/Brazil Cray 214.2

Latin America’s 1st petascale system launched in 2015Primeiro sistema petaflópico inaugurado em 2015

Historical HPC PerformanceDesempenho Histórico de Sistemas de Alto Desempenho

Historical HPC PerformanceDesempenho Histórico de Sistemas de Alto Desempenho

Historical HPC PerformanceDesempenho Histórico de Sistemas de Alto Desempenho

Projected HPC PerformanceProjeção do Desempenho de Sistemas de Alto Desempenho

Projected HPC PerformanceProjeção do Desempenho de Sistemas de Alto Desempenho

Projected HPC PerformanceProjeção do Desempenho de Sistemas de Alto Desempenho

Projected HPC PerformanceProjeção do Desempenho de Sistemas de Alto Desempenho

Recapping the Petascale challengeRelembrando o desafio do Petaflop

Clock Rate Race & MHz MythCorrida pela Frequência de Clock & Mito do Megahertz

Free Performance Lunch’s OverDesempenho não vem mais de graça

Some Petascale RequirementsAlguns Requisitos do Petaflop

1. Hardware

• Larger, higher bandwidth memory subsystemsSistema de memória maior e com mais largura de banda

• Better performing interconnectsInterconexões de melhor desempenho

• High-performance I/O subsystemCamada de entrada-saída de alto desempenho

Some Petascale RequirementsAlguns Requisitos do Petaflop

2. Software

• Better use of compute resourcesMelhor uso dos recursos computacionais

• Whole HPC system manageabilityGerenciabilidade do sistema HPC como um todo

• Ability to deal with petascale datasetsHabilidade de lidar com bases de dados petaflópicas

Bridging to PetascaleAlcançando o Petaflop

1. Hardware

• Multi-core processorsProcessadores multi-core

• Systems on a chip (SoC)

• Accelerators & co-processorsAceleradores & coprocessadores

• Multi-level memory subsystemsSistemas de memória multi-nível

• Multi-level, multiple processor interconnectsInterconexões multi-nível entre diversos processadores

Bridging to PetascaleAlcançando o Petaflop

2. Software

• Scalable, jitter-free OSsSistemas operacionais escaláveis e sem jitter

• New & better programming models & toolsNovos e melhores modelos e ferramentas de programação

• Data visualisation & analytics toolsFerramentas de visualização e análise de dados

• New computational models & algorithmsNovos modelos computacionais e algoritmos

• Better tuned, scalable implementationsImplementações melhor otimizadas e escaláveis

Will keep doing this take us to

Exascale?Continuar a fazer isso seria o caminho para a

escala do Exaflop?

And what has changed since the

Petascale shift?E o que mudou desde o advento do Petaflop?

Status & Learnt LessonsStatus & Lições Aprendidas

1. Free performance lunch is still overDesempenho continua não vindo de graça

2. New hardware keeps coming, all the timeNovo hardware continua surgindo, a todo tempo

3. Software hand-tuning is laborious, never-ending workOtimização de código manual é trabalhosa e infindável

4. Chip power cap is still on (technology remains the same)Limite de consumo energético dos processadores se mantém

5. Power & time are moneyEnergia e tempo são dinheiro

We don’t know yet how

Exascale systems will look likeAinda não sabemos como

sistemas exaflópicos serão

Hints: EU FP7 Exascale ProjectsIndicativos: Projetos FP7 da UE em Computação Exaflópica

1. CRESTA: Software+hardware co-designCRESTA: Concepção conjunta de software e hardware

2. DEEP & DEEP-ER: Cluster-Booster programming modelDEEP & DEEP-ER: Modelo de programação Cluster-Booster

3. Mont-Blanc: Low-power HPC system & software design Mont-Blanc: Projeto de sistemas e software de PAD de baixo consumo

energético

Hints: DoE/CORAL SystemsIndicativos: Supercomputadores da CORAL/DoE

System Feature Titan Summit

Peak System Performance 27 PFLOPs 150-300 PFLOPs

Peak Node Performance 1.44 TFLOPs > 40 TFLOPs

# Nodes 18,688 > 3,400

CPU per node (1) 16c AMD Opteron (Multiple) IBM Power9

GPU per node (1) NVIDIA Kepler K20x (Multiple) NVIDIA Volta

RAM per node 32GB DDR3 > 512GB HBM+DDR4

CPU-GPU Interconnect PCI Gen2 NVIDIA NVLink (5-12x PCIe3)

System Interconnect Gemini Dual Rail EDR-IB (23GBps)

Peak Power Consumption 9 MW 10 MW

Hints: The White House OrderIndicativos: Decreto da Casa Branca

1. Accelerating delivery of a capable exascale system Acelerar a entrega de um sistema exaflópico

2. Increasing coherence between modeling & simulation

and data analyticsAumentar a coerência entre modelagem & simulação e análise de dados

3. Establishing a path for future HPC systems even after

limits of current semiconductor technology are reachedEstabelecer o caminho para sistemas de HPC futuros, mesmo depois

que os limites atuais da tecnologia de semicondutores forem atingidos

Hints: The White House OrderIndicativos: Decreto da Casa Branca

4. Increasing the capacity and capability of an enduring

national HPC ecosystemAumentar a quantidade e capacidade de um ecossistema de HPC

nacional duradouro

5. Developing public-private collaborations to ensure R&D

benefits are shared between US Government and

industrial & academic sectorsDesenvolver parcerias público-privadas para garantir que os benefícios

de P&D são compartilhados entre o Governo Americano e os setores

industrial e acadêmico

Researchers seem to work towards

the same goalsPesquisadores parecem trabalhar em direção

aos mesmos objetivos

Industry 4.0 will be reality when

Exascale arrivesA Indústria 4.0 será realidade quando

chegarmos ao poder exaflópico

Industry 4.0: Smart FactoriesIndústria 4.0: Fábricas Inteligentes

1. Cyber-Physical Systems: real-time monitoring & trackingSistemas Ciberfísicos: monitoramento e rastreamento em tempo real

2. Internet of Things: real-time human-machine cooperationInternet das Coisas: colaboração homem-máquina em tempo real

3. Internet of Services: organisational services are offeredInternet dos Serviços: serviços organizacionais são ofertados

Machines take simple real-time decisions without human inputMáquinas tomam decisões simples em tempo real sem interferência humana

Industry 4.0: Smart FactoriesIndústria 4.0: Fábricas Inteligentes

1. Cyber-Physical Systems: real-time monitoring & trackingSistemas Ciberfísicos: monitoramento e rastreamento em tempo real

2. Internet of Things: real-time human-machine cooperationInternet das Coisas: colaboração homem-máquina em tempo real

3. Internet of Services: organisational services are offeredInternet dos Serviços: serviços organizacionais são ofertados

Machines take simple real-time decisions without human inputMáquinas tomam decisões simples em tempo real sem interferência humana

How to enable Exascale HPC to

support Industry 4.0?Como permitir que HPC Exaflópico apoie

a Indústria 4.0?

Industry 4.0: Biz PerspectiveIndústria 4.0: Perspectiva de Negócio

1. Software must evolve fast to keep biz competitivenessSoftware deve evoluir rapidamente para manter competitividade

2. Code tuning & model evolution should not interdependOtimização de código e evolução dos modelos não devem interdepender

3. HW & SW decisions should be driven by the modelsDecisões de hardware e software devem ser guiadas pelo modelo

4. Data generated must be interpreted in at high frequencyDados gerados devem ser interpretados a alta frequência

5. Users should be aware of energy costsUsuários devem ficar cientes dos custos energéticos

Use Case: Imperial & SENAI CIMATECCaso de Uso: Imperial & SENAI CIMATEC

Uma abordagem top-downA top-down approach

Pre-Salt ChallengesDesafios do Pré-Sal

Seismic ImagingImageamento Sísmico

Intel Parallel Computing CenterCentro de Computação Paralela Intel

http://www.opesci.org/

Open Performance portablE SeismiC Imaging (OPESCI)

The OPESCI FrameworkO Framework OPESCI

The OPESCI FrameworkO Framework OPESCI

Needs of Brazilian IndustryAnseios da Indústria Brasileira

• Open ScienceCiência aberta

• Support to Supercomputing

Assisted Engineering (SCAE)Suporte a Engenharia Assistida por

Supercomputação (SCAE)

• Product design, prototyping, simulationsDesign de produtos, prototipação, simulações

• Assistance to SMEs and startupsAtendimento às pequenas e médias empresas e startups

We are hiring!Estamos contratando!

• Scholarships for undergrads, masters, PhD & post-docsBolsas de graduação, mestrado, doutorado e pós-doutorado

• Support to research in HPCApoio às pesquisas de ponta em HPC

• Operation of the #1 HPC system for O&G R&D in LatAmOperação do HPC para P&D em O&G mais potente da América Latina

• Development and optimisation of codes & libsDesenvolvimento e otimização de códigos e bibliotecas

• Real projects with business impact in industryProjetos reais de impacto em negócio na indústria

Profiles in computing, engineering and alike preferrablePerfis em computação, engenharia e afins preferível

CENTRO DE EVENTOS – SENAI CIMATEC

Supercomputing Center for Industrial InnovationSENAI CIMATEC

Renato Micelirenato.miceli@fieb.org.br

Director General at the Supercomputing

Center for Industrial Innovation

Coordenador do Centro de Supercomputação

para Inovação Industrial

SENAI CIMATECAv. Orlando Gomes, 1845 – Piatã

CEP 41.650-010

Salvador – Bahia – Brasil

+55 (71) 3462 9510

http://www.fieb.org.br/senai