galaxy: a high-performance energy-efficient multi-chip architecture using photonic interconnects...

Galaxy: A High-Performance Energy-Efficient

Multi-Chip Architecture Using Photonic Interconnects

Nikos HardavellasPARAG@N – Parallel Architecture Group

Northwestern University

Team: Y. Demir, P. Yan, S. Song, J. Kim, G. Memik

2003 2006 2009 2012 201502468

101214

Transistor Scaling (Moore's Law)

Pin Bandwidth

Year Sc

alin

g Fa

ctor

Technology Scaling Runs Out of SteamTransistor counts increase exponentially, but…

Can no longer feed all coreswith data fast enough(package pins do not scale)

BandwidthW

all

Can no longer keep costs at bay(process variation, defects)

Low YieldMonolithic (single-chip) processordesigns running out of steam too

2 © Hardavellas

Can no longer power the entire chip(voltage, cooling do not scale)

Power

Wall

© Hardavellas3

Demand for High-Performance Computing Grows• SPEC, TPC datasets growth:

faster than Moore• Same trends in scientific,

personal computing• Large Hadron Collider

March’11: 1.6PB data (Tier-1)• Large Synoptic Survey Telescope

30 TB/night 2x Sloan Digital Sky Surveys/day

Sloan: more data than entire history of astronomy before it

2004 2007 2010 2013 2016 20190

5

10

15

20

OS Dataset Scaling (Muhrvold's Law) TPC Dataset (Historic) Transistor Scaling (Moore's Law)

Year

Sca

ling

Fac

tor

More data more computing power to process them

© Hardavellas4

Galaxy: Optically-Connected Disintegrated Processors

• Physical constraints limit single-chip designs Area, Yield, Power, Bandwidth

• Multi-chip designs break free of these limitations Processor disintegration Macro-chip integration

[WINDS 2010, ICS 2014]

PE PE PE PE PE PE PE PE PE PE

Macrochip










P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

Multiple Chiplets

Processing Element


Macrochip










P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

Multiple Chiplets

Processing Element


Macrochip










P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

Multiple Chiplets

Processing Element


Macrochip










P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

Multiple Chiplets

Processing Element


Macrochip










P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

Multiple Chiplets

Processing Element


Macrochip










P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

Multiple Chiplets

Processing Element


Macrochip










P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

Multiple Chiplets

Processing Element


Macrochip










P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

P M P M P M P M

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

R R R R R R R

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

PE PE PE PE PE

Multiple Chiplets

Processing Element

© Hardavellas5

Electrical vs. Photonic Links

[Nitta et al., 2013]

© Hardavellas6

Outline• Introduction

➔ Background• Galaxy Architecture• Experimental Methodology• Results

Sensitivity Studies Single-Chip Comparisons (Processor Disintegration) Multi-Chip Comparisons (Macrochip Integration) Thermal Modeling

• Conclude

© Hardavellas7

Nanophotonic Components

off-chiplaser

source

coupler

resonant modulators

resonant detectors

Ge-doped

waveguide

Selective: couple optical energy of a specific wavelength

© Hardavellas8

Modulation and Detection

11010101

11010101

10001011

10001011

16 - 64 wavelengths DWDM5 - 20μm waveguide pitch

10Gbps per link

© Hardavellas9

Outline• Introduction• Background

➔ Galaxy Architecture• Experimental Methodology• Results


• Conclude

© Hardavellas10

Optical Crossbar

© Hardavellas11

Routing Example

© Hardavellas12

Single Chiplet Connectivity

Galaxy Architecture (5-chiplet example)

© Hardavellas13

Galaxy MWSR Optical Crossbar

© Hardavellas14

MWSR avoids broadcast data bus, but requires arbitration

© Hardavellas15

Why Fibers and not SOI Waveguides?• Almost twice as fast: 0.286c vs 0.676c• Negligible optical loss: 0.3db/cm vs. 0.2db/Km• Fibers are flexible do not restrict the design to a 2D plane

Minimize thermal transfer cheap cooling

• Overlooked due to density concerns Fibers at 250um pitch Waveguides at 20um pitch

© Hardavellas16

Dense Off-Chip Coupling

• Dense optical fiber array [Lee, OSA/OFC/NFOEC 2010]

• ~3.8dB loss, 8 Tbps/mm demonstrated• Misalignment within <0.7μm, 0.4μm, 0.7μm> loss <1 dB

Loss comparable to optical proximity couplers

© Hardavellas17

Outline• Introduction• Background• Galaxy Architecture

➔ Experimental Methodology• Results


• Conclude

© Hardavellas18

Nanophotonic Parameters

© Hardavellas19

Architectural Parameters

© Hardavellas20

Modeling Infrastructure

Flexus 4.0Booksim 2.0

Cycle Accurate Full System Simulation

Power Calculations with Runtime Statistics

McPat 0.8 DSENT

AnalyticalModel +

HotSpot5.0

FloTherm9.2

Single Chip Design

Multi-Chip Design

Cores,Cache,MCs

Interconnect

DRAMSim 2.0

Thermal Modeling

+

Operating Temperature

Accurate Lekageand Dynamic

Power

DVFS for Temperature

Limiting

3D-stack model

SimFlex sampling95% confidence

photonic-layerring heating

© Hardavellas21

Outline• Introduction• Background• Galaxy Architecture• Experimental Methodology• Results

➔ Sensitivity Studies Single-Chip Comparisons (Processor Disintegration) Multi-Chip Comparisons (Macrochip Integration) Thermal Modeling

• Conclude

© Hardavellas22

Laser Power Sensitivity to Optical Parameters

Coupler Loss

Off-Ring LossWaveguide & Filter Drop Loss

Modulator Insertion Loss

Highly sensitive to coupler loss, insensitive to other losses

© Hardavellas23

Sensitivity to Fiber Density

• 116mm2 chiplets 43mm along the chip edge• Enough room for 172 fibers @ 250μm pitch

128 fibers: within 3% of max performance

Appbt

Em3d

Ocean

Tomcatv

Barnes

Fmm

Moldyn

Water

Average

00.20.40.60.8

11.21.41.61.8

28 fibers 16 fibers 32 fibers 64 fibers 128 fibers 256 fibers 512 fibers

Spee

du

p

© Hardavellas24


Sensitivity Studies ➔ Single-Chip Comparisons (Processor Disintegration)

Multi-Chip Comparisons (Macrochip Integration) Thermal Modeling

• Conclude

Performance Against “Unlimited” Designs

M C F G M C F G M C F G M C F G M C F GAppbt Em3d Ocean Tomcatv Average

00.20.40.60.8

11.2

Unconstrained

P-constrained

BW-constrained

(P+BW)-constrained

Galaxy

Memory-intensive Workloads

Spee

dup

Speedup of (power+bandwidth)-constrained design

Speedup of power-constrained designSpeedup of bandwidth-constrained design

Speedup of unconstrained design

Galaxy matches the performance of “unlimited” designs© Hardavellas25

Performance Against “Unlimited” Designs

M C F G M C F G M C F G M C F G M C F GBarnes Fmm Moldyn Water Average

00.20.40.60.8

11.2

Unconstrained

BW-constrained

P-constrained

(P+BW)-constrained

Galaxy

Compute-intensive Workloads

Spee

dup

Speedup of (power+bandwidth)-constrained design

Speedup of bandwidth-constrained designSpeedup of power-constrained design

Speedup of unconstrained design

Galaxy matches the performance of “unlimited” designs© Hardavellas26

© Hardavellas27

Performance Against “Realistic” DesignsAp

pbt

Em3d

Oce

anTo

mca

tvBa

rnes

Fmm

Mol

dyn

Wat

erAv

erag

eAp

pbt

Em3d

Oce

anTo

mca

tvBa

rnes

Fmm

Mol

dyn

Wat

erAv

erag

eAp

pbt

Em3d

Oce

anTo

mca

tvBa

rnes

Fmm

Mol

dyn

Wat

erAv

erag

e

Conventional Memory Optically Connected Memory

3D Stacked Memory

012345678

CMeshExp Corona Firefly Galaxy

Spee

dup

• Realistic: within power and bandwidth envelopes• Galaxy chiplets within 66.2oC chiplets run at max speed

Galaxy: 2.4x - 3.2x speedup on average (3.4 max)

© Hardavellas28

Energy-Delay Product

Galaxy: 2.4x-2.8x smaller EDP on average (7.1x max)

© Hardavellas29


Sensitivity Studies Single-Chip Comparisons (Processor Disintegration)

➔ Multi-Chip Comparisons (Macrochip Integration) Thermal Modeling

• Conclude

© Hardavellas30

Comparison Against Multi-Chip Alternatives

© Hardavellas31

Comparison Against Multi-Chip Alternatives

Fiber

Galaxy: 2.5x speedup over Oracle Macrochip (6.8x max) 6x less laser power with demonstrated couplers

© Hardavellas32


Sensitivity Studies Single-Chip Comparisons (Processor Disintegration) Multi-Chip Comparisons (Macrochip Integration)

➔ Thermal Modeling• Conclude

© Hardavellas33

80-core 5-chiplet Galaxy Thermal CFD Modeling

8cm spacing allows cooling with cheap passive heatsinks

88.20C

© Hardavellas34

9-chiplet Dense Array (Oracle Macrochip)

Tight arrangement points to liquid cooling requirement

2490C

© Hardavellas35

9-chiplet Galaxy 2D

Cooling 9 chiplets with passive heatsinks

1100C

© Hardavellas36

9-chiplet Galaxy 3D

Flexible fibers allow “virtual chip” to break free of 2D planar designs

83.60C

© Hardavellas37

Galaxy Summary• “Virtual chips” with the performance of unlimited designs• Breaks free of typical physical constraints

Large aggregate area Improved yield (break-even point : 60% yield for photonics) Tb/s/mm bandwidth density Pushes back power wall

• Processor disintegration 2.4x – 3.2x avg. speedup (3.4 max) 2.4x – 2.8x avg. smaller EDP (7.1x max)

• Macrochip integration 2.5x speedup over Oracle Macrochip (6.8x max) 6x more power efficient links

© Hardavellas38

High Laser Wall-Plug Power• Laser power consumption is generally high

High optical loss components Galaxy restricts sharers of an optical path to at most 8 High-radix crossbars are impractical

o Radix-16 MWSR: 20.1Wo Radix-64 MWSR: 78.1W

Coupling the off-chip laser on chip: 2.4x power loss (3.8 dB) WDM-compatible lasers: 5-10% efficiency

• What if we can power-gate the laser? Off-chip lasers: long latencies (10-16ns) On-chip Ge-doped lasers: 1ns on/off delay

© Hardavellas39

EcoLaser MWSR Crossbar and Router Architecture

© Hardavellas40

EcoLaser Energy/Flit for Radix-16 MWSR

© Hardavellas41

EcoLaser + AdaptiveWidth for Radix-16 SWMR

EcoLaser power savings higher power budget for cores 2x speedup

• Galaxy: nanophotonics to overcomephysical single-chip limitations [WINDS’10, ICS’14]

Processor disintegration, macrochip integration Arch/nanophotonics intersection

• SeaFire: Design for Dark Silicon [IEEE Micro’11, USENIX-Login’11] We cannot power up an entire chip Heterogeneous/specialized designs

• Elastic Fidelity [CoRR abs/1111.4279] Some errors are ok Allow a few errors to make computers power efficient

• Elastic Caches [ISCA’09, IEEEMicro’10, DATE’12, IEEE Computer’13] Dynamically adapt on-chip storage to workload requirements

Thank You!

PARAG@N: Energy-Efficient Computing

© Hardavellas43

Thank You!

© Hardavellas44

BACKUP SLIDES

© Hardavellas46

Voltage Scaling Has Slowed

In last decade: 13x transistors but 30% lower voltage Cannot run all transistors fast enough

2003 2006 2009 2012 2015

0.1

1

10

100


Supply Voltage

Year

Sca

lin

g F

acto

r

© Hardavellas47

Pin Bandwidth Scaling

[TU Berlin]

Cannot feed cores with data fast enough to keep them busy

2003 2006 2009 2012 20150

2

4

6

8

10

12

14


Pin Bandwidth

Year

Sca

ling

Fac

tor

© Hardavellas

Electrical (SerDes) vs. SOI Waveguides vs. Fibers

0.01 0.1 1 10 1000.01

0.1

1

10

100

Distance (cm)

Late

ncy

(ns)

0.01 0.1 1 10 1000.01

0.1

1

10

100

Distance (cm)

Ener

gy (p

J/bi

t)

0 5 10 15 20 25 30 35 400.001

0.010.1

110

100

SerDes LinkSOI WaveguideFiber

Distance (cm)

Ener

gy x

Lat

ency

(p

J*ns

/bit)

© Hardavellas49

SWMR vs. MWSR Crossbar Single-Writer Multiple-Reader• Broadcast bus• All receivers always read• On-rings optical loss• High laser power

Multiple-Writer Single-Reader• Only one receiver reads• Only one ring is on low loss• Low laser power• Needs arbitration

© Hardavellas50

Token-Based ArbitrationVC Token

back traversal

VC Token forward traversal

Data Channel

8 cycles on average for token arbitration (5 chiplets)

© Hardavellas51

Load Latency (uniform random traffic)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

10

20

30

40

50

60

70

80

CMeshExp

Corona

Firefly

Galaxy

Injection Rate

Avg.

Lat

ency

(cyc

les)

© Hardavellas53

Tapered vs. Optical Proximity Couplers

6x less laser power than Oracle Macrochip with demonstrated couplers

0 1 2 3 4 5 6 70.01

0.1

1

10Macrochip (0.05 dB/cm)

OPC passive-aligned

OPC active-aligned

OPC predicted

Galaxy

SiON cladding

SU-8 cladding

Coupler Loss (dB)

Las

er P

ower

per

wav

e-le

ngth

(mW

)

galaxy: a high-performance energy-efficient multi-chip architecture using photonic interconnects...

Documents

bandwidthmultichip designs

pb data tier

broadcast data bus

cnegligible optical

computing power

couple optical energy

db loss

um pitchwaveguides