heidelberg2-0602 · 2002. 12. 5. · rc o n n e c t e n t r o i a a s c i t f lo ... 2.2.15 smp...

10
Page 1 High Performance Computing, Computational Grid, and Numerical Libraries Distributed and Parallel Systems Distributed systems hetero- geneous Massively parallel systems homo- geneous Gr id based Com puting Beo wulf clu s te r N e two rk of w s Cluster s w/ speci al int er connect Entro pia ASC I T fl op s ! ! " ! #$ % &’ ( ) !*+ , * ( - ( - . / ( * 0 ( 1# 2232 4 ( )5 !*+ SETI@h ome Parallel Dist me m What is Grid Computing? 6 7 8 IMAGING INSTRUMENTS COMPUTATIONAL RESOURCES LARGE-SCALE DATABASES DATA ACQUISITION ,ANALYSIS ADVANCED VISUALIZATION The Computational Grid is… 9 7 * - 5 :- :- ; ’ *- ’ - <’ :- ; ( - - * - - * - 5 = * > 70 ? 7 Computational Grids and Electric Power Grids 1 < " :- ! " 1 ** * " :- # # $ % & % % & ( An Emerging Grid Community @@. A 7<B - * * # * - ** % ) % * % + % , & !, % & - . % , # & % $ *& !/

Upload: others

Post on 16-Nov-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: heidelberg2-0602 · 2002. 12. 5. · rc o n n e c t E n t r o i a A S C I T f lo ... 2.2.15 SMP Debian Linux 2.2.17 SMP Red Hat Linux 2.2.16 Memory 512 MB 512 MB 128 or 256 MB CPU

Page 1

High Performance Computing, Computational Grid, and Numerical

Libraries

����������

� �� ���������� ��������

Distributed and Parallel Systems

Distributedsystemshetero-geneous

Massivelyparallelsystemshomo-geneous

Grid

bas

ed

Com

putin

gB

eow

ulf c

lust

erN

etw

ork

of w

sC

lust

ers

w/

spec

ial i

nter

conn

ect

Ent

ropi

a

AS

CI T

flops

� ����������� ���������

� � �����������

� � ����� ��� �� ��������������

� � ����� ��� ����������

� ��� �� ��� �������������� �

� ���������������� ��������

� ! �� �������� ��������������������

� ! �� ��������

� � "! #$ ��� �

� %�&��'����� ������

� ( ���������)�! *�� +�

� ,����������*����������

� ( �����- �������� ������������

� ( ��������� ��������������

� � ����� ��� ������������-��

� .� �������������� �/�� �

� ( �������� ��������*��0� � ��

� �������� �����������

� � ����������

� ( � 1#�� �����2232

� 4���� ���������

� ( ��������)5��! *�� +�

SET

I@ho

me

Par

alle

l Dis

t mem

What is Grid Computing?

���������������6 ������������ ��7��� �������������� ��'�� ���������������������������8�����

QuickTime™ and a decompressor

are needed to see this picture.

QuickTime™ and a decompressor

are needed to see this picture.

IM AGING INSTRUMENTS

COMPUTATIONALRESOURCES

LARGE-SCALE DATABASES

DATA ACQUISITION ,ANALYSIS

ADVANCEDVISUAL IZATION

The Computational Grid is…

� 9��������7������������*�������������������- ��� ����������� ��������� ���������������� � �������5

� :�- ��������������� :�- ��� �������;�� ������'���*�- ���'���- ��<�'��������������� �

� :�- ������� ���;������ ��������

� ( ������������- � �- ���*��� ��������������- ���� ����������- �������������*��� ����� �- ���������5� � ��� ����

� = ���� ��*��� ���

� > 7�0����

� ? � ���7��

Computational Grids and Electric Power Grids

• � �������1�� ������������������<������"��������:�- �������

— ����������� ���������������

— ���’�������������� ��������������������� ��������� �!�������"���������� ���� ������������ �����

� � �������1�� ������������������**�����*��� �����"��������:�- �������� # ���������� �������� �����

� # ���������� ������ ����

� $ ������� �������� ����� ���������������

% & �������

% '��� �����

% & ����(����������������

An Emerging Grid Community

�@@.�����

� A�����7��<B����������� ������������- ��*������������*��������

� #� �������*�������������� �����- �����**�������������

% ) �����

% *����

% +����

% , ��& �� �!�, ���

% & �����- �������.���

% , ��� ���# ������& � ���

% $ ��*�& !�/

Page 2: heidelberg2-0602 · 2002. 12. 5. · rc o n n e c t E n t r o i a A S C I T f lo ... 2.2.15 SMP Debian Linux 2.2.17 SMP Red Hat Linux 2.2.16 Memory 512 MB 512 MB 128 or 256 MB CPU

Page 2

#:��3( � �3( � ( ���� ;++��5���5���+%- �C+��� �+#:�

���7���������������� ;++- - - 5���7�5���+

2���� ��� ;++- - - 5��5������5��+%���� ���- +

( 2�� �������������� ;++- - - ����5���5��+��� �+� ��+� ���

3��� ���������������� ;++- - - 5��5�<5��+�������+

3#3D���������������� ;++ ����5���5��5C +�*+

1������� ��� ;++- - - 5��5- ���5��+�����+

1> E > 2F � ����������� ;++- - - 5� � 5���5���+��+�� ���5��� �

� �7D��- ��� ;++- - - 5 ��5���5��+����+��*+

2�1# ��� ;++����5��5�<5��+

Grids are Hot� � ����& ��*$ '$ +0�����'�� & ���������) ��1�����������������

������2���������

Whole-ProgramCompiler

LibrariesBinder

Real-timePerformance

Monitor

PerformanceProblem

ResourceNegotiator

Scheduler

GridRuntimeSystem

SourceAppli-cation

Config-urableObject

Program

SoftwareComponents

Performance Feedback

Negotiation

Grid-Aware Numerical Libraries

� � ����& ��*$ '$ +0�����'�� & ���������) ��1�����������������������2���������

Whole-ProgramCompiler

LibrariesBinder

Real-timePerformance

Monitor

PerformanceProblem

ResourceNegotiator

Scheduler

GridRuntimeSystem

SourceAppli-cation

Config-urableObject

Program

SoftwareComponents

Performance Feedback

Negotiation

Grid-Aware Numerical Libraries

3���� ��������& ��*$ '$ +0���������������������������������) ��4

�2����������������������� � ������) $ �& ��� �����������������4

ScaLAPACK

� � ��2( :( 1������� ����7���������7������������������������� �� ����� ���������7�����

� 1�� ������ ���������7�����*��������� ����/���� ������

� ? �������*���������7���� ����������� �����E ::�6 �1������ �����E :#

� � ���*�����*������ ������*�- ���� ��<���������������

� 3� ���������*�- ���������- ����- ��<����������������� ���*��� �

� D����*��� �? � "'�3� D'����? ( �:(

� #����������7��#,E '�= :�1���/'�DC���'�3"1'��� '�� �#'�1���'�3( �'�#E � 2'�9� ! ������ ��*��� ����6 � �������� ���

ScaLAPACK Grid Enabled

� #� ��� �������������*���� ��2( :( 1����7�����������������������������5� E �<������*��������������������G����� ����

� :�����������7������� �����������

� :�������- �������������G��������� ��

� E �<�����*�- ����������� ����7����������� ���������*�- ���5

� ( ��� �������������������������������A�������7���B��������� ������ �������������������/������������ ������������ ���- ����������/��������������<�� ����5

To Use ScaLAPACK a User Must:

� ? �- ��������� ��<��������/������� ��<��������<��:,2( � '�,2( � '�,2( 1� '�6 �E :# ��������� ������5

� � �������� :E ? � ������ �- ������ � ���� ���������������? � �����������

� :����������������������������� �����������

� 1���������� ���������7���������������� :E ? �*�����

� 1��������������������*����������7�����������*������

� ! �������� ���������������� ������������������������� 7����*� �������������� ��������- �������

� ! �������� �������������� �������������������� A� �� H 3 ���I� B

% 3���;������ 7����*� �������������*�/���7����������7�*���������'��*� ��7��� ���8������������� �������9

� > ����� �����'���������� ����������������� �����*���������

Page 3: heidelberg2-0602 · 2002. 12. 5. · rc o n n e c t E n t r o i a A S C I T f lo ... 2.2.15 SMP Debian Linux 2.2.17 SMP Red Hat Linux 2.2.16 Memory 512 MB 512 MB 128 or 256 MB CPU

Page 3

GrADS Numerical Library

� � �����������������������*���� ���*��������<�

� E �<�������������- ������ �������������7��������������G�� ��7��� ���������������*�����������

�? ����� ������ ���������������7�����

�� ��� �8��*�������7������� �����������

�? �����7������������������ �������������������������*�������

�� ���������� :E ? ���7��������������������� ���*��� �

�1���<���������*�������� ��������� ������������ ����

% #*���� ���� ��� �������� �������

2�7���������

> ���

� = ���A���*��������B����� �<��������- ��<����������������������5

$ ��� ������1$ ���������5 �������������������������) �������������4

GrADS Library Sequence

Resource Selector

�> ����E ? � ����3� � ����7�������������*�������*�������� ����������������������7���*����������5

% ��� ���������7- '��� ������������ '�� �� ����������7��

% E ����/��*��� �����������0��7����

�� ������*��� ��� '�1��*����1����*��������*��� ���������������� ��������������������������������*�- �����������������������7������7�����5

2�7���������

> ��� �������� �������

Arrays of Values Generated by Resource Selector

� 1��0��7��������$ �> ! '�> 1� ? '�> #> 1

% :�����*�����E ��������

�D�������������������������������������������0���������

�,��- ��������2�������*��� ��������<����<������5

�2������������*���1:> ����E �� ���

� E ����/��*�����������*������������������������� ����'�����'�� ����/��*������5

� ( ������� �����������- ��<�7��������������5���- �- �������������7��'�������������'�������� �- ����*������ ������

x x x x x x

x x x x x x

x x x x x x

x x x x x x

x x x x x x

x x x x x x

xxx

x

x x x x x

x x x x x

x x x x x

x x x x x

x x x x x

xx

xx

x x x x

x x x x

x x x x

x x x x

x

xxx

x x x x x x

x x x x x x

x x x x x x

x x x x x x

x x x x x x

x x x x x x

ScaLAPACK Performance Model

� ! ������ 7����*�*������� ����� �������� ��� ��������

� ! ������ 7����*���������� ����� � ������� ��� ��������

� ! ������ 7����*�� �������

� ! �� �� ���*������� ����� ������

� ! �� �� ������������ ���� � ������

� ! �� �� ���� ������

( , ) f f v v m mT n p C t C t C t= + +32

3f

nC

p=

2

2

1(3 log )

4v

nC p

p= +

2(6 log )mC n p= +

ft

vt

mt

2�7���������

> ��� �������� �������

:��*��� ���E ����

� :��*��� ����E ��������������*��� ���������������������� �����������������*�������5� :��<���� �������������������������������������

� ���������������������5

� #*���������� �� ���'������� ����������������������� ��7��� 5

� 1����� ��������������������5

� :��������������� ������������ ��������������� ����5

� #*�A7�����B'����������������� '��*������� 5

Performance Model

Page 4: heidelberg2-0602 · 2002. 12. 5. · rc o n n e c t E n t r o i a A S C I T f lo ... 2.2.15 SMP Debian Linux 2.2.17 SMP Red Hat Linux 2.2.16 Memory 512 MB 512 MB 128 or 256 MB CPU

Page 4

2�7���������

> ��� �������� �������

:��*��� ���E ����

1������? ����� � ��

Contract Development

� 1? ��������������������*�������5

� � �������������7��- �������1? ����:E � ���������������- ��<�7���*�������5

� ! ��������*������7���'�������*�������<�*����*����� ��5

2�7���������

> ��� �������� �������

:��*��� ���E ����

1������? ����� � ��

( 2�����

A� �� H� �����*��� H���7���� *��I���������I�����I�����6

Application Launcher

Experimental Hardware / Software Grid

� ���7����������5�5J

� ( �� �������������5J

� 3� � ���������5�5 ���

� E :#1= �����������5�5�

� � ��2( :( 1����������5K

� ( ! 2( � +,2( � ��������J5�5�

� ,2( 1� ���������5�

� :( :#���������5�5.

� ��( ? � G�A1��*��������B

TORC CYPHER OPUS

Type Cluster 8 Dual Pentium III

Cluster 16 Dual Pentium III

Cluster 8 Pentium II

OS Red Hat Linux 2.2.15 SMP

Debian Linux 2.2.17 SMP

Red Hat Linux 2.2.16

Memory 512 MB 512 MB 128 or 256 MB

CPU speed 550 MHz 500 MHz 265 – 448 MHz

Network Fast Ethernet (100 Mbit/s) (3Com 3C905B) and switch (BayStack350T) with 16 ports

Gigabit Ethernet (SK-9843) and switch (Foundry FastI ron II) with 24 ports

Myrinet(LANai 4.3) with 16 ports each

MacroGridTestbed

Independent components being put together and interacting

� � ������ ���!�5 �����7 �����

8������!�� � ������ ���!�5 �����7 �����

PerformanceModel

Library writer to supply

Optimizer

'���� �'�� ����!�+�����) ��

MDS, NWS

Coarse Grid

Resource Selector/Performance Modeler

� ��*�������������������7�������� �������� ����������������- ���� �����������7������� �����������5

� ! �������7����������� ����*��� �����*��� ������������������������ ��*��� ����� ����5

� ! ���:E ����������� �������*������������ �����������������*��� �����*��� ������� 5� #������������������� ������ �

- ������������������ ��������������� ���� ��5

� ! ����������7��<����<���������� ��� �8��5� ! ��������������*���

������ �������/ ���� ������5

Performance Model Validation

Speed = 60% of the peak

Opus14 Opus13 Opus16 Opus15 Torc4 Torc6 Torc7mem(MB) 215 214 227 215 233 479 479speed 270 270 270 270 330 330 330load 1 0.99 1 0.99 1 1.04 0.87

Bandwidth Opus14 Opus13 Opus16 Opus15 Torc4 Torc6 Torc7Opus14 -1 248.83 247.31 246.38 2.83 2.83 2.83Opus13 248.83 -1 244.54 240.94 2.83 2.83 2.83Opus16 247.31 244.54 -1 247.54 2.83 2.83 2.83Opus15 246.38 240.94 247.54 -1 2.83 2.83 2.83Torc4 2.83 2.83 2.83 2.83 -1 81.96 56.47Torc6 2.83 2.83 2.83 2.83 81.96 -1 50.9Torc7 2.83 2.83 2.83 2.83 56.47 50.9 -1

Latency in msec

Latency Opus14 Opus13 Opus16 Opus15 Torc4 Torc6 Torc7Opus14 -1 0.24 0.29 0.26 83.78 83.78 83.78Opus13 0.24 -1 0.24 0.23 83.78 83.78 83.78Opus16 0.29 0.24 -1 0.23 83.78 83.78 83.78Opus15 0.26 0.23 0.23 -1 83.78 83.78 83.78Torc4 83.78 83.78 83.78 83.78 -1 0.31 0.31Torc6 83.78 83.78 83.78 83.78 0.31 -1 0.31Torc7 83.78 83.78 83.78 83.78 0.31 0.31 -1

Bandwidth in Mb/s

This is for a refined grid

PDGESV Time BreakdownScaLAPACK - PDGESV - Using collapsed NWS query from UCSB

42 machine available, using mainly torc, cypher, msc clusters at UTK [Jan 2002]

0.0

1000.0

2000.0

3000.0

4000.0

5000.0

6000.0

Matrix Size - Nproc

Tim

e (s

econ

ds)

other

PDGESV

spawn

NWS

MDS

other 4.7 5.3 1.0 2.3 7.6 1.1 4.7

PDGESV 58.7 394.7 749.4 1686.7 2747.1 4472.7 5020.4

spawn 92.2 105.9 154.1 124.7 135.6 181.0 264.5

NWS 5.5 7.4 12.3 12.0 4.2 10.2 8.5

MDS 13.0 11.0 10.0 11.0 14.0 73.0 12.0

5000-10 10000-12 15000-14 20000-14 25000-18 30000-18 35000-27

Page 5: heidelberg2-0602 · 2002. 12. 5. · rc o n n e c t E n t r o i a A S C I T f lo ... 2.2.15 SMP Debian Linux 2.2.17 SMP Red Hat Linux 2.2.16 Memory 512 MB 512 MB 128 or 256 MB CPU

Page 5

ScaLAPACK across 3 Clusters

0

500

1000

1500

2000

2500

3000

3500

0 5000 10000 15000 20000

Matrix Size

Tim

e (s

eco

nd

s)

5 OPUS8 OPUS

8 OPUS

8 OPUS, 6 CYPHER

8 OPUS, 2 TORC, 6 CYPHER

6 OPUS, 5 CYPHER

2 OPUS, 4 TORC, 6 CYPHER

8 OPUS, 4 TORC, 4 CYPHER

OPUS OPUS, CYPHER OPUS, TORC, CYPHER

QR – Timing Breakdown

Execution of QR factorization over the grid

0

500

1000

1500

2000

2500

3000

3500

4000

4000 5000 8000 10000 12000 15000

Matrix Size

Tim

e (s

eco

nd

s)

Application execution

Startup time

Performance modeling

NWS

MDS

3 torcs, 3 mscs

3 torcs, 4 mscs

4 torcs, 6 mscs

4 torcs, 6 mscs

4 torcs, 7 mscs

4 torcs, 7 mscs

PDSYEVX – Timing Breakdown

PDSYEVX - torcs, cyphers

0

1000

2000

3000

4000

5000

6000

1000

-1

2000

-1

3000

-1

4000

-2

5000

-4

7000

-5

1000

0-10

N-nproc

Tim

e (s

)

other_grid_overheadperf_modeling_timenwsmdspdsyevx_driver_overheadback transformationcompute eigenvectorscompute eigenvaluestridiagonal reduction

Uses torcs only

Uses 5 torcs and 5 cyphers

GradSoft & ScaLAPACK

� ����� �*� ���������������� ���*������������C�7������E ? � ����3� � ��*�� 3��������������� ����������5�5'�( �� ����+:�7��

� � ��2( :( 1� ��� �����������������'��������������� � ������ ��*��� ����� �������

� E ����������*��� �� ��2( :( 1� ��� ���������� �*�� ( ���� ��2( :( 1� ������:��*��� ���IE ������ ���� ������������������

��������

� ( �������I2����� ������������ ��G� �� 2�*���

� :? �"� F ����1������IE ����� ������� ������/����7������������������0����� ���������

� � ��<���������������

Rescheduling/Redistribution Experimental Results

App: 13600, 4 cyphers

No rescheduling

0

200

400

600

800

1000

1200

1400

1600

1800

2000

Tim

e (s

eco

nd

s)

App: 13600, 4 cyphers+4 torcs

No rescheduling

Scenario: start application on 4 cyphersmachines. After 4 minutes into the run 4 addition processors become available.

Want to reorganize the computation to take advantage of the extracomputing capability.

What’s the additional cost?

Rescheduling/RedistributionExperimental Results

App: 13600, 4 cyphers

No rescheduling

0

200

400

600

800

1000

1200

1400

1600

1800

2000

Tim

e (s

eco

nd

s)

Application execution

Redistribute time

Checkpoint read+write

Restart time

Start time

Grid overhead

NWS

App: 13600, 4 cyphers+4 torcs

No rescheduling

App1: 13600, 4 torcs

App2: 13600, 4 torcs+4 cyphers, introduced 4 mins. into the run

With rescheduling

About 12% better per formance even withredistr ibution and restar t.

Page 6: heidelberg2-0602 · 2002. 12. 5. · rc o n n e c t E n t r o i a A S C I T f lo ... 2.2.15 SMP Debian Linux 2.2.17 SMP Red Hat Linux 2.2.16 Memory 512 MB 512 MB 128 or 256 MB CPU

Page 6

Adhoc vs Annealing Scheduling

Estimated Execution Time for PDGESVUsing Adhoc Scheduler and Annealing Scheduler

Given 57 possible hosts; all GrADS x86 machines

0

1000

2000

3000

4000

5000

6000

5000

(10)

(9)

1000

0 (12

) (12

)

1500

0 (14

) (16

)

2000

0 (14

) (20

)

2500

0 (18

) (20

)

3000

0 (20

) (20

)

3500

0 (27

) (27

)

N (nproc_adhoc) (nproc_anneal)

Tim

e E

stim

ate

(sec

)

est_adhoc

est_anneal

Largest Problem Solved

� E ����/��*���8��J�'����)5���,�*�����������

�J�� ��������������������*��� �> #> 1����> !

% 3�������� ������������.���E ,�'���� ��������������4�E ,�

�:E ��������)�� �������������������*��� �> !

�1�� ���������<�4&�� ����

% J5K��*�� +�������

% ����E *�� +�� ��� ��������

% � ��2( :( 1��������������*��)� ����������- ���������7���.�� ��*� ��<

% :��������������.���E = 8����.���E *�� +�� ��<

% D���������������� ��������� ����������� ��2( :( 1��

Compiler analogy

General Library Interface

� � �����������������������*���������- ����- ��<'���������'�- ����� ���������7������5�#�G�����7����A��� ��B�� ���������� ������������ �������������+��7������5

�? ����� ���� ��������� ������� ��*��������������������5

� ! ���������7�����- ��������������� ���3� ������������

�:��*��� ����E ����

� ! ���������*�����*��� �- ��<������� ���������� �5

2�7����� ����

> ��� �������� �������

:��*��� ���E ����

1������? ����� � ��

( 2�����

� E ���������������������������������������������������� ��7��� ����������0���������- ��������� ���������������7��� ���������������� �5

� 3��- ��<��'�������7������� ���'���� ����������� ��������������������� ���������� �<����� ����7���*���������7���������� ������ ��������� ��*��� ����� ��������'�7�555� ���������������� �����

� 1������������������7��

� ? ����������������� ������7�� ����7��

Today: Collaboration

In the past: IsolationMotivation for Grid Computing

The Grid

� ! ��������1:> �������������*�- ������<����� � �������5

� "�7����������������������*������� ��������������7�������������H �������7������*�������������������/��������������������� �5

� 1�� ���� �- ������ �������� �����<������������������ �- ������- ��������� �������*������� ���5

� > �����- �������������������A �- ��B������ ���

� A� �������3��- ��<�������*�������������� ���G�����������<�'������ ������������������������������3��������������*�� ������ � ����� ������B� �������! ����������� ����L ������

��������

Page 7: heidelberg2-0602 · 2002. 12. 5. · rc o n n e c t E n t r o i a A S C I T f lo ... 2.2.15 SMP Debian Linux 2.2.17 SMP Red Hat Linux 2.2.16 Memory 512 MB 512 MB 128 or 256 MB CPU

Page 7

Motivation for NetSolve

� 1������ ������? ����

� 3���������������������

� 2����,�����������D����! �������

� = �����������"����� ���� �����

� E ��� ��������� �������������*����

� ,����������������� ����

������

�������������������������������������������� � � � ����������������� ��� �������� ��� �������� ��� �������� ��� ��������������� ������� ������� ������� �������������������������������������� �������� �������� �������� ������� ������ ������ ������ ������������� ������������������������������ ������������������������������ ������������������������������ ��������������������������

��� �������� �������� �������� �����

NetSolve Network Enabled Server

� 3��� �����������/�� ����*��������7���������- ���+��*�- ����������5

� ,������������ ����:��������1����� �����7��- ����9� �����������������'����� ��� ��7��� ���������� �7�������'������7������'�

*�������������������������'��������'�9

� "�����*���� ���� ��

� ! ������������ ������������'�7����� �����������

� = ����������������������� > ���������G����������- ������7�����- ����- �������������7���

�� �����7�����

� :���������������*�������7������ ������������������A� ���� � ���B�� ������- ������- �������*�������*�����*�- ���

NetSolve: The Big Picture

AGENT(s)

AC

S1 S2

S3 S4

Client

Matlab

Mathematica

C, For tran

Java, Excel

Schedule

Database

No knowledge of the grid required, RPC like.

IBP Depot

NetSolve: The Big Picture

AGENT(s)

AC

S1 S2

S3 S4

Client

Matlab

Mathematica

C, For tran

Java, Excel

Schedule

Database

No knowledge of the grid required, RPC like.

A, BIBP Depot

NetSolve: The Big Picture

AGENT(s)

AC

S1 S2

S3 S4

Client

Matlab

Mathematica

C, For tran

Java, Excel

Schedule

Database

No knowledge of the grid required, RPC like.

HandlebackIBP Depot

NetSolve: The Big Picture

AGENT(s)

AC

S1 S2

S3 S4

Client

Answer (C)

S2 !

Request

Op(C, A, B)

Matlab

Mathematica

C, For tran

Java, Excel

Schedule

Database

No knowledge of the grid required, RPC like.

A, B

OP, handle

IBP Depot

Page 8: heidelberg2-0602 · 2002. 12. 5. · rc o n n e c t E n t r o i a A S C I T f lo ... 2.2.15 SMP Debian Linux 2.2.17 SMP Red Hat Linux 2.2.16 Memory 512 MB 512 MB 128 or 256 MB CPU

Page 8

Basic Usage Scenarios

� �����7������ ���������7������������ > ��������G�����������������*�- ����

��7�������������� �����'�2( :( 1�'�� ��2> '�� ��2( :( 1�'�:"! � �'�( M ! "1'�( �:( 1�

� ! ��<�*��� ���� ��������� A:��������� �������B��/�����

� �� :���� �����������

� ��� ����� ���������/������ 1�� ������ ���������- ��������

� ���*����� �� ���� �������������������� �

� A,���1�����B������,�����1�� ���� ? ���������0������� �<�- �������*�

��- ��<� ������ � ��

� 2������*��/ �����������������*���� �������

� > ����������������� '���A�B���0����

� #���������'� ������������������@��������

� 1�� ����������7�'�1����'�3#3D'�9

NetSolve Agent

� 3�� ���������*��������������������������3��� ����������� 5

� #*��� ������ ������� ����������������� ��������������0������������- �������

��*�- �������������������7��5

� ����������������� � �������7������������������ ����*��� �����������������

3��� ��������������� ����������*������������������*���������

Agent

NetSolve Agent

� ��������� ������������G� ;� 1:> :��*��� �����2#3:( 1� 5

� 3��- ��<�7��- ����'�������5

� � ������- ��<����5

� :��7��� ���8�+��������� ���� ��/���5

� 1�����������A! �� �����1�� ��5B�*��������� �� ������������5

� 3���*�����������*�� ����� �� ������������5

Agent

� D�����,�����#���*���5

� 1����� ������ ��� 7�����������������������������*��� �3��� ����G�( :#���������������������������������������������5

� #���*����������7������1'�D�����'�E ����7'����E ����� �����5

� � �0����- ��<�������������5

� 3��� ��������7�����<������������������*�� ������;�7���<��'���7���<��'����<�*��� �'�9

NetSolve Client

Client

NetSolve Client

� #��������������������5

� E ����7�E ����/�� ��� ����5�5;� ( �N�� ��� ��,'�1 O

A = netsolve(‘matmul’ , B, C);

� Possible parallelisms hidden.

Client

NetSolve Client

�5 1������ �<�����0�����������5

��5 ( ����������������*��������5

���5 1�����������*���������������� ��7��� 5

Client

Page 9: heidelberg2-0602 · 2002. 12. 5. · rc o n n e c t E n t r o i a A S C I T f lo ... 2.2.15 SMP Debian Linux 2.2.17 SMP Red Hat Linux 2.2.16 Memory 512 MB 512 MB 128 or 256 MB CPU

Page 9

Generating New Services in NetSolve

� ( �������������*���������� ? �����7����������*���

� ��������- �� ��

� #����������������

JavaGUI

NetSolveParser/

Compiler

@PROBLEM degsv@DESCRIPTIONThis is a linear solver for dense matrices from the LAPACKLibrary. Solves Ax=b.@INPUT 2@OBJECT MATRIX DOUBLE ADouble precision matrix@OBJECT VECTOR DOUBLE bRight hand side@OUTPUT 1@OBJECT VECTOR DOUBLE x…

ServerService

Service

Service

Service

NewService

New Service Added!

Task Farming -Multiple Requests To Single Problem

� ( �� �����;� 5 ����������������������"9����:;����(��������;:

� D��� ���� �����;� & ������������������<�� ��"9

� ��0��������������������A�������*�� �� ���� �����5B

� ( �� ����������������������� 5

� > ��*��*��� ���� ������- �� ��'������� ������� ��������� ��������5

Data Persistence

� 1�����������������0�����*�3��� �������0����5

� ( ���8�� ���� ��������������� ���������� �������5�"������������? ( �������������- ������������ ��������� ��������� ���������������� �����������*��- 5

� ! ���� ���� �������*������ �+�� �� ���� ���������� �<�� �������� ������������ �*�����������*���0�����/�����5

� � ������������������0����� ������*����/�����5

netsl(“command1”, A, B, C);netsl(“command2”, A, C, D);netsl(“command3”, D, E, F);

Client Server

command1(A, B)

result C

Client Server

command2(A, C)

result D

Client Server

command3(D, E)

result F

netsl_begin_sequence( );netsl(“command1”, A, B, C);netsl(“command2”, A, C, D);netsl(“command3”, D, E, F);netsl_end_sequence(C, D);

Client Server

sequence(A, B, E)

Server

Client Serverresult F

input A,intermediate output C

intermediate output D,input E

Data Persistence (cont’d)

University of Tennessee Deployment: Scalable Intracampus Research Grid SInRG

� D���������� - ����� ;�1� '�1��� "�5'�E �������� �����'�1�� ��������"������'�"�5�"�5

� ���� � ��������'��������������������������������������������� �����- ��������������������������������������������������������������� � ��'���������������������������������������������������������������������������������������������������- ��<��The Knoxville Campus has two DS-3 commodity Internet connections and one DS-3 Internet2/Abilene connection.

An OC-3 ATM link routes IP traffic between the Knoxville campus, National Transportation Research Center, andOak Ridge National Laboratory. UT participates in several national networking i nitiati ves i ncluding Internet2 (I2),Abilene, the federal Next Generation Internet (NGI) i nitiati ve, Southern Universities Research Association (SURA)Regional Information Infrastructure (RII), and Southern Crossroads (SoX).

The UT campus consists of a meshed ATM OC-12 being migrated over to switched Gigabit by earl y 2002.

•UCSD (F. Berman, H. Casanova, M. Ellisman), Salk Institute (T. Bartol), CMU (J. Stiles), UTK (Dongarra, M. M iller, R. Wolski)•Study how neurotransmitters diffuse and activate receptors in synapses•blue unbounded, red singly bounded, green doubly bounded closed,yellow doubly bounded open

NPACI Alpha Project - MCell: 3-D Monte-Carlo Simulation of Neuro-Transmitter Release in Between

Cells

Page 10: heidelberg2-0602 · 2002. 12. 5. · rc o n n e c t E n t r o i a A S C I T f lo ... 2.2.15 SMP Debian Linux 2.2.17 SMP Red Hat Linux 2.2.16 Memory 512 MB 512 MB 128 or 256 MB CPU

Page 10

� #���������:��������( ������������������ �� �����5�� E ����� ������G����� '�> ! �( ���

� �������������"����� ������ �� �����5� � ������7���<����'�- ����*����'���� �������

� J? ���������*��- ��*�� ��� ��� ����

� #���������"/������� �� ������5

� D��� �- ��<���� ��*���������� � ��� :���������������'��������*���- ����'���7������< 5

� :�������� ��+ ��� ��������'�������8����5

� D���#:( �� ��������- ������#���������5

� #:( �� �#���*����;� 1'�D� �! �( 3'�E ����7'�E ����� �����'����� �75

WebServer

NetSolveClient

IPARS-enabledServers

WebInter face

SCIRun torso defibrillator application –Chris Johnson, U of Utah

Netsolveand SCIRun

Things Not Touched On

� � ������� > �������7�����F .�*��������������5

� � � ������� ������1���������������� #� ��� �����= ���- �������� �*�- �����������

� = ����������*�( ������ E ���������7�����*�������

� E ������3��� �����3��- ��<� ! ���<����� ����������

� 3��- ��<������� 3��- ��<�� �������� ������

� #������,��< ����:��������� � �����- ����*���� ���������������� �����������5

� D����! �������

� 2�����+����7���1�*��������

� ? ��� ���3������*�� ������

� ( ��� �����( �� �����( �������� �� �������� ? ��� ��������� �������������������� �7������������� ����������������*����� ��7��� �

Conclusions

� "/ ���� �����������������( ? � ������� � ��� = �����*���������� �������������

������ ����������5

� "/ �������� 7����*�������*����� ����� ��

� F ���� ��������*����7��<������� ���������� ����- ����������/ ���� ��5

� 1��( ? � �- �������� ����� ����*������������������������������� ������ �������7������� �����������5� ( �� ������ ����������� ���

������ ��5�

� ( ��������� ��/�������*������������������������������� ������������*������*���� ��7�����5

� ? ����� �����7������*����������*������ ���������������� ��������������*�- ��������������������� ��5��� 2��<��*������������� �����

������ � ��������5

� ( �������� '�- ����������� ������/ ���������������O����- ������- ��<�����������5� 1�������������������

� 1��������� �����*���� �����

� #���������� � ��������������� � �������

� � ������������������ � ��8����*����� ������������

�� ������� ������������� ������'���������'����5