ibm research report - cs.huji.ac.il

12
H-0196 October 19, 2003 Computer Science IBM Research Report "Look It Up" or "Do the Math": An Energy, Area, and Timing Analysis of Instruction Reuse and Memoization Daniel Citron IBM Research Division Haifa Research Laboratory Haifa 31905, Israel Dror G. Feitelson School of Computer Science and Engineering The Hebrew University of Jerusalem 91904 Jerusalem, Israel Research Division Almaden - Austin - Beijing - Haifa - India - T. J. Watson - Tokyo - Zurich LIMITED DISTRIBUTION NOTICE: This report has been submitted for publication outside of IBM and will probably be copyrighted if accepted for publication. It has been issued as a Research Report for early dissemination of its contents. In view of the transfer of copyright to the outside publisher, its distribution outside of IBM prior to publication should be limited to peer communications and specific requests. After outside publication, requests should be filled only by reprints or legally obtained copies of the article (e.g. , payment of royalties). Copies may be requested from IBM T. J. Watson Research Center , P. O. Box 218, Yorktown Heights, NY 10598 USA (email: [email protected]). Some reports are available on the internet at http://domino.watson.ibm.com/library/CyberDig.nsf/home .

Upload: others

Post on 01-Nov-2021

4 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: IBM Research Report - cs.huji.ac.il

H-0196 October 19, 2003Computer Science

IBM Research Report

"Look It Up" or "Do the Math": An Energy, Area, andTiming Analysis of Instruction Reuse and Memoization

Daniel CitronIBM Research Division

Haifa Research LaboratoryHaifa 31905, Israel

Dror G. FeitelsonSchool of Computer Science and Engineering

The Hebrew University of Jerusalem91904 Jerusalem, Israel

Research DivisionAlmaden - Austin - Beijing - Haifa - India - T. J. Watson - Tokyo - Zurich

LIMITED DISTRIBUTION NOTICE: This report has been submitted for publication outside of IBM and will probably be copyrighted if accepted for publication. It has been issued as a ResearchReport for early dissemination of its contents. In view of the transfer of copyright to the outside publisher, its distribution outside of IBM prior to publication should be limited to peer communications and specificrequests. After outside publication, requests should be filled only by reprints or legally obtained copies of the article (e.g. , payment of royalties). Copies may be requested from IBM T. J. Watson Research Center , P.O. Box 218, Yorktown Heights, NY 10598 USA (email: [email protected]). Some reports are available on the internet at http://domino.watson.ibm.com/library/CyberDig.nsf/home .

Page 2: IBM Research Report - cs.huji.ac.il

����� �� ��� � �� �� ������ �� �� ��� � �� ��� ������

�������� �� ���������� � �� ��� � ��� �����

������ �����

�� ���� ����

���� ���������� ������

���� ������ �����

�������� ��� ��

��� ! "�������

#�$� � ������� #������ ��% &�'�������'

($� ����) ���������� � *��������

����+ *��������� �����

������� $�,� �� ��

��������

����������� ��� �� ���� ���� ������ �� ������ ������ ������ ��� ��� � �������� ��� ����� ��� ��� ��� ���� �� �� ����� ����� ������� ������� ��������� �� ������������ ��������� ������ �� ������� ������� ������ ����� �� �� �������� �� ���� ��������� �� ��� ������������� ������ �� ����� �� � ���� �� ��� ���� �������� ���������� ��� ������� ��� ���� �������� �� ������� �� ����� �� �� ������ ������� �� ��������� ���� �����

���� ��� ��� ������������ ����� �� ��!"#$ $"%&''' ������� ����� �� ��� �� (����������� ������� ��� ���)�������� �� �� ������� �������� ��� ������������ ���� ������ ������ #����� ����������� �� � ������ ����� �� ��������� ���)��� �������� ����� ��� ������������ ����� ������� �� ���� ���� ����� �� � )�������� ������� �� ���������� ���� ������������ ������)� ���� ���� ���� ����� �� �� ���������� ����� ����� �� �� ��)����

� �������

������ ������ ��� ��� �� �� ���� ���� �� ��� � �� ��� ���� �� � � �� ������ ������� ����� ����� �������� �� � �� ��� ������������ ��� ��� ��� �� ������ ������� ��������� ����� ��� ��� ��� ���� ���� �������� ��� ���� � ������� �� �������� ������ ����� �� �� ������� � ����� ��� ��� �� �� ��� ��� ���� �� � ����� � ����� ��� ��� ��� ��� ���!� ������� �� � ��� �� �� � ����

"� �������� �� ���� ��� ������ #$%& �� � ��� ���� ��� ���� ���� �'��� �� � (����� )��� �� ����

�� � ������ �� � ����� ��� ������� �� �� � ���������� �� ��� ����� ���� �� ����! �� ������� � ���� � ��� ��� ���!� ��� ������ ���� "��� ����*� �� ����� ����������� *���

)� ���� +� ����� ��� ,������ #-& � �� � ����� ,��������� #$-& ��� ����� � ��� � �� ������� ����� ��� ���� ���� �� ������� � ��� ��� ������ ���� "��� ����� ��.�� � � �� ��� ��� ��� ���� ���� � ��� ��� � ��!� ���� �� "��� ��� ���������������� +��� �����

/������ 0��12��1� ��� "����� #$$& ����� �� ����������3 � � �� �� '�� � � � ��� ������� � () ��� �� �� ����� � ������ ����� �� ����� �� ����� 4 ��� � � ��� ��� ������ ��� �� ����������� ����� �� 41�� +���1��� ��� 5�� #$& ����� ���1� ��� �� � ���� ������ ����

6����� �� ���� �� ���� ��� �� �� ��"�� ���� �� � �� ��� �� � ��� ������ ��� � ����� ����� �� � ��� � ������ �� ��������� ���� �� ���� � ��� �� ��� ��� ���� �� �������� �� ��� �� � ��������� ������ ���� ����� ���������� "�� ��� � �� ���� ������ ��� ������� �� )� ��� ��� +� ���� #7&�

"��� $ ����� �� � �� ���� �� �� ��� ���� ���� �� � ����� ���� ��� �� ������������� ��������� �� ��������� � ��� ���������� �� ���� ��� /��1� ���� �� / � ��� �� � � � ���� �� �������� ��� � ����� ��� � �� � ��� � ���� �� �� ���� ��� ����� �������� ���� � ��� �� �� ���� � � � �� �������� ���� ������ ��� ��� ���� ���� � �� ���� ��� �� �� ��������������� "� ��� ���� ���� �� ��� � ��� �� ��������3

$� ,� ��� �� ��� ����� ��� �� � ��� ��� �� )(8�� ���� ������� ����� �� ��� 9 ���� � � ����� � ��� � �(:) )(89��� ��� ������ ��� ;/!� (���- #$�& %-��� ����� � ���

9� :����� � ������1� ��� �� � ������ ���� ��

$

Page 3: IBM Research Report - cs.huji.ac.il

��������� ����� �� �� �� ��� � �� ������� � � � � � � � � � � � �

������� ��� ����� � � � � �� �� � � � � �� ��

����� ��� ������ � � � � �� �� � � � � �� ��

������� �� �� ��� � � � �� �� � � � � �� ��

������� �� ������ �� �� �� � �� �� � � � � �� ��

������� !" ��� ����� � � � � �� �� � � � � �� ��

������� !" ��� ������ � � � � �# �� � � �� ��

Table 1. ��������� ��� ��� ���� �� ����������� �� ����� ��� ������� ��������� �� �������������

�� �� ��� �� � ����� �� ���� ������� ���� ��� ���� �� ��� 7 ������ ��� ���������� � 9� ��� ���� ��� ����� �������

7� :����� � ��� ������� �� ��� - ���� ������� ����� �� ��� ������ ���� ��� ��� ��� ���������� ������ ���� � ��� � � ���� ��� ���'���� � �� ��� ��� ���� � ��� �� ��� ����� � ��� ���� ��

-� � ��� ����� ��� ��� ���� ��' �� ��� /� �� ��� < ������ � �������� �� ��� ��������� ���� ����� ��� � � ������ ���� �� � �� ��� ���� ��

� ������� ��� ��� �� �����

���� ��

"��� �� ��� ���� ����'� � �� � ��� �� / ��������� � ��� �� �� �� ��'�� �� ���� ������ ���� 4 ������ ���� ����� � ���� ���� � �����

������ �� � ���� ��� � ��� �� �� �� ������ ��� ��� ���� ���� �� ������ = �������� ��� ������ � ��� ���� ���� �� � ��� ��� ����� �� +����$ ����� � ���������� ������ � ��� ��� � �������� �������� ��� ���� � �� ;/!� (���- #$�& %-��� ��� ��� ����� "� � ���� �� �� +/4�� �+��� ���� ���� /�� ���� 4��� ��� ��� ���� ����� � � �� ���� �� �� %-��� ������� �� � ���� "� ������ '�� �� ������ �� % �� � �� � ����� ������>()� ��� $� �� � �� � � ��� ����� �?>�� 4���� � �� ���! ��� �� 1��� ��� �� ��� ��� ����� ����� �� � ���� "�� �� �� �� ��� � ������� � �� ������ ����� ����� � ��� � � ���� ���� � ����� ��� ������ ������� �� ��

"� ���� ��� ����� �� � ����� 9�@ �� � �� ������ �� ��� �� ���� � �� ������� � ���� �� ������ �� �� 79��� �������� A������� %-��� ���� ��� ��� ������ ��� ��� ��� � � ����� �� ���� �� � ��� ����� ������� �� ��� 7 ����� � ���� ��� ��� �� ��������� ����� ��� �������� ��

OPC XO Operand1 Operand2 Operand3 Result0123

n-1

5 + 10 + 64*3 = 207-bit Tag 64-bit Data

Figure 1. � ������� ���������� ����� �� � ������� � ������ �������������

2.1 Simulation Methodology

"� ������ ��� �� ��� ��� ��� ����� ���� �� 4���#$9&� �� ������� ��� (���() ��������� � �������� ���� "� ������� ���������� ���� ������ ��� ������� ��� ���� ����� �� ��� � �� �� ������ ������ ��� � ��� � �� ����� ��������1 ��� ���� �� ��� ��� ��� ���� �� � ��������� ������ �� ����'������ � ���� ������ � ����� ��1� ��� � � �� ��� ��� ������� ��� ��� ��� ����

"� �� � ��� ����� � ��� � �(:) )(89������ ����� � /����(:) #$�& ���� � �� "��� 9����� � ��� ���� � ��� ��� � ���� �� ���� ��� ���� ����� �� "� )B)== �������� �������� �� � (���- ������� 4 ? ������ <�$ ������ � ;/ ������ ��� �%�� �� � � C���3 ����

���� �� ��� ��� ���� "� +�� ��� ���������� ������ ����� � ��� �D�$ ������ �� � �C���3 ���� ����

2.2 Instruction Memoization Potential

� ���� � ���� � �� � ��� �� ��� ��� ��� ���1� ��� � ������ �� ����� �� ����� � ��� �� �� �� ��� ��� ���� ����� �� E��'�� F���������� �$ ������ � ��� �� � %-���� �������� ��� �� 5,8 ������ � ��� ����� ����� � ?>,

9

Page 4: IBM Research Report - cs.huji.ac.il

��������� ���� � �����

�� �$��% �$��& � ��$ � �

����'%� �$��& � %��(� �����

����$(( �$��& �����

�����() �$��& ����

����(��)�* �$��& ����

�#��%��+�� �$��& �����

������� �$��& � (��, ����

����%���-�, �$��& �#���

�� �$�% �$��& ����

����'����. �$��& �����

����-��%� �$��& � +���(� ���#�

��������) �$��& #���

������%��+� �$��& �����

����+��� �$��& �� �

�����$��& �$��& # �

�����%%�� �$��& ���

������+� �$��& ����

����$��$�� �$��& ����

��#���� �$��& �����

�����/��,� �$��& ����

����)�(���( �$��& ����

�������% �$��& �����

��#���(�+ �$��& ����

�#��)���& �$��& � ��

����+�.���(, �$��& ���#�

�����%+� �$��& ����

Table 2. �������� ��������� ��� ����������� ����� ���!� ����� ����� ��� ������"����� �#������� �� ������� ������ �� �� �������� �� $����%�&�� �������� '�� ������������� � ������ ������������

�� � ���� �� � �� � ������� ��� �������� "���� ��� ���� �� � �� �� �� ������3

� ��������� )���� ����� ������� �� � (�������� � �� � ��� ��� �� �� �� ������� � �� � �� ����� ��� ���� ��� /��1��� ���� ��� ��� � �� ��� � �� () ���� �� ������ () ��� ����� ��� �� � �� ��� �� ��� �;����� (���� ��� 8�� ���� �� �� �� �� �������� ��� ���� ������ ��

� ���� ����� /��1� ��� �� ��� ������� ���� �� � ��� ������ ��� �.� �*����� ����� � .� �� ������ ��� ���� ��� ���������� ��� ������ ��� � �� � �� � ��� � ���� "��� ����� � ����*� � G�� ���� �� ��� �� � ��� ��������� H�� ����� � .� �� ������ ������� ��� �� ��1��

164.

gzi

p

175.

vpr

176.

gcc

181.

mcf

186.

craf

ty

197.

par

ser

252.

eon

253.

per

lbm

k

254.

gap

255.

vort

ex

256.

bzi

p2

300.

two

lf

WH

mea

n0

20

40

60

80

100

Memoizable Success

168.

wu

pw

ise

171.

swim

172.

mg

rid

173.

app

lu

177.

mes

a

178.

gal

gel

179.

art

183

.eq

uak

e

187.

face

rec

188.

amm

p

189.

luca

s

191

.fm

a3d

200.

sixt

rack

301.

apsi

WH

mea

n0

20

40

60

80

100

Memoizable Success

Figure 2. ������ �� ��� �����(� �� ��� �������"����) �����(� �� ����������� '�� ���� � ��)�� � �����������

+���� 9 ����� � ���� �� ������ ��� ��� ��������� �� ��� �� ��� ��� � ��� ��� ����� ����������������� ��� � ���� ��� �� ��������� ������� ������ 9% ������� ���� �� � �(:) )(89��� ��������H���� @<I �� ��� ������ ��� ��� ���� ��� � ������������ ��1� ��� � ) H"9��� ��� ��� %<I ��� � )+(9��� ��� � "� ���� � ������� �� ����� ��� ��� ������ �� ��� � ���� ��� ����� ��� � �� �� ���� ����� �� �� �� �� ��� � ��� �� ��4 � ��� �� J� ��� 5��G� #9$& ����� @ )(89��� ��������� ��� ��.�� ���� �������� �� � ��������� ��� �����'��� ���� � �� ������� ���� �� ����� >�� � ��� �� �'� �� ����������� �� � ������� �

� ���������� ���������� ������

"� ��� ��� �� ��C��� � ��� �� � ����� �� ���� ������ ���� ��� ��� �� ������3��1� ������� ��� �� �������� ���� �� ��� �� �� 4���� ��� ����� ����� ����� � ��� ������� �� ������

7

Page 5: IBM Research Report - cs.huji.ac.il

����� � ���� � ���� ��� � � ������� ��1 ����� '�� ����� � 9� ��� ����� ����� ����� ���� ��� ������ ��� 7�$� ��� �� ����� � ���� ������ �� �������� ��� 7�9� �� � ��C�� ��� ��� ����

������ ��� ����� �� � �����

+��� �� ������+ ��� ������+

�++�(����'��* &���(����% ����*

��&�.��$ ��&� �" �%����&+ 0 �%(�&�

��%��(����� ��&� ���&�� 1��+� !�(����* �+�&

Table 3. ���������� ������ ��� ������ ���� ���� 9� �������� ���� ��

3.1 9� Factorial Design

4 9� +�� ����� ����� #�& �� ��� � � ��� �.� �� � ��� ���� ��� �� ����� ��� �� ����� A��� ��� �� ��� � ��� ���� � �� ���� �� � �� �������� "� ����*� ���� � � ������ ��� �� ������ ��� ��� ���� � � ��� ��� �� ����� �� ��� �� ������� ��� �� � � ���� "� ��� ��� ��� ���� � ������ ������� �� ��� 7� "� ���� ����� ��3

$� ,�� �� � ��� � ) H" ��� )+( ������������� �� �������� � ���� �� �����������1� ���� �� � ���� �� ��1��� ���� ��� ���� ��� � ���� �� ����� � ���� �������� ����

9� :���� �� �� ����� ��K��

7� 4���� � �����

-� "� �� ��� ������

����� ��������� �! ��������� "#$� � !

!��+� !��� 2"345 �� � # �

!��+� !��� 2"6�5 #� � � �

7���$* �� �� � �

((�++ 4��� � � � �

��� �� �� � �

Table 4. *��������� �� �������� �� �� 9� ���"����� ���� � �%�(�� *�����������)� $����� � +�"���������!�

>� ������ �� ����� �� � �� �� � ������� ��� �� � ��� �� �� ���G��� ��� �� � � ���� ���� ���� A ���� � �� ��� ��� �� �������� ��� � �� � � � ��C��� �� � ����� � ���

���� ���� �� 4���� � ��� ���� �� ������� ������ )4)" 7�� #$<& ���'� � ������� ����� �� ��1� ��� � ��� ������� � �� ��.�� �������� ��� ������ ���� >� ��� ��� � ����� ��� ��� � �������� �� ��� ������� ��� �� ���� ��� ��������� �� ���'����� "� ��� ���� ��� �� ��� < ��� � ������ ��� �� ����� ��� �� ����� ��� -� +�� �� � � ��� �������3

$� "� ��1 �� � ���������� �� � ������ ���� �� ��� ��� ���� ��� ����� 4 ��� �� � ���� ��� �� ���� ��� � ��� � ��� ����� � � ������ � ��� �� � +�� �� ������ ��� �� ��� � � ��� � �� ��� ��� ��1�

9� "� ������� ��� � �� � ���������� ��� � ������� .� �� � ��� �� � � ���� .� �� �� ����� ��� ���� ����� ���� �� �������� ��� � ������ � �������

7� 8���� � ������ ���� � �� � ���� ����� ������� �� � � ������ .� � �� ����� �� ����"� ����� ��� �� �� � ���� ��3 ��� ��� ������� ��� ���� �� �� ��� ��� ��� �� ���� � � �� � � ��� �� ��� � � � ��1 �� � � L���� ������ ��� ��� ���� �� ��.�� � � �� ��� ���� ���� ��� � � �� ������ ���! �� ��� � ������� �� 5�� ��� ���� � ��������� ������� ���� � ���� � � � �� � � �� ��� ��� ����

-� "� ������ ��� ��� ������ ��� .� ����� �� � �����

<� A�� ������� � ����� �� �� 9061 ������ �� ��� �� �� ;/ (��� ���� � ������� � ��� � ���'���� ���� �� �� ��� ������ � ���� � ������� "��� �� �3 �� �����1�� �� ������ ������ � �� ��� �� ���1� ��� ��� �����

4� � '���� � ������ ��������� ��� ������ ������� ���� � �� � � �� ��� � ��� �� � ������ � ���� ������ �� ��� ����� ����� ����� ��1 ���������� ��� ��

3.2 Full Two-Factor Factorial Design

� ��� � �� ����� � � ���� � ��1 �� ����������� ��� 79 � $�9- � ��� ��� � ����� ������� ��� � ��� ���� ����� � $%���� ��� %-���� ������ ����� � ����� ������� �� �� ��� ����� ������ �� ������ ����� � ������� ��� ��������� ����� ������ �� ���� �� +���� 7����� � ��� �� ��� ����� ����� �� ��� ���

���� ������ ��� �� �� ��������� ��� ��� � �����

�� �������� � ����� ��������� �� ���� ����� �� ��� ���� ������� ������� ��������

-

Page 6: IBM Research Report - cs.huji.ac.il

���% ������� ������� ���% ������� �������

� � ! (��� ()% �� �� ��� � � ! (��� ()% �� �� ��

�� � %( ��& ��� ��� ��� ���� ����� �8 � %( ��& ���� ���� �� � ���� �����

�� � %( ��� ��� ��� ��� ���� ���� �8 � %( ��� ���� ���� �� � ���� �����

�� � �%+ ��& ���# ��� ���� ���# ���� �8 � �%+ ��& ���� ��� ���� ��� ����#

�� � �%+ ��� ���# ��� ���� ���# ���� �8 � �%+ ��� ���� ��� ���� ��� �����

�� � %( ��& �� #� ���� ���� ��� � �8 � %( ��& ��� ��� ��#� ���� ��#�#

�� � %( ��� ��# #�� ���� ���� ��� � �8 � %( ��� #�� ��� ���� ���� ��#��

�� � �%+ ��& ���� ���# ���� ���� ����� �8 � �%+ ��& � � ��� ���� �� � ��#�#

�� � �%+ ��� ��� � � ���� ���� ����� �8 � �%+ ��� ��� ���� ��� �� � ��#�#

Table 5. ���, ������� ��� ������ �� 9� �������� ���� �� %" ��(�� * " ������������)� $" ������ � + "���������� ������

�M������ �� � ���� ��� �� ��1 �J������ ��� ������� ��� ��?�������

4 ���������� ���� �� �� ������������� �� ������ ��� � ��� ����� ��� ���� ��� ��������������� ���� �� � ���� � �������� �� ����� "����� �� � � )4/ �)�� � � 4�������� /�������� ����� �� � ������������� �� ���� �� � )4)" ���� +�� ���� ���������� � ������ �� ������� ��� ���� ��� ��������� �� ����� � � �������� ��� ���� �� � ���� )4/ ����� 6����� � ���� �������� .� �� ������� ��� � ��� �� � ��� �� ������ � �� � ���� ����� �����

����� �� � ��� � � ������4������ � ����� �� �� 9061 � ����� � ���

� ����� � ���'���� ��� �� ����1� � ����� �� ����� � ��� � ����� � ����������� 4<$9�� ��� ���� ����� ���������� ��� �� ����� � �� G�� ���� 9������ ����- ���� � ��� �� ��-@�@I �7@��I ��� )+(�� �� ���� ������ ��� �� ��-$�K����� ��� � � �� ��� �� ��-� ���� � �� ��� -� ���� ���� ����� ����*�� � ���� � �����

�����!� ��1 � � ��� � � ��� �� �

3.3 Instruction Reuse

"� ���� ������ � ���� � � � �� ����������� � ��� �� � ������������� �� ���������� ��������� ��� � �� ��� �� � ���������� ����������� �� � ������ � �� ��� ��� ,�� � ,���� �� ���� ��� ������ �� #$%& ��� ���� � ������ , ��� �� �������3

�� "� () �� ��� � ���� � ,�� ;�.� �,;�� � ������ ����� �� ��� � ����� ���� "����� ������ � � ���'���� ���� �� �� ��� 7�$ ��������� �� ������ �� � ()� "� ��.����� �� � () �� � �� ��� � ������ ���� ��

�� 4� � �� �� ���� �� � () ��� � ��� ���� �������!� ���� � ���� ����� ����� � ����1� :��� � � ���� � �� ������ � � ������������� � ��� �� �������� �� ,�� �� ����'� �� � () � �� ��� ����� �� � 6����� ���� ����� � )4/ ���� ����� ������� ��� � �������� �����

���� � ���� � ����� ��*�� �������� ����� ��������� ��� ��� ���� �� ����� � ��� ���������4� � �� �� ����� �� � � ������� �� �� � ������ �� � ��� ������� �� � ���� � ���� ������������ ��� ��� ��� ����� � � ���� � � � ,; � �� ����� ��� � � �� � ���� �� "����� ������ ��� � ������ �� �� � 7 ��� �������� ��� ��� ��� �� ��������� ��� �� ������ � � ��������� ����

"�� ������� �� ��1� ���� �� ����� � � ��� � � �� �� ������ ���� � ��� ������ � � ��� ������'� � ,; � ��� ���� ��� �� �������� ��� � ����� � �� ��� �� ������ � �� � � � ����� ���������� � �������� ��� �� �� "��� % ��� � ��� ����'���� ���� ������ ��� '��� - �������� � ���� ������ $�9-�� ��� -���� ���� ��� $9D�� ��� ���� ����� �����

4� ����� � �� � ��� ��� � � �������� ����� ��� /� ��� �� ������� � ��� �� �� � ���� ���� � �������� ��� �� ��� � ��� ��� �� ��� �� �� ������������ ������ ��

� ����� � ��� ����� ����

"� ���� � �� ���� �� � ������� �� ���� -@�@I�) H"� ��� 7@��I �)+(�� �� ���� � �� � � ��� �� ��� � ���� ����� ����� ����*�� ��� ��������� � ��� �� ��� ���� ��� ��C��� �� �� ����� ��� ����

<

Page 7: IBM Research Report - cs.huji.ac.il

1 2 4 8 16 FASet Associativity32 64 128 256 512 1K

Size

0

10

20

30

40

50

60 Reuse Rate

1 2

4 8

16

FASet Associativity 32

64

128

256

512

1K

Size

0.5

1

1.5

2Access Time (ns)

1 2

4 8

16

FASet Associativity 32

64

128

256

512

1K

Size

0

0.5

1

1.5

2Energy (nJ)

1 2

4 8

16

FASet Associativity 32

64

128

256

512

1K

Size

0

0.5

1

1.5

2

2.5

3Area (mm^2)

Figure 3. +���� ���� ������ ����� ��� )� ��� �� �� ��� �� � �������� �� � ����������-� ��(� ��� �������"�����)�

&��� ���% �������

� ���������� &�+(��-�& �� +�(���� ���

�' �� +(9��� &�+(��-�& �� ����

�� �� +(9��� �) ���: -���� ���9 " � (���+

���+ �� +(9��� �+��$ ���� +���%+

��+' �� +(9���: +��� '���� &��+�;� ��'���&���

��0& ���� +(9��� �) ����

Table 6. ���������� +���� ���, ��������� ������ �� ���������� ��� �� ���

�� �������� �� � � �� ��� �!���

4.1 Multi ����������

� � ������� ����� � ��� ��1� ��� ���� ���� ��� �� E����F �� �� �� � �� ���� "����� ��������� ��� �� ��� ����� ��� � � ������� � ��������!� �� ��� � ��� ��� ��� ���� �� ����

�� ��� � ��.�� *��� ���B�� ����� ��� � � ��������� � ��� ���� 8���� ��� ����� � ���� � �����

����� �� � 7 ��� ��� ����3 � �� ���� ����� +(���� ����� ��� :.� �� 4����� �:4� ������� ���� ����� � ��� �� ����� ��� ������ � ���� �+( ���������� ����� � �� �� �� � ��� � ������ ��� �� �����

"� ��� �� � ��� �� <$9�� �� ���� ��� ��$9D�� �� ���� �� ����� �� '��� <� � ���� ���� ������� ��� �� �� ����� ����� �� � �� �������� ������ �� ���� �� � �� �������� +��� �������� ����� �� � �� ������ ��'���� ����� � ������ ����������� "� ������� � ���� ��� :4 ��� �� � ��� ������ 6����� � ��1�� � ���������� �� ��� ����� "� ��� �� �� �� ����� ���������� ��� � �������� �� ����� ���������� ����� ����� �� ���� ��� ������ ��� ��������� H�� ����� � ��1 �� � ��<$9 ���������� �� ��� ��� ���� � ��1 �� � 79N;������� ����� �� � �� ���� �� ���� ������ ���

%

Page 8: IBM Research Report - cs.huji.ac.il

1024 4-way 128 1-way0

10

20

30

40

50

60

70

Reu

se R

ate

(CIN

T)

1024 4-way 128 1-way0

0.5

1

1.5

2

Acc

ess

Tim

e (n

s)1024 4-way 128 1-way

0

0.5

1

1.5

2

En

erg

y (n

J)

1024 4-way 128 1-way0

1

2

3

4

Are

a (m

m2)

IM Sv Sn Snts Snsv Sn+d

Figure 4.+���� ���� �����!� ������ ����� ��� )� ��� �� �� ��� �� ��.���� �����(����� ��� ���� �������

512 -CINT 512 - CFP 128 - CINT 128 - CFP0

10

20

30

40

50

60

Reu

se R

ate

Global Combined Int FP EA

Figure 5. +���� ���� '�� �� �� �� �����

����� �� ����� ���� ���� �� ������ ��� &* ���"�������� �� ���� ���������� ��(�� �� /0� ���0�1 ������ ������"������!�

� �� ���� �� ����� �� ���� ���

"��� ����*� ��� � ��� �� ��� �� �� ���� � ��� � � �� ���������� �� � ���� ��� ������ ��� ��� ��� ���� � /85 ��� � O� ��� �� ���� � ��� � +( ���������� �� � +4��B+�8;� +/85�+� OB+�P,"� +/4��� ��� ��� � �� +( ��� ���� ����� "� �� ����� �� � ���� � ���� ���� �� � ������� �� ���� �� � � �� �����������

+���� % ����� � ��� �� � ��� ��� D���� ���� � � �G��� � �� � ���������� � �� +( ��������

512 - CFP 128 - CFP0

10

20

30

40

50

60

Reu

se R

ate

GlobalCombined

ALUIMUL/IDIV

EAFADD

FMULFMADD

FDIV/SQRTFSIMP

Figure 6. +���� ���� '�� �� �� �� �����

����� �� ����� ���� 1 �������� �� ���� �����

����� ��(�� �� /0� ��� 0�1 ������ ������"������!� 2��) ��� ������ �� ��'��

���� �� ���� � )+( ���� � �� ������� "� ���� ��� ���� � ������ ��� �� �� � �� �� ����� <$9�� �� ������ ����������� ��� � �������� �� $9D�� �� ���������� �'��� <�� 6����� ��� �� ������ �� � ��� � ����

,����� � ���� ���� � ���'���� ��� ������ ��� ���� ������ �3 ����� � ���������� ����� � � +��� ����� 8�� �+8� � ���� ��� ���� �������� "��� ���� ����� �������� ���������� �� ���.�� ������ ��� ���3 4 �P," ��� ��� ���� �������� ���� � +/4�� ��� ��� ���

@

Page 9: IBM Research Report - cs.huji.ac.il

Int FP EA0

20

40

60

80R

euse

Rat

e

NOTR CINT 512TRIV CINT 128

NOTR CFP 512TRIV CFP 128

Figure 7. ��������� �� ���� ���� �� /0�"���)���������� �� 0�1"���)���������� '�������� �������� ����������

NOTR CINT512TRIV CINT 128

NOTR CFP 512TRIV CFP 128

0

200

400

600

800

1000

1200

(in

mill

ion

s)N

um

ber

of

Inst

ruct

ion

s Trivial ops MT hits MT misses

Figure 8. ��������� �� �� ��� � �� �������"����) �����(�� ����������� �� /0�"���) �����

����� ��� 0�1"���)���������� '�� ���"��� �������� ����������

4.2 Trivial Operations

"������ ���� ��� � � ��� ��� �� ��� �� � ��� �� � ��1� ��� '� �� ;� � ,��������� #$-& ��� )� ���� ��� #-& ��� ��� � �� ��� ������ >��� ������ �'�� �� ������ ��� �� ��� � � ��� ������ ���� �� ����� ���$��$� ��� ��� ���� � �� � ����� �������� ��� � ������� �� = � Q �� � � $ Q ����$ Q �� ����� "� ���� �� �� ��� �� �� � ����� �� ���� ���� �� ���� � � � � �� ����� � ������� �� ���� �� �� ������� � � ���������� ������� � ��� � � ������ ���� ��� � � ��� ��� � ������ �� � �� ��� �� ������� ��� ��

+���� @ ����� � ��� �� �� � �� �G������������ � � ��� +��� � :4� �� � ��� �� ��� ������ ���� ��� � � ��� ��� ��� ��� � ������ ����� ��� � � ��� �� �������� � ��������� �������� 4 '�� ����� � � ���� � �� �������3 ��� �� � ��� � ������������� ������� �� ������ ��� �� � /������� � ������ ������ ���� � � ����� ����� �����

�� � �� �������� <$9�� �� ���������� �$9D�� �� ����������� ;� ����� ������ ���� ���� � ��� � ��� *��� �� � ��1 �� � �����

������ ��� ������ � ��� �� � +���� D ������� � ��� ���� �� ������ � ���������� ���� � ���� ������ ���� �� ����� �� ���������A�� ����� � ����� ���� � ���� �� ���� �������3 ���� ���� ������ ���� ���� �� ��1�� �� �� �� ��� ������ ����� ���� ���� ��� ���� ��� � � ����� ��� ��1���

H�� ����� ������ ���� ��� � � ��� ���! ���>�� ������� ���� ���� �� � ��$��$ � � �� ��� �� %-��� ������� ��� �� ���� ������ ��� �� �����<$�K��� �� ��� �� ����97���� "�� �� ������*��� ��� ��� ������ � � ��7<�K ��� ��$9��� �� ����� ������ $9D�� �� ����������� 6����� � ��� �� ����� � �� ��9$��� 4������� � �� ������� � � ���������� ���� ��� �� ��� � ����� ������ 4 �*�� ��� ������ �'�� ������ ���� ��� ������������� ���� � �� �� ����� � �� ���%�� ���9$= ��@<� ����� �� �������� � � <$9�� ��� ���� ����� ���������� ����-��� ��� �� G�� ���� ������� ����� ��� � 9061 ������

J� ��� 5��G� #99& ����� � � ��� ������ ���� ��������� �� � ������ �� � ��� � '�� ������ ������� ��� ��� ���� � ���� ����� ��� ������ ��������� �� � � ���� ������ ����

NOCONF CINTCONF CINT

NOCONF CFPCONF CFP

0100200300400500600700800900

(in

mill

ion

s)N

um

ber

of

Inst

ruct

ion

s Unconfident MT misses MT hits

Figure 9. ��������� �� �� ��� � �� �������"����) �����(�� ����������� �� 0�1"���) �����

������ '�� ��� '����� ���,����� ,����� ������� ��������� ���3� ��������

4.3 Confidence Counters

4� ����� ������ ���� ��� � � ��� ����� ����� ������������ ������ � ���� �� ������ � ��� ����� �� �������� G�� ���! ����� ���1� ��� ��������� ��� ��������� ��� ��� �����4 ��� ����� ����*� ��� '� ���� �� ��� ���

D

Page 10: IBM Research Report - cs.huji.ac.il

���������� ������ �� � �� �� ���)��� ��������� "�� �� ������� ��� ��� ������ #D& ��� ��������� ��� #9&�

� ��� ��� ��� ��� ��� ��� � ��� �� ���� �� )��'��� "��� �)"� ����� ��� ���� � ���� �� ���� ��� ���� � �� � ��� A�� � ������ ��� ��� ������ ��� �� � ��� �� ������� � ���� � �� ���������� � ���� � �� �������� 4� � � ���� � � � ����� ��� ��� �� ���� �� ������1��� ��� ����� � ��� � ��� � � � ��� ������� �� ��� ��� �� � �� ������� �� � � � � ����������� 4� � � ��� ����� ���� �� ����� � )" �� C���� �� ���� ���� E�����1���F ��� ��� ���� � ����� ������

+���� � �������� � ����� �� ���������� �� ���� ���� ��� � <��� �� ��� ��� ���'��� ���� ��� ��� �� � �� � ������ ��� ���! ���� � �� � ������� �� ����� ���������� ������ "� )" ���� ���� $�9- � ��� ��� �� C���� ��� $7$�@9 �������� � ���������� �� ���� ����� �� � $9D� ��� ��� ������ �� � � ���� "� ���� � �� ��������� � )" ����� � '� � �� ��� �������������� ��� ���� ���� ������� � ���� � ��1� ���� ��� ����� "� E����F �� � ��� �� ��� �� ���������� ��� �� ���$$�K� �� ��� �� ���D@���� ��� ������� � �� ��9-��� "� ���� ������� �� ���� ���� ���� � ������ ���� ��7<� ���$$ Q ��77��� ��� � )" ��� � ������ ��� ���� ��1� ���� ������� � )"!� �� ���� "� ���� ������ � �� ������� � ���� � �� � ���������� ������� � � )"� ��� ��� � � ������ �� � � ���� �� ��� � ������

"� )" ��� � ��� �� ����� � 9<% � ��� ���- �� � �� ���� �� ���� � ������ � � � ��� �� ��� �� ����� ���'��� ���� ��� "��� ����� �.����� ���������� ��� � ����� � ���9-�� ���9$�� Q 7����

�� !" �� #�$ � % ��� ����$&

+������ �� � �������� � ���� �� ����������

� ���� � � �� ����� � ��1� ��� ������� � � ����� ���� � ���� ������ "��� @ ��� � ������� ��� ��� �� ����� %-��� ���� ����� ��� �� ��� � ���� ��� ������ ���� ��� ���� ��� ���'������ �� � ���� ��� ���� �� ����! ����� ��1�� ���� �� � $9D�� �� ���������� �������� ��

�� ����� �� � ���������� ������ �� ������� �� ������� � ���� � ��� ��� �*����� � ����

��� ���� ���� � " �� �� ����� ������� �� ����� �#$

�� %� ���� �� �� ��� ���� ����� ��� ������� & �� ���'� "

� ����� � " ��������� ����� ���� ���� �� (��� ���� �

���������� ���� �( �����(�� ����)���� � ������ �� �� �����

���� �( � �������� � *�����

������� 4�� ��� ��� ���� ����� � )" ��� ��1���� ��� ���� ���� � �� ���� "� ���� � ��������� �� ��1� ��� � �'�� �� *�� ���� �� ����� � 4���� /��� 4��� "� �4/4"��

��� ���� ���������� ��� "� ����� ���� ������ � ���� �� ���� ���3 �� Q ��� = ���� = #$� � = ��&���

��� ���� ���������� ����� "� ����� ����� ��K����� ����� ��� ���� ��� �� ����� ���� "� ���������� ������ ��� ���� ���� �� ��� ��� ����� �������� ������3 �� Q ��� = �� � �������� = #� � � =��&������ = ���� = �$� ����� = �$ = �����

+���� $� ����� � 4)" ��� 4): �� � ���� ��� ���� � ������ � � �� ���� ��� ����� �� ��� ��1� ��� � � )+(9��� ��� �� ����� "� 4)"��� 4): �� � ���� �� � �� ���� ������� �� ���1 �� �� ���� ��� ��� ��� ����� � ������ �� ��������� ��� ���� ���� ��� 4�� � �� ��� �������� ���� �������� ����� ��� ��� ���������� "� ����� �� ������ ����� � � ��� � �� ���� � ����� � �� ��� � ����� � �������� ��� � ���� "� ����� �� �� ���� �� ��� ��� ��� ����������� ��� � ��� ��*���� �� ��� ���� "��� �� � ����� �� �� �� �����

'� (������� � �� )���� �

+��� � ���� ��� ����� �� ������ ���� �� ��������� ��� � ��� ��� �� � ���� �'� � ����� ����� �� ��� ��� ��� ��1� ��� ������ ����

� ,�� ����� ��� �� �� ����� �� �(:))(89���� %<�@<I �� ��� ������ ��� ��� ������� �� ��� � �� � � �� ������� �����������

� /������ � ���������� ����� � ����������� � ���1� � ���� ��� ��� ����� ��������� ��� ��� ��� ���� �� ��.�� � � �� ��� ���� ���� � �� ��� � ��� ���� ��

� "� ������� ��� � �� � ���������� �����������.� � � � ����� �� ����� ��� ��1 � ������������ � � ��� �� � ���� ����� �� � ��� � ���

� ���� ��� ��� ��� ���� � ����� ����������

���� �� ��� ��� ��� ������ �� �� ��� .� �� ��� � ����� ����� ��� ����

� "������ ���� ��� � � ��� ��� *��� � � �����

�����!� ��1 ���� ��������� � � ��� �� �

� )��'��� ���� �� '� � �� ��� �����1��� ��� ��� ���� �� ��� ������� � ���� �� ��������� ���������� ��������

Page 11: IBM Research Report - cs.huji.ac.il

����� ���� �������� ��� ��������� ������' ���� ' ���� ���%(���� ����� �������

<< � ���� ���� ��� ��� �#��

��1 � ��� ���� � ��� #��

<= �� ���� ���� �#�� � �� ����

6 << � ���� ���� ���� � �� ���

6��1 � ��� ���# � � �� ���#

6� << � �� � ���# ���� ��# �#�

6<= �� ���� ���� ���# ��� ����

���������� � ���� ���� ��������*: ����*: �%&��� �����>

4? &���(��� � ������� ������

"4 � ����� ����� ��� �����*: ��-�� (������

Table 7. ������������ �� 45" �� ���������� ����� ��� ��� ��6����� ���������� �

� 4 ��������� � �� ���� ���� � ��� � ����� � ��� = ��1� ��� ����� �� � �� ����� ���1 ���������� ��� ��� �����

� /��1� ��� �� ���� �� ��� ��� ��� ���� ����� ��� � ��� ��� �������� ������ � ��� �� � � �� �� ���'��� ���� �� ��1� ��� ����� � �� ���� ������� ��� �� ��� ��

"��� � ��� �� � '�� � � �� ������� �� ��� ���� ��� ��1� ��� �� � ����� �������� �������� ����*� ��� ���� �������������� A ��� ����� �� � �� ������� � �� ��� ���� ��� �� � �������� � ��� ���� ���� �� ��� ��� ������� H�� ������ �� �� � ��� ��� � �� ���� ����� �� ���� �� ��������� ���� � �� ����� � ���������3

$� )���� ������ � ��� �� ����� � ���'��� ��� ������ ���� ��� � � ���� � ������� ��� ������ ��� ���� � � � �����������

9� ������ ������� � � ���������� ��������� � � ������

7� � ��� ����� ��� ��� ���� �� � �� ���1� ��� ��� �� ��� � ���� �� �� ������� � � ���� ��� ��� � ������ )��� � ���,�� ��� �� )������ ��� 6�� #<&��

-� "� � .� �� ������ ��������� �� ��1���� ��� �����

��� ���� ����� +�� ����� �� � �� ��������� � �� ��� �� ��� ����� ��� ��� ����� �� ��� ���/��1� ��� ��� ���� �� �� ���� ��� ���� ����� ������ ��� � ��� �

��*������

�� �� ���: �� 6������: ��& @� 1��� 1�� ����� <������(�++��$ -* 7���������� �) !�&��&��� "��%����

����+� � ������(�� � �! ��� )�� ������������ *'�+������ �� ��� ����� ,���������� ��( ���� �: %�$�+��#A�� : �$�+� �##��

�� �� B���+(9�� ��& B� �� C���� ���&�(���� ?��(�����+���*�-�+�& "��D&��(� 7+�������� )�� 1��& =�������&�(����� -������ �! ����������+����� �����������:�: ��* �###�

�� <� "����� ��& <� 6�����+��� !�'�+����$ ��+���(���� ��'�����+�� � ������(�� � �! ��� .�� /������� �� �����+����� 0 ������������� 0 ��( ��1����� : %�$�+ ��A��:��* �����

� <� "�����: <� 6�����+��: ��& 1� !�&��%9� ((��������$��������&�� %��(�++��$ -* ��%��������$ ������$ �������%��(����� ��& &�'�+��� ����+� � ������(�� � �! ���2�� ������������ ���!������ �� ������������ *������!�� ��� ������ ��� �� �� ��( 3�������� *'�����:%�$�+ ���A���: ?(��-�� �##��

�� <� "�����+ ��& @� ��� ���� "��%�����<���(��& <*�����( "��%������� !��+�E !�������� ��& ������ !��+���+� � ������(�� � �! ��� 45�( ������������ *'���+���� �� ����������������: %�$�+ ���A��#: 3�'��-���###�

�� ���� "��%�������� ��6������� �� 3�����7�� !�� ���������� 8 ��������� ��� ��� ������� ����������

�� ���� "��%�������� +45 ���� ����������� 3�����7�+���� ��!������ �����: �����

�� 7� >�(�-+��: 7� !����-��$: ��& >� ����9� ++�$����$ "��D&��(� �� "��&������� B���(9 ���&�(����+� �������(�� � �! ��� 59�� ������������ *'������� �� ����������������: %�$�+ � �A���: <�(��-�� �##��

#� !� >���� :�� �� �! �������� *'����� ���!����������'���� @���* ���)�++����� "��%����$: �##��

��� � 8����?+��+,� ��& <� >� 1��F�� �������7"E 3�� ��7" B��(9���, @��,���& )�� �����������B�+�& "��%���� �(9���(���� !�+���(9� ������������������� �������: �: >��� �����

��� "� ������: � ����G����: ��& >� 4�-����� <*����( !����'�� �) !�&��&��� "��%�������+� � ������(�� � �!��� .999 ������������ ���!������ �� *������������ :%�$�+ � A ��: >��� �###�

$�

Page 12: IBM Research Report - cs.huji.ac.il

1

7

68

6 6 6

30

IADDIMUL

IDIVFADD

FMULFMADD

FDIV0

5

10

15

20

(in

cyc

les)

Ave

rag

e C

om

pu

tati

on

Tim

e Latency ACT

0.050.35

2.53

0.120.34 0.41

1.72

IADDIMUL

IDIVFADD

FMULFMADD

FDIV0

0.5

1

1.5

2

2.5

3

(in

nJo

ule

s)A

vera

ge

Co

mp

uta

tio

n E

ner

gy

Energy ACE

Figure 10. ������� �� �������� �� � ����� ���������� �� �������� ������ ����� �� ����� ����� �������� ��� ������ ����� ����� �� ����� ���������� ������ ��� ������ ��� ��� � �!"""�

��� �� ���&$���: >� @������: ��& >� ������� 7�'��������� )�� ������" ��(����(9���(���� 7.%���������,,, ����: �#2�5E��A��: ��*H>��� �###�

��� 6� ?;"������ ��& �� @9���� �?@7!�E �9� ��.� $���������� �) ������" %��(�++��+� � -������ �! ��+������ ��( �����������: 2�5E���A�� : �����

� � �� !�(9��&+��� 7.%������$ 4��'��� ��& !�&��&���"��%�������� � ������(�� � �! ��� ..�� *'��������� �������� ���������: %�$�+ ���A���: >��* �##��

��� �� �9�'�,���� ��& 3� >��%%�� " "4 ���E � ����$����& "�(9� 4����$: �����: ��& ��� ��&��� 4�(9���(�� ��%���: "��%�/E @�+���� !�+���(9 1�-������*: �$�+� �����

��� � ��&��� ��& �� ��9�� <*����( �+���(���� !��+��� ������(�� � �! ��� 58�� ������������ *'������� ���������� �����������: >��� �##��

��� 9��%EHH����+���(��H%��(�++��+H������� !"�H&�����+�9����

��� ��� ��(��+*+���+� �����*��� ���� �����: ����&�����: ��* �����

�#� >� �� 4��&���: >� �� <�&+��: >� >� �� 6���&+: �� 1�:��& B� ���9���*� �?@7! +*+��� ��(����(9���(������ -������ �! �������� ��( �����������: �2�5E�A��: �����

��� �� =����� �� ��� :�� �3/,�8 ��������� ����(��������( :���� ;��(�� B�: 3�'��-�� �����

��� >� I� ��& <� 1��F�� � ���*+�+ �) �9� ����� �)���-�� 1�'�� !�&��&��� "��%������� �� �9� ��7"#� ��& ��7" ���� B��(9���,+� � ������(�� � �! ���8�� ����� /������� �� /������( ����������7�����:<�(��-�� �����

��� >� I� ��& <� 1��F�� �%��'��$ ���(�++�� ���)�����(�-* ���%��)*��$ ��& B*%�++��$ 4��'��� "��%�������+�� ������(�� � �! ��� 5<�� ������������ ���!������ ���������� ���� �: ��%���-�� �����

$$