shape descriptors ii · 2003. 9. 22. · harmonic shape descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜...

29
1 Shape Descriptors II Shape Descriptors II Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University Taxonomy of Shape Descriptors

Upload: others

Post on 30-Aug-2020

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

11

Shape Descriptors IIShape Descriptors II

Thomas Funkhouser

CS597D, Fall 2003Princeton University

Thomas Funkhouser

CS597D, Fall 2003Princeton University

Taxonomy of Shape Descriptors

������������������ ���

� �������

� ����������������

� �����������������

���� �� ����������� ���

� ������������������������

� ���� ������� ����������

� �� ������� ����

Page 2: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

22

Statistical Shape Descriptors

�� �����������

� �����

� !�����

� "�����

� #������$���� ���%���

� ��� ����#���������� ��

� ��� �������� ����%���

�� ������ ������

� ����� ��������

� &����� ������ ���

� ����� ��� ��� ���

Statistical Shape Descriptors

�� �����������

� �����

� !�����

� "�����

� #������$���� ���%���

� ��� ����#���������� ��

� ��� �������� ����%���

�� ������ ������

� ����� ��������

� &����� ������ ���

� ����� ��� ��� ���

Page 3: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

33

Alignment

'������� ���()�����*�"���+

���� (,�� ���-� �� ��+

�=

=n

iip

nc

1

1

�=

=n

iip

ns

1

21

Alignment

,���� ���(�)�+

� �� �� ���������� �������������� ����� ���������� ���������*�.�������������������� �������� �

PCAComputation

Principal AxisAlignment

Page 4: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

44

Alignment

,���� ���(�)�+

� �� �� ���������� �������������� ����� ���������� ���������*�.�������������������� �������� �

Not very robust!

Alignment

" ����

� �)����������� ��� ��� ����*���� �� ������

Need heuristics to determine positive axes!

Page 5: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

55

Alignment-Independent Descriptors

/������ ��0� �� ��� ** ������� ������ 1�*���� **����� ������� �������� ���� ��

"�� ��� ��0��� ������������� ��������� �� ���� ������������ ��������� ��������� ���� ��� � ��� ����� ��� ��

Three mugs aligned automatically with PCA

Shape Histograms

�������� ����������� ���������*�������������*����� ������� **������� �*����������*�����

Image courtesy of Ankerst et al, 1999

Shape Histograms (shells)(Ankherst, 1999)

Radius

Page 6: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

66

Shape Histograms

�������� ����������� ���������*�������������*����� ������� **������� �*����������*�����

Image courtesy of Misha Kazhdan

ShapeDescriptor

3D Model SphericalDecomposition

0.7

0.3

0.1

Shape Histogram Experiment

'����������� ��� �� ������������������ ��2�345��������36�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Page 7: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

77

Shape Histogram Retrieval Results

��� � ���������������(����*�������7�� �+

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

onShape Histogram [Ankerst et al.]

EGI [Horn]

Moments [Elad et al.]

Random

1

Shape Histograms

����� �

ü %���� � ������� �

ü %���� � �����������8

ü ,��������������� �

ü 9� �����������

ü #** � �����������

ü )��� ���������

ü %���� ������������ ���

� - ��� � ��� ��:

Page 8: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

88

Harmonic Shape Descriptor

;8� ��0

� -�������������� ��� ����� �������*������ ��� ���������������

� �����<��������=��*����������� ��� �������������

3D ModelShape

DescriptorHarmonic

Decompositions

Step 1: Normalization

>����� 1�*����������� �����������

3D Model

Page 9: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

99

Step 2: Voxelization

,���� 1 ��8�������*���� ����?-����� �� �

3D Voxel Grid

Step 3: Spherical Decomposition

%�������� ���������� ������

Spherical Functions

Page 10: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

1010

Step 4: Frequency Decomposition

,������������ ����*���� �������������*������� ��*�7��� ��(�����+

Spherical Functions

,������������ ����*���� �������������*������� ��*�7��� ��(�����+

Step 4: Frequency Decomposition

SphericalFunctionSphericalFunction

Spherical Functions

Page 11: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

1111

,������������ ����*���� �������������*������� ��*�7��� ��(�����+

Step 4: Frequency Decomposition

+ + += …SphericalFunction

Harmonic Decomposition

,������������ ����*���� �������������*������� ��*�7��� ��(�����+

Step 4: Frequency Decomposition

=

+ + +

+ + +

Constant 1st Order 2nd Order

= …

SphericalFunction

Page 12: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

1212

,������������ ����*���� �������������*������� ��*�7��� ��(�����+

Step 4: Frequency Decomposition

=

+ + +

+ + +

Frequency Decomposition

= …

SphericalFunction

Amplitudes are invariant to rotation

Step 5: Amplitude Computation

�����<��������=�(@.�����+��*���������� ��� ������������ ��*�7���8��*��������

Frequency Radius

Harmonic Shape Descriptor

Page 13: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

1313

Matching Harmonic Descriptors

-* ��� � ��� �8����@.�� ��������������� ����

� #������������� ������ ��� �������*���������

� ���� ��������������*���@.�� ����������������

, = - ≤

-

-

-

Sim

Harmonic Shape Descriptor

����� �

Ø )��� ���������:

� 9� �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,��������������� �:

� %���� ������������*����:

� #** � �����������:

� - ��� � ��� ��:

Frequency Radius

2048 bytes per model(16 frequencies x 32 radii x 4 bytes)

Page 14: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

1414

Harmonic Shape Descriptor

����� �

ü )��� ���������

Ø 9� �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,�������� ������ �:

� %���� ������������*����:

� #** � �����������:

� - ��� � ��� ��:

2 A

����

����

(����

���

�+

Polygons

Voxels

SphericalDecomposition

FrequencyDecomposition

HarmonicShapeDescriptorfrequency radius

Harmonic Shape Descriptor

����� �

ü )��� ���������

Ø 9� �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,�������� ������ �:

� %���� ������������*����:

� #** � �����������:

� - ��� � ��� ��:

2 A

����

����

(����

���

�+

Polygons

Voxels

SphericalDecomposition

FrequencyDecomposition

HarmonicShapeDescriptorfrequency radius

Page 15: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

1515

Harmonic Shape Descriptor

����� �

ü )��� ���������

ü 9� �����������

Ø %���� � ������� �

Ø %���� � �����������8

Ø ,�������� ������ �

� %���� ������������*����:

� #** � �����������:

� - ��� � ��� ��:

Rasterize polygon surfaces(no solid reconstruction)

Harmonic Shape Descriptor

����� �

ü )��� ���������

ü 9� �����������

ü %���� � ������� �

ü %���� � �����������8

ü ,��������������� �

Ø %���� ������������*����

� #** � �����������:

� - ��� � ��� ��:

ü Rotationü Mirrorü Translation (w/ normalization)ü Scale (w/ normalization){

Page 16: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

1616

Harmonic Shape Descriptor

����� �

ü )��� ���������

ü 9� �����������

ü %���� � ������� �

ü %���� � �����������8

ü ,�������� ������ �

ü %���� ������������*����

Ø #** � �����������:

� - ��� � ��� ��: 0.0

0.5

1.0

1.5

2.0

0 5000 10000 15000 20000

Database size (models)

Sea

rch

tim

e (s

ecs)

IndexedNot In

dexed

0.23 secondsto search

17,500 models

Harmonic Shape Descriptor

����� �

ü )��� ���������

ü 9� �����������

ü %���� � ������� �

ü %���� � �����������8

ü ,�������� ������ �

ü %���� ������������*����

ü #** � �����������:

Ø - ��� � ��� ��:

Page 17: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

1717

Harmonic Matching Results

'����������� ��� �� ������������������ ��2�345��������36�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Harmonic Retrieval Results

��� � ���������������(����*�������7�� �+

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

Harmonic Shape Descriptor

Shape Histogram [Ankerst et al.]

EGI [Horn]

Moments [Elad et al.]Random

1

Page 18: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

1818

Statistical Shape Descriptors

�� �����������

� �����

� !�����

� "�����

� #������$���� ���%���

� ��� ����#���������� ��

� ��� �������� ����%���

�� ������ ������

� ����� ��������

� &����� ������ ���

Ø ����� ��� ��� ���

Shape Distributions

"�� ��� ��0�����������������* �� ������������������ 1�� ���*�������� ��

3D SurfaceAudio

2D Contour 3D Volume

Page 19: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

1919

Shape Distributions

;8� ��0����?-����*�������������������� 1�� ����8��������8����� �������*���� ��

3D Models D2 Shape Distributions

,������8�������

*���� ��

� � ��� �8"����

- �����

- ��������

��� �

�8���

��� �

�8

Which Shape Function?

%������� ��0�� �������*���� �������������������� ������������������������

A3(angle)

D1(distance)

[Ankerst 99]

D2(distance)

D3(area)

θ

θ

D4(volume)

Page 20: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

2020

D2 Shape Distribution

����� �

� )��� ���������:

� 9� �����������:

� %���� ������������*����:

� #** � �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,��������������� �:

� - ��� � ��� ��:

D2 Shape Distribution

����� �

Ø )��� ���������:

Ø 9� �����������:

� %���� ������������*����:

� #** � �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,�������� ������ �:

� - ��� � ��� ��: 512 bytes (64 values)

0.5 seconds (106 samples)

- �����

���

��� �

�8

���������

Page 21: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

2121

D2 Shape Distribution

����� �

ü )��� ���������

ü 9� �����������

Ø %���� ������������*����:

� #** � �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,�������� ������ �:

� - ��� � ��� ��:

ü Translationü Rotationü Mirror{

Normalized Means

ü Scale (w/ normalization)

��������� ������

- �����

���

��� �

�8

���������

D2 Shape Distribution

����� �

ü )��� ���������

ü 9� �����������

ü %���� ������������*����

Ø #** � �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,�������� ������ �:

� - ��� � ��� ��:

������

Page 22: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

2222

D2 Shape Distribution

����� �

ü )��� ���������

ü 9� �����������

ü %���� ������������*����

ü #** � �����������

Ø %���� � ������� �:

Ø %���� � �����������8:

Ø ,��������������� �:

� - ��� � ��� ��:

1% Noise

D2 Shape Distribution

����� �

ü )��� ���������

ü 9� �����������

ü %���� ������������*����

ü #** � �����������

ü %���� � ������� �

ü %���� � �����������8

ü ,��������������� �

Ø - ��� � ��� ��:

Page 23: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

2323

D2 Shape Distribution Results

9��� ��

� &���� ��� � ��� �����-.������ ��� ��� ���:

'����������

� 2??���8�����������

� .6�������

B�"���

A�)���

?�C����

D2 Shape Distribution Results

-.�� ��� ��� �������� **�����������������

D2 shape distributions for 15 classes of objects

Page 24: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

2424

D2 Shape Distribution Results

D2 distributions for 5 tanks (gray) and 6 cars (black)

- �����

���

��� �

�8

D2 Shape Distribution Results

� � ��� �8�"��� �

� -�������������� � ��� �8

C�����

� '����������

� � �����

� &�����

� &� �����

al bl btbp bt cr cr cw hr hn lp lg me mg ok pn pe pe re sd sa sp sb te tk

animal

ball

beltblimp

boat

car

chair

claw

helicopter

human

lamp

lightning

missle

mug

openbook

pen

phone

plane

rifle

skateboard

sofa

spaceship

sub

table

tank

al bl btbp bt cr cr cw hr hn lp lg me mg ok pn pe pe re sd sa sp sb te tk

animal

ball

beltblimp

boat

car

chair

claw

helicopter

human

lamp

lightning

missle

mug

openbook

pen

phone

plane

rifle

skateboard

sofa

spaceship

sub

table

tank

Page 25: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

2525

D2 Retrieval Experiment

'����������� ��� �� ������������������ ��2�345��������36�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

D2 Retrieval Results

��� � ���������������(����*�������7�� �+

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

Harmonic Shape Descriptor

D2 Shape Distribution [Osada et al.]

Shape Histogram [Ankerst et al.]

EGI [Horn]Moments [Elad et al.]

Random

1

Page 26: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

2626

Shape Distributions

>������0

� C��������*���� ���

� C���������� ���������

� ����8� ����

D2 Shape Distribution Results

D2 shape distributions for 15 classes of objectsLine Segment

,���� 1 �� ������������ ���-.�� ��� ��� ���

Page 27: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

2727

D2 Shape Distribution Results

,���� 1 ��������������� ���-.�� ��� ��� ���

D2 shape distributions for 15 classes of objects

Circle

D2 Shape Distribution Results

,���� 1 ��������������� ���-.�� ��� ��� ���

D2 shape distributions for 15 classes of objectsCylinder

Page 28: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

2828

D2 Shape Distribution Results

,���� 1 ��������������� ���-.�� ��� ��� ���

D2 shape distributions for 15 classes of objects

Sphere

D2 Shape Distribution Results

,���� 1 ��������������� ���-.�� ��� ��� ���

D2 shape distributions for 15 classes of objectsTwo Spheres

Page 29: Shape Descriptors II · 2003. 9. 22. · Harmonic Shape Descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜ ü% ˝ * Ø#** : - ˜: 0.0 0.5 1.0 1.5 2.0 0 5000 10000 15000 20000 Database size

2929

Taxonomy of Shape Descriptors

������������������ ���

� �������

� ����������������

� �����������������

���� �� ����������� ���

� ������������������������

� ���� ������� ����������

� �� ������� ����

Taxonomy of Shape Descriptors

������������������ ���

� �������

� ����������������

� �����������������

���� �� ����������� ���

� ������������������������

� ���� ������� ����������

Ø �� ������� ���� Next Time!