shape descriptors ii · 2003. 9. 22. · harmonic shape descriptor ü) ü9 ü% ˝ ü% ˝ ˜8 ü, ˜...

Post on 30-Aug-2020

3 Views

Category:

Documents

0 Downloads

Preview:

Click to see full reader

TRANSCRIPT

11

Shape Descriptors IIShape Descriptors II

Thomas Funkhouser

CS597D, Fall 2003Princeton University

Thomas Funkhouser

CS597D, Fall 2003Princeton University

Taxonomy of Shape Descriptors

������������������ ���

� �������

� ����������������

� �����������������

���� �� ����������� ���

� ������������������������

� ���� ������� ����������

� �� ������� ����

22

Statistical Shape Descriptors

�� �����������

� �����

� !�����

� "�����

� #������$���� ���%���

� ��� ����#���������� ��

� ��� �������� ����%���

�� ������ ������

� ����� ��������

� &����� ������ ���

� ����� ��� ��� ���

Statistical Shape Descriptors

�� �����������

� �����

� !�����

� "�����

� #������$���� ���%���

� ��� ����#���������� ��

� ��� �������� ����%���

�� ������ ������

� ����� ��������

� &����� ������ ���

� ����� ��� ��� ���

33

Alignment

'������� ���()�����*�"���+

���� (,�� ���-� �� ��+

�=

=n

iip

nc

1

1

�=

=n

iip

ns

1

21

Alignment

,���� ���(�)�+

� �� �� ���������� �������������� ����� ���������� ���������*�.�������������������� �������� �

PCAComputation

Principal AxisAlignment

44

Alignment

,���� ���(�)�+

� �� �� ���������� �������������� ����� ���������� ���������*�.�������������������� �������� �

Not very robust!

Alignment

" ����

� �)����������� ��� ��� ����*���� �� ������

Need heuristics to determine positive axes!

55

Alignment-Independent Descriptors

/������ ��0� �� ��� ** ������� ������ 1�*���� **����� ������� �������� ���� ��

"�� ��� ��0��� ������������� ��������� �� ���� ������������ ��������� ��������� ���� ��� � ��� ����� ��� ��

Three mugs aligned automatically with PCA

Shape Histograms

�������� ����������� ���������*�������������*����� ������� **������� �*����������*�����

Image courtesy of Ankerst et al, 1999

Shape Histograms (shells)(Ankherst, 1999)

Radius

66

Shape Histograms

�������� ����������� ���������*�������������*����� ������� **������� �*����������*�����

Image courtesy of Misha Kazhdan

ShapeDescriptor

3D Model SphericalDecomposition

0.7

0.3

0.1

Shape Histogram Experiment

'����������� ��� �� ������������������ ��2�345��������36�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

77

Shape Histogram Retrieval Results

��� � ���������������(����*�������7�� �+

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

onShape Histogram [Ankerst et al.]

EGI [Horn]

Moments [Elad et al.]

Random

1

Shape Histograms

����� �

ü %���� � ������� �

ü %���� � �����������8

ü ,��������������� �

ü 9� �����������

ü #** � �����������

ü )��� ���������

ü %���� ������������ ���

� - ��� � ��� ��:

88

Harmonic Shape Descriptor

;8� ��0

� -�������������� ��� ����� �������*������ ��� ���������������

� �����<��������=��*����������� ��� �������������

3D ModelShape

DescriptorHarmonic

Decompositions

Step 1: Normalization

>����� 1�*����������� �����������

3D Model

99

Step 2: Voxelization

,���� 1 ��8�������*���� ����?-����� �� �

3D Voxel Grid

Step 3: Spherical Decomposition

%�������� ���������� ������

Spherical Functions

1010

Step 4: Frequency Decomposition

,������������ ����*���� �������������*������� ��*�7��� ��(�����+

Spherical Functions

,������������ ����*���� �������������*������� ��*�7��� ��(�����+

Step 4: Frequency Decomposition

SphericalFunctionSphericalFunction

Spherical Functions

1111

,������������ ����*���� �������������*������� ��*�7��� ��(�����+

Step 4: Frequency Decomposition

+ + += …SphericalFunction

Harmonic Decomposition

,������������ ����*���� �������������*������� ��*�7��� ��(�����+

Step 4: Frequency Decomposition

=

+ + +

+ + +

Constant 1st Order 2nd Order

= …

SphericalFunction

1212

,������������ ����*���� �������������*������� ��*�7��� ��(�����+

Step 4: Frequency Decomposition

=

+ + +

+ + +

Frequency Decomposition

= …

SphericalFunction

Amplitudes are invariant to rotation

Step 5: Amplitude Computation

�����<��������=�(@.�����+��*���������� ��� ������������ ��*�7���8��*��������

Frequency Radius

Harmonic Shape Descriptor

1313

Matching Harmonic Descriptors

-* ��� � ��� �8����@.�� ��������������� ����

� #������������� ������ ��� �������*���������

� ���� ��������������*���@.�� ����������������

, = - ≤

-

-

-

Sim

Harmonic Shape Descriptor

����� �

Ø )��� ���������:

� 9� �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,��������������� �:

� %���� ������������*����:

� #** � �����������:

� - ��� � ��� ��:

Frequency Radius

2048 bytes per model(16 frequencies x 32 radii x 4 bytes)

1414

Harmonic Shape Descriptor

����� �

ü )��� ���������

Ø 9� �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,�������� ������ �:

� %���� ������������*����:

� #** � �����������:

� - ��� � ��� ��:

2 A

����

����

(����

���

�+

Polygons

Voxels

SphericalDecomposition

FrequencyDecomposition

HarmonicShapeDescriptorfrequency radius

Harmonic Shape Descriptor

����� �

ü )��� ���������

Ø 9� �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,�������� ������ �:

� %���� ������������*����:

� #** � �����������:

� - ��� � ��� ��:

2 A

����

����

(����

���

�+

Polygons

Voxels

SphericalDecomposition

FrequencyDecomposition

HarmonicShapeDescriptorfrequency radius

1515

Harmonic Shape Descriptor

����� �

ü )��� ���������

ü 9� �����������

Ø %���� � ������� �

Ø %���� � �����������8

Ø ,�������� ������ �

� %���� ������������*����:

� #** � �����������:

� - ��� � ��� ��:

Rasterize polygon surfaces(no solid reconstruction)

Harmonic Shape Descriptor

����� �

ü )��� ���������

ü 9� �����������

ü %���� � ������� �

ü %���� � �����������8

ü ,��������������� �

Ø %���� ������������*����

� #** � �����������:

� - ��� � ��� ��:

ü Rotationü Mirrorü Translation (w/ normalization)ü Scale (w/ normalization){

1616

Harmonic Shape Descriptor

����� �

ü )��� ���������

ü 9� �����������

ü %���� � ������� �

ü %���� � �����������8

ü ,�������� ������ �

ü %���� ������������*����

Ø #** � �����������:

� - ��� � ��� ��: 0.0

0.5

1.0

1.5

2.0

0 5000 10000 15000 20000

Database size (models)

Sea

rch

tim

e (s

ecs)

IndexedNot In

dexed

0.23 secondsto search

17,500 models

Harmonic Shape Descriptor

����� �

ü )��� ���������

ü 9� �����������

ü %���� � ������� �

ü %���� � �����������8

ü ,�������� ������ �

ü %���� ������������*����

ü #** � �����������:

Ø - ��� � ��� ��:

1717

Harmonic Matching Results

'����������� ��� �� ������������������ ��2�345��������36�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Harmonic Retrieval Results

��� � ���������������(����*�������7�� �+

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

Harmonic Shape Descriptor

Shape Histogram [Ankerst et al.]

EGI [Horn]

Moments [Elad et al.]Random

1

1818

Statistical Shape Descriptors

�� �����������

� �����

� !�����

� "�����

� #������$���� ���%���

� ��� ����#���������� ��

� ��� �������� ����%���

�� ������ ������

� ����� ��������

� &����� ������ ���

Ø ����� ��� ��� ���

Shape Distributions

"�� ��� ��0�����������������* �� ������������������ 1�� ���*�������� ��

3D SurfaceAudio

2D Contour 3D Volume

1919

Shape Distributions

;8� ��0����?-����*�������������������� 1�� ����8��������8����� �������*���� ��

3D Models D2 Shape Distributions

,������8�������

*���� ��

� � ��� �8"����

- �����

- ��������

��� �

�8���

��� �

�8

Which Shape Function?

%������� ��0�� �������*���� �������������������� ������������������������

A3(angle)

D1(distance)

[Ankerst 99]

D2(distance)

D3(area)

θ

θ

D4(volume)

2020

D2 Shape Distribution

����� �

� )��� ���������:

� 9� �����������:

� %���� ������������*����:

� #** � �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,��������������� �:

� - ��� � ��� ��:

D2 Shape Distribution

����� �

Ø )��� ���������:

Ø 9� �����������:

� %���� ������������*����:

� #** � �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,�������� ������ �:

� - ��� � ��� ��: 512 bytes (64 values)

0.5 seconds (106 samples)

- �����

���

��� �

�8

���������

2121

D2 Shape Distribution

����� �

ü )��� ���������

ü 9� �����������

Ø %���� ������������*����:

� #** � �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,�������� ������ �:

� - ��� � ��� ��:

ü Translationü Rotationü Mirror{

Normalized Means

ü Scale (w/ normalization)

��������� ������

- �����

���

��� �

�8

���������

D2 Shape Distribution

����� �

ü )��� ���������

ü 9� �����������

ü %���� ������������*����

Ø #** � �����������:

� %���� � ������� �:

� %���� � �����������8:

� ,�������� ������ �:

� - ��� � ��� ��:

������

2222

D2 Shape Distribution

����� �

ü )��� ���������

ü 9� �����������

ü %���� ������������*����

ü #** � �����������

Ø %���� � ������� �:

Ø %���� � �����������8:

Ø ,��������������� �:

� - ��� � ��� ��:

1% Noise

D2 Shape Distribution

����� �

ü )��� ���������

ü 9� �����������

ü %���� ������������*����

ü #** � �����������

ü %���� � ������� �

ü %���� � �����������8

ü ,��������������� �

Ø - ��� � ��� ��:

2323

D2 Shape Distribution Results

9��� ��

� &���� ��� � ��� �����-.������ ��� ��� ���:

'����������

� 2??���8�����������

� .6�������

B�"���

A�)���

?�C����

D2 Shape Distribution Results

-.�� ��� ��� �������� **�����������������

D2 shape distributions for 15 classes of objects

2424

D2 Shape Distribution Results

D2 distributions for 5 tanks (gray) and 6 cars (black)

- �����

���

��� �

�8

D2 Shape Distribution Results

� � ��� �8�"��� �

� -�������������� � ��� �8

C�����

� '����������

� � �����

� &�����

� &� �����

al bl btbp bt cr cr cw hr hn lp lg me mg ok pn pe pe re sd sa sp sb te tk

animal

ball

beltblimp

boat

car

chair

claw

helicopter

human

lamp

lightning

missle

mug

openbook

pen

phone

plane

rifle

skateboard

sofa

spaceship

sub

table

tank

al bl btbp bt cr cr cw hr hn lp lg me mg ok pn pe pe re sd sa sp sb te tk

animal

ball

beltblimp

boat

car

chair

claw

helicopter

human

lamp

lightning

missle

mug

openbook

pen

phone

plane

rifle

skateboard

sofa

spaceship

sub

table

tank

2525

D2 Retrieval Experiment

'����������� ��� �� ������������������ ��2�345��������36�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

D2 Retrieval Results

��� � ���������������(����*�������7�� �+

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

Harmonic Shape Descriptor

D2 Shape Distribution [Osada et al.]

Shape Histogram [Ankerst et al.]

EGI [Horn]Moments [Elad et al.]

Random

1

2626

Shape Distributions

>������0

� C��������*���� ���

� C���������� ���������

� ����8� ����

D2 Shape Distribution Results

D2 shape distributions for 15 classes of objectsLine Segment

,���� 1 �� ������������ ���-.�� ��� ��� ���

2727

D2 Shape Distribution Results

,���� 1 ��������������� ���-.�� ��� ��� ���

D2 shape distributions for 15 classes of objects

Circle

D2 Shape Distribution Results

,���� 1 ��������������� ���-.�� ��� ��� ���

D2 shape distributions for 15 classes of objectsCylinder

2828

D2 Shape Distribution Results

,���� 1 ��������������� ���-.�� ��� ��� ���

D2 shape distributions for 15 classes of objects

Sphere

D2 Shape Distribution Results

,���� 1 ��������������� ���-.�� ��� ��� ���

D2 shape distributions for 15 classes of objectsTwo Spheres

2929

Taxonomy of Shape Descriptors

������������������ ���

� �������

� ����������������

� �����������������

���� �� ����������� ���

� ������������������������

� ���� ������� ����������

� �� ������� ����

Taxonomy of Shape Descriptors

������������������ ���

� �������

� ����������������

� �����������������

���� �� ����������� ���

� ������������������������

� ���� ������� ����������

Ø �� ������� ���� Next Time!

top related