projektive abbildung videokamera - kit · sensor-koord.- system s: x,y perspektivisches zentrum:...

Projektive Abbildung Videokamera

Perspektivisches Abbildungsmodell

„Lochkamera-Modell“

Sensor-Koord.-

System S: x,y

Welt-Koor-

dinaten-

system W:

X, Y, Z

Perspektivisches

Zentrum: Ursprung des

Kamera-Koordinaten-

systems K: XK,YK,ZK,

parallel zu S Objekt

-punkt

H P

XPZ YPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YK PZ

X

Y

Z

f

w

q

Bildpunkt

Kammerkonst. c

O

Weltkoordinaten-

Pixelkoordinaten

1. Weltkoordinaten-

Kamerakoordinaten

2. Kamerakoordinaten-

Sensorkoordinaten

3. Sensorkoordinaten-

Pixelkoordinaten


Pixel-

Koordina-

tensystem: u,v

Sensor-Koordinatensystem

Objektpunkt O: Weltkoord. [XO,YO,ZO]T

Kamerakoord. [XKO,YK

O,ZK

O]T

Persp. Zentrum PZ: [XPZ,YPZ,ZPZj]T

Bildpunkt P: [xP,yP]T

Hauptpunkt H: [xH,yH]T

u

v

Sensor-Koord.-

System S: x,y

Welt-Koor-

dinaten-

system W:

X, Y, Z

Perspektivisches


Kamera-Koordinaten-



-punkt

H P

XPZ YPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YK PZ

X

Y

Z

f

w

q

Bildpunkt

Kammerkonst. c

x

y

H

O



Interne Koordinatentransformation

Objektpunkt O in Kamerakoord.: [XKO,YK

O,ZK

O]T

Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]

T

1. Projektion Kamera-Koord. in Sensor-Koord.

mittels Strahlensatz:

Projektion in homogenen Koordinaten:

Sensor-Koord.-

System S: x,y

Perspektivisches


Kamera-Koordinaten-



-punkt

H P Hauptpunkt

ZK

XK

YK PZ

Bildpunkt

Kammerkonst. c

O :d.Kamerakoorin Bildpunkt

/

/ :Koord. homogene

K

O

K

O

K

O

K

O

P

P

K

O

K

O

K

OP

P

Z

Y

X

Z

c

c

y

x

cb

ca

c

b

a

Y

X

Z

c

y

x


KO

K

O

K

O

K

O

P

P

K

O

K

O

K

O

K

O

P

P

K

O

K

O

K

O

P

P

Z

Yc

Z

Xc

y

x

Z

Y

Z

X

c

yc

x

Z

Y

X

c

y

x

:Koord.homogenen in


Interne Koordinatentransformation

Objektpunkt O in Kamerakoord.: [XKO,YK

O,ZK

O]T

Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]

T

2. Korrektur, wenn Hauptpunkt nicht in

Bildmitte:

Sensor-Koord.-

System S: x,y

Perspektivisches


Kamera-Koordinaten-



-punkt

H P

ZPZ

Hauptpunkt

ZK

XK

YK PZ

Bildpunkt

Kammerkonst. c

O

HP

HP

yy

xx

y

x


c

y

x

cy

cx

c

y

x

p

p

H

H

100

/10

/01

Pixel-

Koordina-

tensystem: u,v

u

v

x

y

H


Sensor-Pixel-Koordinatentransformation

3. Umrechnung Sensor-Koord.

xP,yP in Pixel-Koord. u,v

y

M

x

M

y

xu

u

vv vM

uM

x

y

Die Bildmittelpunktskoordinaten uM und vM sowie x und y sind aus den Angaben des

Sensorherstellers entnehmbar.



100

00

00

100

/10

/01

v1

1

y

x

M

M

cv

cu

c

u

c

y

x

cv

cu

c

y

xu

c

u

y

x

M

M

y

x

M

M

100

00

00

100

/10

/01

100

00

00

0

vv

1

1

1

1

c

y

x

v

u

P

P

y

x

100

0

0

0

1

0

1

c

y

x

cy

cx

P

P

H

H

100

/10

/01

Pixel-

Koordina-

tensystem: u,v

u

v

x

y

H

Optische Detektoren


Kamera-Pixel-Koordinatentransformation

Umrechnung Sensor-Koord.

in Pixel-Koord. (in homogenen Koord.)

vM

uM

x

y



c

y

x

vc

ucu

c

y

x

v

uu

P

P

y

x

P

P

y

x

100

0

0

1

v

100

0

0

c-

v

0

1

0

1

0

1

0

1

K

O

K

O

K

O

Z

Y

X

100

0

0

1

v 01

0

1

vc

ucu

y

x

Sensor-Koord.-

System S: x,y

Perspektivisches


Kamera-Koordinaten-



-punkt

H P

ZPZ

Hauptpunkt

ZK

XK

YK PZ

Bildpunkt

Kammerkonst. c

O

Umrechnung Kamera-Koord.

in Sensor-Koord.

:Koord.homogenen in

K

O

K

O

K

O

P

P

Z

Y

X

c

y

x

Optische Detektoren


4. Transformation Welt- in Kamera-Koord.

Welt-Koor-

dinaten-

system W:

X, Y, Z

Kamera-

Koordinaten-

System

K: XK,YK,ZK

Objekt

-punkt

XPZ YPZ

ZPZ

ZO

YO

XO

XK

YK

X

Y

Z

f

w

q

O

ZK

PZO

PZO

PZO

j

K

O

K

O

K

O

ZZ

YY

XX

R

Z

Y

X

),,( w

Translation und Rotation

PZ: Perspektivisches

Zentrum

100

0cossin

0sincos

)(

cos0sin

010

sin0cos

)(

cossin0

sincos0

001

)(

)()()(),,(

3

2

1

321

qq

qq

q

ww

www

qwqw

R

R

R

RRRR

333231

232221

131211

RRR

RRR

RRR


100

0cossin

0sincos

)(

cos0sin

010

sin0cos

)(

cossin0

sincos0

001

)(

)()()(),,(

321

321

qq

qq

q

ww

www

qwqw

RRR

RRRR

333231

232221

131211

RRR

RRR

RRR

fwqfwqwqfwqw

fwqfwqwqfwqw

fqqf

coscossinsincoscossincossincossinsin

cossinsinsinsincoscoscossinsinsincos

sinsincoscoscos

R

Optische Detektoren


4. Transformation Welt- in Kamera-Koord.

Rotationsmatrix


Optische Detektoren


4. Welt-Kamera-Koordinatentransformation

PZO

PZO

PZO

K

O

K

O

K

O

ZZ

YY

XX

R

Z

Y

X

),,( w


11000

100

010

001

1000

0

0

0

1

333231

232221

131211

O

O

O

PZ

PZ

PZ

K

O

K

O

K

O

Z

Y

X

Z

Y

X

RRR

RRR

RRR

Z

Y

X

In homogenen Koordinaten:

Welt-Koor-

dinaten-

system W:

X, Y, Z

Kamera-

Koordinaten-

System

K: XK,YK,ZK

Objekt

-punkt

XPZ YPZ

ZPZ

ZO

YO

XO

XK

YK

X

Y

Z

f

w

q

O

ZK

11000

11000

333231

232221

131211

333231333231

232221232221

131211131211

O

O

O

z

y

x

O

O

O

PZPZPZ

PZPZPZ

PZPZPZ

Z

Y

X

tRRR

tRRR

tRRR

Z

Y

X

ZRYRXRRRR

ZRYRXRRRR

ZRYRXRRRR

Optische Detektoren


5. Zusammensetzung zur Welt-Pixel-Koordinatentransformation Sensor-Koord.-

System S: x,y

Welt-Koor-

dinaten-

system W:

X, Y, Z

Perspektivisches


Kamera-Koordinaten-



-punkt

H P

XPZ YPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YK PZ

X

Y

Z

f

w

q

Bildpunkt

Kammerkonst. c

O


110001

333231

232221

131211

O

O

O

z

y

x

K

O

K

O

K

O

Z

Y

X

tRRR

tRRR

tRRR

Z

Y

X

100

0

0

1

v 01

0

1

vc

ucu

y

x

10100

0010

0001

K

O

K

O

K

O

Z

Y

X

100

0

0

1

v 01

0

1

vc

ucu

y

x

110000100

0010

0001

333231

232221

131211

O

O

O

z

y

x

Z

Y

X

tRRR

tRRR

tRRR

134333231

24232221

14131211

Z

Y

X

pppp

pppp

pppp

v

u

Optische Detektoren

Perspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene


1

mit

11

oder

1

1100

0

0

1

zu

Dann wird

3231

0

1

32022

1

31021

1

0

1

32012

1

31011

1

3231

0

1

32022

1

31021

1

0

1

32012

1

31011

1

3231

2221

1211

0

1

0

1

int

z

zyyyy

zxxxx

O

O

O

O

z

zyyyy

zxxxx

O

O

z

y

x

y

x

ext

tRR

tvtcRvRcRvRc

tutcRuRcRuRc

HY

X

Hv

u

Y

X

tRR

tvtcRvRcRvRc

tutcRuRcRuRc

Y

X

tRR

tRR

tRR

vc

uc

v

u

XKPKp

100

0

0

1

v 01

0

1

vc

ucu

y

x

110000100

0010

0001

333231

232221

131211

O

O

O

z

y

x

Z

Y

X

tRRR

tRRR

tRRR

Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0

XKPKp ext

int

oder

Optische Detektoren

Perspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene


333231

232221

131211

3231

0

1

32022

1

31021

1

0

1

32012

1

31011

1

hhh

hhh

hhh

1

mit

11

z

zyyyy

zxxxx

O

O

tRR

tvtcRvRcRvRc

tutcRuRcRuRc

HY

X

Hv

u

In homogenen Koordinaten: lineare Darstellung

In kartesischen Koordinaten: nicht-lineare Darstellung

333231

232221

333231

131211

hhh

hhh

hhh

hhh

OO

OO

OO

OO

YX

YXv

YX

YXu

Zwei-Ansichten-Abbildung Videokamera

Optische Detektoren

Allgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien

Allgemeine projektive Transformation

zwischen Ebenen:

Nicht-linear, undef. wenn Nenner Null:

explizites Hinzufügen einer Linie mit

Punkten im Unendlichen Projektive Ebene

LGS in homogenen Koordinaten

Nach: Robert T. Collins: Projective Reconstruction of Approximately Planar Scenes,

Proc. SPIE 1839, pp. 174-185

333231

232221

333231

131211 ,hhh

hhh

hhh

hhh

eiche Punktfür unendl

EbenePunkte in für endl. ss

kSkalar

shhh

hhh

hhh

s

k

0

1

0

333231

232221

131211

x

y

x´

y´

´

´

x‘‘

y‘‘

‘‘

‘‘

Homographie

H1

Homographie

H2

C1

affin

Objektebene

C2

affin

Lochkamera1 Lochkamera2

Optische Detektoren

Allgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien

Einander entsprechende Punkte in

irgendwelchen zwei Ebenen der Abbildung

sind über eine Homographie verbunden.

Ist die Abweichung der realen Kamera

vom Lochkameramodell linear, ist das

Bild eine affine Transformation der reinen

Lochkamera-Abbildung.

Gesamtabbildung: H1C1

Affine Abb. Untergruppe von Homographie

H1C1 ist ebenfalls Homographie.

x

y

x´

y´

´

´

x‘‘

y‘‘

‘‘

‘‘

Homographie

H1

Homographie

H2

C1

affin

Objektebene

C2

affin

Lochkamera1 Lochkamera2

v´

v´

v´´

v´´

2

1

1 :t

t

y

x

rq

po

v

uC


Optische Detektoren

Perspektivisches Abbildungsmodell für Ebenen: Homographien


H0w: Homographie bildet Weltebene auf erste Bildebene ab.

Hii-1: Homographien zwischen Bildern

01

0

1

21 w

i

i

i

i

i

w HHHHH

Optische Detektoren


Berechnung einer Homographie

Skalierung, so dass h33 1 (híj=hij/h33), ausmultiplizieren, umstellen:

Für N Punktepaare i,i und í, í 1

Optische Detektoren


Berechnung einer Homographie: Vorgehen

1. Vorstufe: Datennormierung

rTrrTryss

xss

Tyss

xss

T

rTrd

syxd

rTrd

syxd

rrrrrr

r

ii

N

i

ii

N

i

i

N

i

i

ii

N

i

ii

N

i

i

N

i

i

NN

~ und

~:

100

0

0

und

100

0

0

mit

~2

N

1,

N

1y,

N

1x

~2

N

1,

N

1y,

N

1x

.2ttelwert Abstandsmi auf alierungAbstandssk und gin Ursprun ungtverschiebSchwerpunk

:,,, :Bild2in und ,,, :1 Bildin

Punkteierenden korrespondder Mengefür Normierung

1

22

11

1

22

11

2121


Optische Detektoren


Berechnung einer Homographie: Vorgehen

2. Berechnung der „normierten“ Homographie

3. „Denormierung“ der „normierten“ Homographie

SVDmit z.B. Lösung~~~

ˆ

~

~

~

~

~

~

~

~

~

~

~

~

~~~~1~~

000

~~~~0001~~

~~~~1~~

000

~~~~0001~~

1

1

32

31

23

22

21

13

12

11

111111

111111

bhA

h

h

h

h

h

h

h

h

N

N

NNNNNN

NNNNNN


Optische Detektoren


Anwendung: Mosaicing


Sensor-Koord.-

System S: x, y

Welt-Koor-

dinaten-

system W:

X, Y, Z

Perspektivisches


Kamera-Koordinaten-



-punkt

H P

XPZ YPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YK

PZ

X

Y

Z

f

w

q

Bildpunkt

Kammerkonst. c

O

Ebenen-basierte Bestimmung der Pose einer Kamera

1

mit

11

oder

1

1100

0

0

1

zu

Dann wird

3231

0

1

32022

1

31021

1

0

1

32012

1

31011

1

3231

0

1

32022

1

31021

1

0

1

32012

1

31011

1

3231

2221

1211

0

1

0

1

int

z

zyyyy

zxxxx

O

O

O

O

z

zyyyy

zxxxx

O

O

z

y

x

y

x

ext

tRR

tvtcRvRcRvRc

tutcRuRcRuRc

HY

X

Hv

u

Y

X

tRR

tvtcRvRcRvRc

tutcRuRcRuRc

Y

X

tRR

tRR

tRR

vc

uc

v

u

XKPKp

100

0

0

1

v 01

0

1

vc

ucu

y

x

110000100

0010

0001

333231

232221

131211

O

O

O

z

y

x

Z

Y

X

tRRR

tRRR

tRRR

Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie

1. Projektive Abbildung einer Ebene: Homographie

Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0

XKPKp ext

int

oder

3231

2221

2

1211

2!

32312221

2

1211

2

2

2

21

32

22

12

2

31

21

11

1

333231

232221

131211

3231

2221

1211

323121

33

23

13

3

32

22

12

2

31

21

11

1

333231

232221

131211

~~

~~~~

0~~~~~~1

~

~

~

,

~

~

~

~~~

~~~

~~~

1~

.0,0,0

,,

hh

hhyhhxchhhhyhhx

crr

h

hc

y

hc

x

r

h

hc

y

hc

x

r

hhh

hhh

hhh

tRR

ty

cR

y

cR

y

c

tx

cR

x

cR

x

c

H

rrrrrr

R

R

R

r

R

R

R

r

R

R

R

r

RRR

RRR

RRR

R

T

z

y

x

TTT


2. Bestimmung der Kammerkonstanten aus der Homographie mit xH=yH=u0=v0=0

100

0

0

1

v 01

0

1

vc

ucu

y

x

110000100

0010

0001

333231

232221

131211

O

O

O

z

y

x

Z

Y

X

tRRR

tRRR

tRRRFür die Spaltenvektoren der in

enthaltenen Rotationsmatrix

gilt wechselseitige Orthogonalität

Bestimmung der Kammerkonstanten mit erster Orthogonalitätsbedingung

3212133

212

31

22

21

22

11

22

312

2

212

2

2

112

21

21

3231

2221

2

1211

2

32

22

12

2

31

21

11

1

321

,, :

, ~~~1

~~~

11

:1

~~

~~~~

~

~

~

,

~

~

~

1

rrrRrrrr

rrhchyhx

c

hc

hy

c

hx

rr

rr

hh

hhyhhxc

h

hc

y

hc

x

r

h

hc

y

hc

x

r

rrr


3. Bestimmung der Rotationsmatrix

Spaltenvektoren der Rotationsmatrix sind Einheitsvektoren des gedrehten Koordinatensystems

wobei aus voriger

Orthogonalitätsbedingung

Bestimmung von so, dass

Bestimmung von aus weiterer Orthogonalitätsbedingung

Einsetzen

von und c

33

23

13

33

23

13

3

~

~

~

1~

~

~

~

~

h

cyh

cxh

t

t

ty

c

tx

c

h

h

h

hH

z

y

x

z

y

x

T

PZ

PZ

PZ

T

z

y

x

PZ

PZ

PZ

PZ

PZ

PZ

z

y

x

t

t

t

RRR

RRR

RRR

Z

Y

X

RRR

RRR

RRR

RRR

RRR

RRR

t

t

t

RRR

RRR

RRR

Z

Y

X

Z

Y

X

RRR

RRR

RRR

t

t

t

333231

232221

131211

333231

232221

131211

1

333231

232221

131211

1

333231

232221

131211

333231

232221

131211

mit


4. Bestimmung der Translation

Die dritte Spalte der Homographiematrix lautet

Mit c und aus vorheriger Rechnung ist Translationsvektor bestimmt.

Mit dem Translationsvektor und der Rotationsmatrix wird die Lage des persp. Zentrums berechnet.

H

XPZ

ZPZ

ZK

XK

YK

PZ

X

Y

Z

f

w

q

YPZ

Rechteck in Objektebene

Seitengerade l1

des Rechtecks

Seitengerade l2

des Rechtecks

Ebene E1 aufgespannt

durch l1 und PZ Ebene E2 aufgespannt

durch l2 und PZ

Schnittgerade zwi-

schen E1 und E2

Schnittgerade l´2

zwischen E2 und

Sensorfläche

Schnittgerade l´1

zwischen E1 und

Sensorfläche

Normalen-

vektor von E2

Normalen-

vektor von E1

Seitengeraden des Rechtecks:

Die Abbildung einer Geraden l1 geht durch PZ.

Sie bildet damit eine Ebene E1, welche die

Sensorfläche in einer Geraden l1´ schneidet.

Ebenso ergeben sich E2 und l2´ für die parallele

Gerade l2 der gegenüber liegenden Seite

des Rechtecks.

Die beiden Ebenen E1 und E2 schneiden sich

in einer Geraden parallel zu l1 und l2, deren

Richtungseinheitsvektor einer der Einheitsvek-

toren des Marken-Koordinatensystems ist.

steht senkrecht auf und ,

bestimmt durch

Kreuzprodukt.

wird durch die anderen

Seitengeraden und und

deren Ebenen mit und

bestimmt:

steht senkrecht auf und :

´:´´;:´

:;:

20221011

20221011

xxlxxl

xxlxxl

n2

n1

2ˆ

Me

1ˆ

Me

3ˆ

Me

Mê

2ˆ

Me

2n

1n

21

212

ˆnn

nneM

1ˆ

Me

1l 2l

2n

1n

21

211

ˆnn

nneM

3ˆ

Me

1ˆ

Me

2ˆ

Me

213ˆˆˆ

MMM eee

Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinaten

einer intern kalibrierten Kamera

H

XPZ

ZPZ

ZK

XK

YK

PZ

X

Y

Z

f

w

q

YPZ

Rechteck in Objektebene

Seitengerade l1

des Rechtecks

Seitengerade l2

des Rechtecks

Ebene E1 aufgespannt

durch l1 und PZ Ebene E2 aufgespannt

durch l2 und PZ

Schnittgerade zwi-

schen E1 und E2

Schnittgerade l´2

zwischen E2 und

Sensorfläche

Schnittgerade l´1

zwischen E1 und

Sensorfläche

Normalen-

vektor von E2

Normalen-

vektor von E1



Bestimmung der Normalenvektoren:

Die Abbildung l1´ der Geraden l1 durch PZ liegt ebenfalls in Ebene E1. Somit kann E1

(d.h. ) durch Bestimmung von l1´ aus dem Bild

mithilfe der internen Kalibrierparameter

Hauptpunkt H und Kammerkonste c berech-

net werden.

Ebenso kann aus l2´ berechnet werden.

Nach Segmentierung und z.B. Hough-Trans-

formation: Geradengleichung für l1´in Bild-

koordinaten

n2

n1

1ˆ

Me

2ˆ

Me

3ˆ

Me

2n

1n

1101 wrr

Pixel-

Koordina-

tensystem: u,v u

v

x

y

H

vM

uM

x

y

Sensor-Koordinatensystem 10r

1w

Bestimmung der Normalenvektoren:

Transformation der Bildgeraden in das Kamera-Koordinatensystem:

1. Transformation vom Pixel- in das Sensor-Koordinatensystem

2. Transformation in das Kamera-Koordinatensystem:

3. Gleichung für Normalenvektor der Ebene durch l1´ und projektives Zentrum PZ

als Kreuzprodukt des Richtungsvektors der Geraden und Differenzvektor zwischen

Aufpunkt der Geraden und PZ:

Pixel-

Koordina-

tensystem: u,v u

v

x

y

H

vM

uM

x

y


1w

MPy

MPx

p

p uu

y

x

vv

y

x

M

PPS rrr0

0,

c

wrrr

c

rrr

P

HM

PP

H

S

K 1101

1

110110111011 :nKoordinate-Sensorin iert transform:l´ Gerade

wrrwrrr

wrr

P

M

PPP

M

PPS

PPP

1v

1u

,11

c

wv

P ,101

c

rrru HM

PP

11

111ˆ

uv

uvn



Bestimmung der Marken-Koordinatensystemachsen:

Normalenvektoren der Ebenen durch parallele Markenberandungen l1 und l2

ergeben Koordinatenachse als Kreuzprodukt:

Analoges Verfahren für zweites, zum ersten senkrechtes Parallelenpaar und der Rechteckmarke.

Die dritte Achse ergibt sich aus dem Kreuzprodukt der beiden ersten

Und damit die Rotationsmatrix der Marke gegenüber der Kamera

Pixel-

Koordina-

tensystem: u,v u

v

x

y

H

vM

uM

x

y


1w


wrrwrrr

wrr

P

M

PPP

M

PPS

PPP

,11

c

wv

P ,101

c

rrru HM

PP

11

111ˆ

uv

uvn


wrrwrrr

wrr

P

M

PPP

M

PPS

PPP

,22

c

wv

P ,202

c

rrru HM

PP

22

222ˆ

uv

uvn

212ˆˆˆ nneM

1l 2l

211ˆˆˆ nneM

213ˆˆˆ

MMM eee

321 ˆˆˆ MMM eeeR



Optische Detektoren


Bestimmung der Modellparameter

Interne Parameter:

• Hauptpunkt-Koordinaten

xH, yH

• Kammerkonstante:

c

• Skalenfaktoren:

x, y.

Externe Parameter:

• Weltkoordinaten des

Perspektivischen Zentrums:

XPZ, YPZ, ZPZ

• Drehwinkel zwischen Welt- und

Kamera-Koordinatensystem:

f, w, q

Abbildungsmodelle Videokamera

Sensor-Koord.-

System S: x, y

Welt-Koor-

dinaten-

system W:

X, Y, Z

Perspektivisches


Kamera-Koordinaten-



-punkt

H P

XPZ YPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YK PZ

X

Y

Z

f

w

q

Bildpunkt

Kammerkonst. c

O

Bestimmung der Abbildungsparameter: Kalibrierung

Schätzung der Parameter auf Basis genau vermessener Szenenmerkmale (z.B.

Kalibrierpunkte) und zugeordneter Bildmerkmale.

• Menge von Modellparametern {p}

• Menge der Punkte (Weltkoordinaten) der Szenenmerkmale durch

Vermessung

• Menge der Punkte (Bildkoordinaten) der Bildmerkmale durch

Bildauswertung (automatisch oder interaktiv oder automatisch mit

iterativer Verbesserung)

Damit Menge von Zuordnungen:

Bestimmung des optimalen Parametervektors p: Minimierung der Quadratabweichungen

der Positionen der projizierten Szenenmerkmale von den Positionen der Bildmerkmale:

Kamerakalibrierung Videokamera

s

s

s

Modell

p

z

y

x

Tv

u

nizyxs Tsisisii ,...,1,],,[

lisbzZii hgi

,...,1],,[

mivub Tiii ,...,1,],[

)(}),...,1{()(},...,1{:},,...,1{, jiijii ghnhggmgjiljimit

min)(1

2

l

i

h

Modell

pg iisTb

Siehe Prof.Dr. Trommer: Praktikum Systemoptimierung,

Versuch 7

Optische Detektoren

• Modellierung von Abweichungen vom perspektivischen Abbildungsmodell

Korrekturterme zu

Erweiterung:


dx und dy können Verzeichnungen sein vom Typ

• Radial symmetrisch dxsym

• Radial asymmetrisch dxasy so dass dx = dxsym + dxasy + dxtan

• Tangential dxtan und dy = dysym + dyasy + dytan

dy

dx

y

x

Y

X

Z

c

y

x

H

H

K

O

K

O

K

OP

P

H

H

K

O

K

O

K

OP

P

y

x

Y

X

Z

c

y

x

Optische Abbildung Videokamera

Optische Detektoren

Abbildungsprozess: Aberration Verzerrungen

Radiale Vergrößerungsänderungen.

Positive Verzerrung Negative Verzerrung

Kissenförmige Tonnenförmige

Verzeichnung Verzeichnung

Optische Detektoren

Modellierung von radial symmetrischen Abweichungen

Modellierung durch ungeradzahliges Polynom:

Wobei r der Bildradius ist: r² = x² + y². r0 ist der Nulldurchgang der Verzeichnungskurve.

Somit erhält man für den radial symmetrischen Korrekturterm:

Bei normalen Objektiven genügt ein Polynom mit zwei Koeffizienten.

Einparametrige Alternative von Lenz:


)()()( 607

3

4

0

5

2

2

0

3

1 rrrArrrArrrAdrsym

yr

drdyundx

r

drdx

sym

sym

sym

sym

2

2

411

411

Kr

Krrdrsym

Verzeichnungsparameter K

sym

sym

H

H

K

O

K

O

K

OP

P

dy

dx

y

x

Y

X

Z

c

y

x

Modellierung von radial symmetrischen Abweichungen

Beispiel


Modellierung von radial asymmetrischen und tangentialen Abweichungen

Mehrere Modellierungen

Conrady:

Zusätzliche Berücksichtigung einer nicht-ebenen Bildfläche (Brown):

Für Videokameras genügt meist die Modellierung radial symmetrischer Abweichungen:

[Lenz, Tsai]


E10

Effekt radial symmetrischer und tangentialer Abweichungen


Modellierung von Affinität

Unterschiedliche Pixelgröße in x- und y-Richtung

dxaff = Sxy x und dyaff = 0


Abbildung der Bildpunkte auf Elemente der Grauwertmatrix:


Pixel-

Koordina-

tensystem

Bildkoordinatensystem

u

v

u = sx(x + N/2)

v = sy( y + M/2)

sx = Abtastfrequenz / (Pixeltakt*horiz. Pixelabstand)

sy = 1 / vertikaler Pixelabstand

Beispiel Parametervektor:

K

S

s

s

y

x

c

Z

Y

X

p

xy

y

x

H

H

O

O

O

j

j

j

w

Rotationswinkel

äußere

Orientierung

Translation

Kammerkonstante

Hauptpunkt

innere

Skalierungsfaktoren Orientierung

Verzerrungsfaktoren


Optische Detektoren

Abbildungsprozess: Dicke paraxiale Linse

Objektebene Bildebene

Tatsächlicher

Strahlenpfad Zur Konstruktion

benutzter Pfad

Abbildungskonstruktion: Strahl von P parallel zu opt. Achse bis H´, von H´ über F´

Strahl von P über F nach H, von H parallel zu opt. Achse -> Schnittpunkt P´ def. S´.

H H´

Hauptebenen


Optische Detektoren

Abbildungsprozess: Sphärische Aberrationen

Strahlen mit unterschiedlichem Abstand vom Linsenzentrum haben unterschiedliche

Brennweite


Optische Detektoren

Abbildungsprozess: Linsensysteme (Abbildungsoptik aus mehreren dicken Linsen)

H11 H12 P1 P2 H21 H22

h

h

H11

H22


Optische Detektoren

Abbildungsprozess: Aberration Negatives Koma

Die transversale Vergrößerung nimmt mit wachsender Strahlhöhe ab.


Optische Detektoren

Abbildungsprozess: Aberration Positives Koma

Je größer der Kreisdurchmesser auf der Linse, desto größer der Kreisdurchmesser in

der Bildebene.

Bildebene

Objektebene

KomaT

KomaV


Optische Detektoren

Abbildungsprozess: Aberration Astigmatismus

Die Brennweiten unterscheiden sich für die sagittale und für die meridionale Ebene.

Objekt-

punkt

Sagittales

Bild

Meridionales

Bild

Kleinster

Fehler


Optische Detektoren

Abbildungsprozess: Zusammenfassung primäre Aberrationen

Aberration Radial (Unschärfe) Axial (fokale Verschiebung)

Sphärische Aberration y³ y²

Coma y²h

Astigmatismus y h² h²

Feldkrümmung y h² h²

Verzerrung h³

h: Strahlhöhe, y: Apertur


PZ PZ`

p1 p2

R,t – 6 Parameter

Relative Orientierung zweier Kameras

P Objektpunkt-Welt

PZ: perspektivisches Zentrum

Kamera 1

p1: Bildpunkt von P in

Kamera 1

PZ`: perspektivisches Zentrum

Kamera 1


Kamera 2


PZ PZ`

p1 p2

3D – Koordinaten des Weltpunktes

P Objektpunkt-Welt


Kamera 1


Kamera 1


Kamera 1


Kamera 2

1133

1

32

1

31

1

24

1

23

1

22

1

21

1

14

1

13

1

12

1

11

1

1

1

Z

Y

X

ppp

pppp

pppp

v

u

1133

2

32

2

31

2

24

2

23

2

22

2

21

2

14

2

13

2

12

2

11

2

2

2

Z

Y

X

ppp

pppp

pppp

v

u

2411331231132122113112111

14

1

133

1

13

1

132

1

12

1

131

1

11

1

1

24

1

23

1

22

1

21

1

33

1

32

1

31

1

1

14

1

13

1

12

1

11

1

33

1

32

1

31

1

1

1

1

pZvppYvppXvppv

pZuppYuppXuppu

pZpYpXpZpYpXpv

pZpYpXpZpYpXpu

2422332232232222223122122

14

2

233

2

13

2

232

2

12

2

231

2

11

2

2

24

2

23

2

22

2

21

2

33

2

32

2

31

2

2

14

2

13

2

12

2

11

2

33

2

32

2

31

2

2

1

1

pZvppYvppXvppv

pZuppYuppXuppu

pZpYpXpZpYpXpv

pZpYpXpZpYpXpu

LGS für X,Y,Z


PZ PZ`

p1 p2

3D – Koordinaten des Weltpunktes

P Objektpunkt-Welt


Kamera 1


Kamera 1


Kamera 1


Kamera 2

2411331231132122113112111

14

1

133

1

13

1

132

1

12

1

131

1

11

1

1

pZvppYvppXvppv

pZuppYuppXuppu

2422332232232222223122122

14

2

233

2

13

2

232

2

12

2

231

2

11

2

2

pZvppYvppXvppv

pZuppYuppXuppu

LGS für X,Y,Z

Voraussetzungen:

• Kameramodelle exakt bekannt

• Bildkoordinaten der homologen Punkte bekannt


Epipolargeometrie

PZ PZ`

p p`

Bildebene

Sensorfläche

Bildebene

Sensorfläche

Objektpunkt-Welt

Basislinie

Epipolarlinien

Epipole

e e`

p p`

P


Perspektivisches Zentrum

Kamera1

Perspektivisches Zentrum

Kamera2

Ebenen, die sich in

Basislinie schneiden

Ideale

Stereo-

Anordnung

Zeilen der idealen Stereo-Anordnung (photogrammetrischer Normalfall):

Ebenen, die sich in Basislinie schneiden

Abbildung dieser Ebenen in realen Kameras:

Epipolarlinien


PZ PZ`

p p`

Bildebene

Sensorfläche

Bildebene

Sensorfläche

Objektpunkt-Welt

Basislinie

Epipolarlinien

Epipolargeometrie

Korrespondierende Bildpunkte liegen auf Epipolarlinien


Epipolargeometrie und Homographie:

Homographie-induzierte Parallaxe

PZ PZ`

p p`

Objektpunkt-Welt P

e e`

p p`

o o

o o

o o

o

E pE

H

pH`

p` und pH` liegen

auf Epipolarlinie

B1 B2

H bezgl.

Schrift-

tafel

H.B1 überlagert

mit B2


Epipolargeometrie und Homographie

PZ PZ`

p p`

Objektpunkte-Welt

e e`

o o

o o

o o

o

E

H

o

o

o

o o

Bestimmung des Epipols als Schnittpunkt zweier Epipolarlinien.

Epipolarlinie jeweils bestimmt durch Bildpunkt des Objektpunkts des einen Bildes und

den durch H transformierten Bildpunkt des Objektpunkts des anderen Bildes.



H x'xl

Epipolarlinien Bildzeilen



Rektifizierung durch polare Reparameterisierung bezüglich Epipolen

Erhalte Länge der Epipolarlinien.

Wähle Winkelinkrement q so, dass Pixel nicht komprimiert werden.

Ursprungsbild

Funktioniert für alle relativen Bewegungen.

Garantiert minimale Bildgröße.

Epipol

rmax

rmin

q

x

y

Rektifiziertes Bild

q

r

Resampling


Ideale

Stereo-

Anordnung

Ursprungsbild

rmax

rmin

q

x

y

q

r

Ursprungsbild

rmax

rmin

q

x

y

q

r


Ideale

Stereo-

Anordnung

o o

PZ1 PZ2

D

c x1 x2

Aus Geradenschnitt:

c

yzy

c

xzx

xx

cBz

PP

PP

P

,

21

B

z

x

P z P


Epipolargeometrie, Homographie und Fundamentalmatrix

Fundamentalmatrix F: Abbildung des Bildpunktes x aus Bildebene B1 auf zugehörige

Epipolarlinie l` in Bildebene B2.

Berechnung mittels Homographie

6655 H x'xH x'xe '

x1,x2,x3,x4 in Ebene, x5,x6 außerhalb Ebene

Berechnung von H aus x1,x2,x3,x4

He 'F

l`

B1 B2

projektive abbildung videokamera - kit · sensor-koord.- system s: x,y perspektivisches zentrum:...

Documents