specific algorithms in image-based measurement
Post on 05-Jan-2016
48 Views
Preview:
DESCRIPTION
TRANSCRIPT
Specific Algorithms in Image-Based Measurement
• Camera Calibration
• Fundamental Matrix Estimation
• Camera Pose ( Tracking)
• Structure and Motion ( Real-Time)
Orientierung, Kamerakalibrierung• Insgesamt 11 Parameter
– 5 für innere Orientierung K– 6 für äußere Orientierung R, t
• Evtl. zus. Par (k1,…, P1,…) für Linsenverzeichnung• Kalibrierung
– Kalibrierobjekt (“calibration target”, flach oder 3D)• Punktkorrespondenzen (mind. 6 Punkte)• Lin. Gleichungssystem (überbestimmt)
– Unbekannte Szene• Mehrere Ansichten (mind. 2)• Punktkorrespondenzen• Bekannte / unbekannte Kamerabewegung (“self-calibration”)
Kamerakalibrierung
• Algorithmus nach Tsai 1987– 3D Kalibrier-Target, 1 Bild– 2D Target, mehrere Bilder, bekannte Translation
• Algorithmus nach Zhang 1998– 2D Target, mehrere Bilder, unbek. Bewegung
• “Self-Calibration”– z.B. Algorithmus nach Pollefeys et al. 1999
Algorithmen Kamerakalibrierung
B.K.P. Horn 2000
A flexible new technique for camera calibration
Z. Zhang 2000
Self-calibration and metric reconstruction …
M. Pollefeys et al. 1999
Tsai’s camera calibration method revisited
Tsai (1) - Überblick• Aufnahme eines Kalibrier-Targets
– Bekannte Geometrie– 2D, mehrere Bilder, bekannte Translation, besser 3D
• Punktkorrespondenzen Target-Bild• Möglichst viele Parameter schätzen
– DLT (direct linear transform)– Linear least-squares fitting wenn mehr Punkte als nötig– Keine constraints zwischen Parametern
• Optimierung aller Parameter– Nonlinear optimization
• Ergebnis:R, t, x0, y0, f, “horizontal scale” s, k1, k2
Tsai (2) - DLT• Schätzung des Hauptpunktes (x0,y0)
x´I = xI – x0 y´I = yI – y0
• Richtung eines Bildpunktes zum Hauptpunkt– Unabhängig von f, und von radialer Verzeichnung
• Punktkorrespondenzen einsetzen, div. Tricks
• Planares Target: s kann nicht geschätzt werden
c
cI
z
xs
f
x
'
c
cI
z
y
f
y
'
c
c
I
I
y
xs
y
x
'
'
sttR yx ,,,
Tsai (3)• Schätzung von tz,f
– Mind. 1 weitere Punktkorrespondenz– Einsetzen in
• Nichtlineare Optimierung aller Parameter– Minimieren der Fehler im Bild:
Bildpunkte – Projektion der Target-Punkte– Levenberg-Marquardt
...'
f
xI ...'
f
yI
Zhang (1) - Überblick• Ebenes Kalibrier-Muster• Mehrere Bilder ( 2), beliebige Bewegung• Radiale Linsenverzerrung k1, k2
• Vorteile:+ Einfaches, billiges Target+ Einfach durchzuführen+ Flexibel+ “Desktop 3D”, “Desktop vision system DVS”
• Ergebnis:R, t, , , , u0, v0, k1, k2
Zhang (2) - Algorithmus
1. Geschlossene, analytische Lösung (DLT)
2. Optimierung - nichtlinear, maximum likelihood- inklusive Linsenverzeichnung
Zhang (3) - Vorgangsweise
1. Muster ausdrucken, eben aufbringen2. Einige Bilder aufnehmen
Kamera / Muster bewegen
3. Korrespondenzen in allen BildernPunkte im Bild – im bekannten Muster
4. 11 Parameter schätzen Innere, äußere Orientierung, ohne Linsenverzeichnung
5. Optimierung aller 13 Parameterinklusive radiale Verzeichnung k1, k2
Achtung: geht nicht bei reiner Translation !!(parallele Muster-Ebenen)
Zhang (4) - Homographie• Projektive Abbildung (“Homography”)
Musterebene Bildebene
– 1 Bild:• 6 Parameter Ä.O.: R, t• 2 constraints I.O. 2 Parameter, z.B. ,
– 2 Bilder: “skewless constraint” = 0 3 Bilder: , , , u0, v0, k1, k2
Mm~~ Hs
100
0 0
0
v
u
A
8DoF 3x3,
0 :o.B.d.A.
21 trrAH
Z
Zhang (5) – Schätzen von Hsm = HM gilt nicht genau
(Rauschen in den extrahierten Punkten)
max. likelihood estimation H v0, (), , , , u0 A
R, t
Nach dieser algebraischen Lösung genügt R nicht den Eigenschaften einer Rot.Matrix
Aber: Schätzwert für nachfolgende Optimierung
Zhang (6) - Optimierung• R parametrisieren
• Minimieren von
• Nichtlineare Minimierung Levenberg – Marquart
• Benötigt Initialisierung
||),,,(||1 1
^
jii
n
i
m
jij PtRApp
jPpmn Punktes des Projektion ... Muster, im Punkte Bilder, ^
Zhang (7) - Linsenverzeichnung
• Linsenverzeichnung in der Optimierung berücksichtigen:
||),,,,,(|| 211 1
^
jii
n
i
m
jij PtRkkApp
),( Verzerrungn gefolgt vo , Punktes des Projektion ...
Muster, im Punkte Bilder,
21
^
kkPp
mn
j
Verständnis von [Zhang 2000]
• Paper (wiss. Publikation)
• Viel Vorwissen nötig
• Verweis auf TR für Details
Wie gut ist die Kalibrierung ?
• Vergleich (A, B, A+B)
• Tabelle … Geschätzte Standardabweichung,
Unsicherheit des “final result”– RMS … Distanzen in Pixel zwischen
detektierten Punkten und projizierten Punkten
• Was bedeutet ein RMS von 0.3 pixel ?– Abhängig von der Anwendung !!
A B
cotarc
Vergleich mit [Heikkilä 2000]
• Kreise sind besser als Ecken
• Genauigkeit 1/50 Pixel
• 3D Target mit Punktpositionen genauer als 2 m !!
• Auch tangentiale Verzeichnung (P1,P2)
• Besser als Zhang
Geometric camera calibration using circular control pointsJ. Heikkilä, IEEE T-PAMI, Vol.22, No.10, 1066-1077
Pollefeys - Überblick• Metrische Rekonstruktion (Euklid.+Skalierung)• Zoom + Autofokus• Skew = 0, (aspect ratio = 1 or known)• Beliebige, unbekannte Trajektorie• Beliebige, unbekannte Szene
– “use the absolute conic as a virtual calibration pattern which is always present in the scene” !!
• Linearer Algorithmus für u0,v0 im Zentrum• Nichtlineare Optimierung für u0,v0 • Es gibt kritische Trajektorien !
Fundamental Matrix F
• “general stereo rig”– Beliebige Hauptachsen– Unterschiedliche Kameras, unbekannte
Kalibrierung K, K‘
• Rang 2, F e’ = 0, eT F = 0
0')'()()( 111 utu KRSK TT 111 )'()()( KRSKF T t
0'uu FT
Schätzen von F
• 7 Freiheitsgrade• Punktkorrespondenzen• 7 Punkte [Faugeras 1992] – unstabil !• 8-Punkt Algorithmus [Hartley 1995]
– Stabil– Normalisierung nötig !
• Probleme:– Falsche Korrespondenzen– Ungünstige Konfigurationen !
8-Point Algorithmus
R. Hartley, 1997In defense of the 8-point algorithm
• [Longuet-Higgins 1981] 8 Punktkorrespondenzen Essential Matrix E
• ebenso geeignet für F• unstabiles Verhalten durch geeignete Normierung
(Translation + Skalierung) entschärfen “normalized 8-point algorithm” [Hartley 1997]
• Lineare Lösung f.d. Schätzung von F
8-Point Überblick
1) Lineare Lösung- 8 Punkt-Matches u’i ui
- u’iT F ui = 0 F
2) “constraint enforcement” F F’- || F – F’ || minimieren- Rang F’ = 2 erzwingen, det F’ = 0
Lineare Lösung (1)
)1,','(' )1,,( 0' 111111 vuvuF TTT uuuu
8 Rang ,98 ... 0 0
.
.
.
1'...'
...
...
...
1'...'
33
11
888
111
AA
F
F
vuu
vuu
f
),...,,,,(
0...''
3331312111
3331121111111
FFFFF
FFuFvuFuu
f
Lineare Lösung (2)
• F … 3 x 3, Rang 2,
8 Parameter (aber nur 7 Freiheitsgrade)
• 2 Möglichkeiten– || f || = 1
– F33 = 1
Perfekte Daten
Ungenaue Daten
Lineare Lösung (3)
• A hat Rang 9, einzige Lösung f = 0 Suche f, sodass ||Af|| min.
unter der Bedingung dass ||f|| = 1 Jacobi / SVD
• f als Einheits-Eigenvektor zum kleinsten Eigenwert von ATA
Ungenaue Daten
Lineare Lösung (4)
• F hat Rang 3
wie oben für A: SVD, sodass
F’ mit || F – F’ || min.
unter der Bedingung dass det F’ = 0
Ungenaue Daten
Normalized 8-Point
• [Hartley, section 3]: 8-Point ist nicht immun gegen Koordinaten-Translation / -Skalierung
Normalisierung nötig !
• ATA ist inhomogen in Bildkoordinaten
)1,10,10,10,10,10,10,10,10(:in Diagonale
)1,10,10,10,10,10,10,10,10(:in Zeile
)1,100,100(' :z.B.
44488488
22244244
AA
A
uu
T
TT
Normalisierung
1) Translation t, sodass Bildmittelpunkt im Ursprung (0,0,1)
2) Skalierunga) isotrop
• durchschnittliche Distanz aller Punkte zu (0,0,1) ist• „durchschnittlicher Punkt“ (1,1,1)
b) anisotrop “two principal moments = 1”– Experimentelle Verifikation: gleich gut
2
8-Point - Zusammenfassung
• 8-Point unbrauchbar
• Normalized 8-Point ähnlich genau wie andere (iterative) Verfahren
• ~20x schneller als iterative Verfahren
• Einfacher zu implementieren
Camera Pose Estimation
• Pose estimation ~ Schätzung der Ä.O. bei bekannter / unbekannter Szene finde R, t
• “inside-out” tracking ~ camera pose in real-time
• Lineare Algorithmen [Quan, Lan, 1999]• Iterative Algorithmen [Lu et al., 2000]
• Punkt-basierte Methoden– Keine Geometrie, nur 3D Punkte
• Modellbasierte Methoden– Objekt-Modell, z.B. CAD
PnP – Perspective n-Point Problem
• Kalibrierte Kamera K, C = (KKT)-1
• n Punktkorrespondenzen Szene Bild• Bekannte Szenenkoordinaten der
Punkte pi, Distanzen dij = || pi – pj ||• Jedes Paar von Punkten gibt einen
Winkel , der in der kalibr. Kamera aus dem Bild gemessen werden kann
constraint für die Entfernung ||c – pi||
PnP (2)
jTji
Ti
jTi
ij
ijjijijiij
ijjiji
jjii
CC
C
dxxxxxxf
xxxxd
xx
uuuu
uu
cpcp
cos :Kamera ekalibriert
0cos2),(
cos2 :constraint
, :gesucht
2ij
22
222ij
PnP (3)• P3P, 3 Punkte:
unterbestimmt, 4 Lösungen
• P4P, 4 Punkte:
überbestimmt, 6 Gleichungen, 4 Unbekannte
4 x P3P, dann gemeinsame Lösung finden
• Allgemein: PnP, n Punkte
0),(
0),(
0),(
3223
3113
2112
xxf
xxf
xxf
4,3,2
4,3,1
4,2,1
3,2,1
PnP (4)
Wenn die xi gelöst sind:
1) p’i = xi K-1 ui
2) Finde “homography” R, t für p’i pi
Real-Time (1)Messen von
– Pose– 3D Position– abgeleiteten Größen– mehreren Trajektorien– …
in Echtzeit
„Echt“-Zeit ist problemspezifisch, zB Videorate 30Hz
Real-Time (2)
kann erreicht werden durch:– sehr einfache Probleme– schnelle (einfache, lineare, direkte) Algorithmen– Kleine Bildausschnitte ( CMOS)– Spezialhardware– …
Anwendungsbeispiel: Real-Time Tracking
Online Structure + Motion
top related