photometrische stereoanalyse kai christian bader ([email protected]) hauptseminar computer vision...
TRANSCRIPT
Photometrische Stereoanalyse
Kai Christian Bader([email protected])
Hauptseminar
Computer VisionKapitel VIII
Photometrische Stereoanalyse (Kai Bader) 2
Nur ein kurzer Überblick...
1. Grenzen der SFS-Verfahren
2. Analyse von Irradianzpaaren
3. Analyse von Irradianztripeln
Photometrische Stereoanalyse (Kai Bader) 3
Das Beispiel aus dem letzten Vortrag
SFS-Verfahren sind nur unter idealen Bedingungen zu solchen Resultaten fähig.
Photometrische Stereoanalyse (Kai Bader) 4
Was aber ist mit solchen Fällen?
Photometrische Stereoanalyse (Kai Bader) 5
1. Grenzen von SFS-Verfahren
Die Problemstellung aus einem Einzelbild eine Oberfläche zu rekonstruieren ist stark unterbestimmt.
Starke Einschränkungen in der Objektvielfalt notwendig...
Kapitel 1
Photometrische Stereoanalyse (Kai Bader) 6
1. Grenzen von SFS-Verfahren
1.1 Der Term E0 ist bekannt und konstant
E0 bekannt Lösungsmenge ist bei einer Lambertschen Reflektanzkarte gleich einem Kegelschnitt im Gradientenraum
(E0 bestimmbar, falls eine Orientierung n = s vorhanden und sichtbar ist)
Zur Erinnerung:
E0 Bestrahlungsstärke der Beleuchtung
Albedo / Reflektionskonstante
Photometrische Stereoanalyse (Kai Bader) 7
1. Grenzen von SFS-Verfahren
1.2 Die Oberflächen sind mindestens C(1)-stetig
Facettenübergänge / Objektkanten sind nicht immer wahrnehmbar Stetigkeitsanforderung
Da die Stetigkeitsanforderung für jeden Punkt gilt:
Keine Möglichkeiten der Untersuchung polyedrischer Objekte
(es existieren allerdings hierfür spezielle SFS-Verfahren welche mit einem Kantenoperator arbeiten)
Photometrische Stereoanalyse (Kai Bader) 8
1. Grenzen von SFS-Verfahren
1.3 Es müssen singuläre Punkte bzw. Orientierungen bekannt sein
(d.h. einige Höhenwerte, bevorzugt Orte mit einer Konvexität bzw. Konkavität oder Sattelpunkte sollten bekannt sein)
Problem der Mehrdeutigkeit: konkav-konvex-Konflikt
Photometrische Stereoanalyse (Kai Bader) 9
1. Grenzen von SFS-Verfahren
Aber nun zur
Photometrischen Stereoanalyse
Als Erweiterung der vorher behandelten SFS-Verfahren, genauer zur...
Photometrische Stereoanalyse (Kai Bader) 10
2. Die Analyse von Irradianzpaaren
Kapitel 2
Der erste Erweiterungsschritt zur schattierungsbasierten Mehrbildanalyse
Photometrische Stereoanalyse (Kai Bader) 11
2. Die Analyse von Irradianzpaaren
Eine weitere Beleuchtungsquelle wird hinzugefügt Die Richtungen s1 und s2 der Beleuchtungsquellen dürfen nicht
kollinear sein Zwei Aufnahmen durch einen Sensor bei identischer
Positionierung und Orientierung, aber mit jeweils nur einer Beleuchtungsquelle
Für jeden Bildpunkt ergeben sich so zwei Irradianzen: Irradianzpaar
2S-Verfahren
(2-Beleuchtungsquellenverfahren)
Photometrische Stereoanalyse (Kai Bader) 12
2. Die Analyse von Irradianzpaaren
Allgemeine Vorraussetzung: Bei einer Irradianz = 0 wird = 0 angenommen, d.h. der Punkt ist nicht beleuchtet
Beispiel für zwei Aufnahmen mit verschiedenen Lichtquellen:
Photometrische Stereoanalyse (Kai Bader) 13
2. Die Analyse von Irradianzpaaren
Nur falls s = v gilt können alle Orientierungen der sichtbaren Punkte beleuchtet werden
Bei SFS-Verfahren sind unter Annahme allg. Beleuchtungsrichtungen immer ein Teil der Orientierungen im Schatten
Photometrische Stereoanalyse (Kai Bader) 14
2. Die Analyse von Irradianzpaaren
Je kleiner der Winkel zwischen s1 und s2, desto mehr Orientierungen sind sichtbar Je größer der Winkel , desto robuster ist das Verfahren gegenüber
Meßungenauigkeiten bei den Irradianzen
Eine optimale Wahl der Beleuchtungsrichtungen existiert nicht
Alle bestrahlten Orientierungen sollten von v aus sichtbar sein (d.h. es sollte gelten: v = as1 + bs2 )
Photometrische Stereoanalyse (Kai Bader) 15
2.1 Lineare Reflektanzkarten
Für die Oberflächenrefflektion und die Beleuchtung wird ein lineares Reflektanzverhalten angenommen
Jede gemessene Irradianz E1 reduziert die Lösungsmenge der Orientierungen auf eine von p abhängige Gerade h im Gradientenraum
Existiert eine zweite Aufnahme mit veränderter Beleuchtungsrichtung und Irradianz E2, so ergibt sich eine zweite Gerade k.
),()()(: 111 Esbpsmphqh
),()()(: 222 Esbpsmphqk
Photometrische Stereoanalyse (Kai Bader) 16
2.1 Lineare Reflektanzkarten
Beide Irradianzen beschreiben den gleichen Szenepunkt
Der Schnittpunkt (pm,qm) der Geraden h und k repräsentiert die einzige konsistente Orientierung
Photometrische Stereoanalyse (Kai Bader) 17
2.1 Lineare Reflektanzkarten
Aus den beiden Gleichungen kann ein LGS gebildet werden:
Mit zwei Reflektanzkarten deren Steigungen nicht identisch sind lässt sich für jedes Irradianzpaar eine eindeutige Orientierung konstruieren.
),(
),(
1)(
1)(
22
11
1
2
1
Esb
Esb
sm
sm
q
p
m
m
Photometrische Stereoanalyse (Kai Bader) 18
2.2 Albedoabhängige Analyse
Der Lösungsansatz für Lineare Reflektanzkarten lässt sich nicht direkt auf Lambertsche Oberflächen übertragen
(eine Bildirradianz beschränkt hier den Gradienten (p, q) auf Kegelschnitte, also Kurven 2.Ordnung)
Für ein Irradianzpaar existieren max. zwei Orientierungen, da die Isoirradianzkurven höchstens zwei Schnittpunkte haben
Photometrische Stereoanalyse (Kai Bader) 19
2.2 Albedoabhängige Analyse
Durch messen: Beleuchtungsrichtungen s1, s2 und Irradianzen E1, E2
Die Gradientenraumpräsentation sei durch ps1=p(s1), ps2=p(s2) gegeben
Aus der Lambertschen Reflektionseigenschaft ergeben sich zwei Bildirradianzgleichungen als nichtlin. Gleichungssystem in p, q:
(für E2 / s2 äquivalent)
11
121
21
22
11011
ss
ss
qpqp
qqppEE
Photometrische Stereoanalyse (Kai Bader) 20
2.2 Albedoabhängige Analyse
Das Zweibein der Beleuchtungsrichtungen s1, s2 wird mit einer 3x3 Rotationsmatrix R rotiert bis beide Y-Komponenten der transform. Beleuchtungsrichtungen Null ergeben:
s1 und s2 sind komplanar zur XZ-Ebene:
Genauso kann mit den Oberflächenorientierungen verfahren werden:
2'21'1 , sRssRs
1,2i ; 0)( , )( '''' isiisi sqqspp
)()'(' , )()'(' nRqnqqnRpnpp
Photometrische Stereoanalyse (Kai Bader) 21
2.2 Albedoabhängige Analyse
Durch die Rotation vereinfacht sich das Gleichungssystem zu:
(äquivalent für E2 / s2)
Die Bildirradianzen ändern sich nicht durch die Rotation
11''
1'22
22
1011
s
s
pqp
ppEE
Photometrische Stereoanalyse (Kai Bader) 22
2.2 Albedoabhängige Analyse
Durch Eliminierung von
kann das Gleichungssystem auf
reduziert werden.
p‘ als einzige Unbekannte kann (da sie in linearer Form auftritt) eindeutig aus (E1,E2) bestimmt werden.
q‘ kann aus p‘ ermittelt werden
1'' 22 qp
1)1'(1)1'( 2'2'2021
2'2'1012 ssss pppEEpppEE
Photometrische Stereoanalyse (Kai Bader) 23
2.2 Albedoabhängige Analyse
Die Gleichung
Ist quadratisch in q‘ es existieren zwei Lösungen für q‘1,2
21
21
222202
21 )1'()1)(1''( ss pppqpEE
Photometrische Stereoanalyse (Kai Bader) 24
2.2 Albedoabhängige Analyse
Existiert ein Paar von Lösungsorientierungen, so sind diese Spiegelsymmetrisch zur Ebene aufgespannt von s1 und s2
Existiert nur eine Lösungsorientierung, so sind n, s1 und s2 komplanar
Es kann eine eindeutige Oberflächenorientierung rekonstruiert werden, falls zur Modellierung Lambertsche Reflektanzkarten eingesetzt werden
(dann sogar Punktlokal verwendbar)
Photometrische Stereoanalyse (Kai Bader) 25
2.3 Eindeutigkeit durch Integrabilität
Direkte SFS-Erweiterung Konvexitätsannahme Integrabilitätsbedingung
3 Beispiele für Verfahren, mit deren Hilfe trotz Mehrdeutigkeiten eine eindeutige Lösung rekonstruiert werden kann
Photometrische Stereoanalyse (Kai Bader) 26
2.3 Eindeutigkeit durch Integrabilität
Direkte SFS-Erweiterung
Rekonstruktion einer eindeutigen Oberfläche mit der Erweiterung schattierungsbasierter Einzelbildverfahren
(besonders geeignet: globale Minimierungsansätze)
Photometrische Stereoanalyse (Kai Bader) 27
2.3 Eindeutigkeit durch Integrabilität
Konvexitätsannahme
Die Objektumgebung wird auf konkave oder konvexe Oberflächen beschränkt
die Lösung ist dann eindeutig bestimmbar
Photometrische Stereoanalyse (Kai Bader) 28
2.4 Albedounabhängige Analyse
Die Verwendung Lambertscher Reflektanzkarten impliziert im allgemeinen, dass die Terme E0 und E1 bekannt und konstant sind.
Wie groß ist aber die Mächtigkeit der Lösungsmenge, wenn die Albedo unbekannt bleibt?
Photometrische Stereoanalyse (Kai Bader) 29
2.4 Albedounabhängige Analyse
Bildirradianzen unter paralleler Beleuchtung:
Nennerfrei gemacht und von einander subtrahiert:
(diese kann als ein Skalarprodukt aufgefasst werden)
2
2022
1
1011 und
sn
snEE
sn
snEE
TT
0)( 2110212201 ssEEssEEnT
Photometrische Stereoanalyse (Kai Bader) 30
2.4 Albedounabhängige Analyse
Ist 0, so kann die Albedo aus der Gleichung eliminiert werden.Mit der Hilfsgröße
kann die Gleichung als vereinfachtes Skalarprodukt dargestellt werden:
oder noch kompakter als:
bbaba sEEE 0,0
0)( 21,0212,01 sEsEnT
abbaababaT ssEEsEsssn 0,0,1,22,1 mit 0)(
Photometrische Stereoanalyse (Kai Bader) 31
2.4 Albedounabhängige Analyse
Die Vektordifferenz s1,2 - s2,1 ist eine konstante Größe und s1, s2 aufgespannt
Die veränderlichen Größen sind die Bildirradianzen E1 und E2
Vektor s1s2 ist orthogonal zur Vektordifferenz s1,2 - s2,1
Lösungen sind alle Vektoren n, für die das Skalarprodukt Null ergibt (n orthogonal zu s1,2 - s2,1)
Photometrische Stereoanalyse (Kai Bader) 32
2.5 Kugelapproximation
Prinzipiell: Albedounabhängige Rekonstruktion mit dem Irradianzpaar, vergleichbar mit dem Problem der albedounabhängigen Rekonstruktion von SFS-Verfahren
(in beiden Fällen beschränkt die Irradianziformation die Orientierungen auf Kreise auf der Gaußschen Kugel)
Bei SFS-Verfahren: Kreisumfang ist immer < 2
(je größer die Irradianz, desto kleiner der Kreisumfang)
Photometrische Stereoanalyse (Kai Bader) 33
2.5 Kugelapproximation
Die Irradianz E und der Kreisumfang U stehen durch die Gleichung
in Relation.
Bei albedounabhängigen 2S-Verfahren:Kreisumfang konstant 2 (damit i.a. größer als bei SFS)
2
0
12
E
EU
Photometrische Stereoanalyse (Kai Bader) 34
3. Analyse von Irradianztripeln
Ähnlich den vorherigen 2S-Verfahren werden nun Verfahren betrachtet, bei denen drei Beleuchtungsquellen eingesetzt werden.
Diese 3S-Verfahren ordnen jedem Bildpunkt 3 Irradianzen, also das Irradianztripel, zu.
Photometrische Stereoanalyse (Kai Bader) 35
3.1 Albedoabhängige Analyse
Mit einem Irradianzpaar einer Lambertschen Oberfläche kann die Lösungsvielfalt der Orientierungen auf maximal zwei beschränkt werden.
Wird eine dritte Beleuchtungsquelle hinzugenommen, so entsteht ein weiterer Kreis auf der Gaußschen Kugel.
Bei drei konsistenten Irradianzen müssen diese drei Kreise mindestens einen gemeinsamen Schnittpunkt besitzen.
Mit der dritten Irradianz kann die korrekte der beiden Lösungsorientierungen ermittelt werden!
Photometrische Stereoanalyse (Kai Bader) 36
3.1 Albedoabhängige Analyse
Im Gradientenraum wurde vorher das Paar der Lösungsgradienten durch Schnitt zweier Kegelschnitte bestimmt.
Kommt eine weitere Beleuchtungsquelle hinzu, so schneiden sich die drei Kegelschnitte in einem Punkt.
Dieser Schnittpunkt (p,q) im Gradientenraum repräsentiert die gesuchte Orientierung.
Photometrische Stereoanalyse (Kai Bader) 37
3.1 Albedoabhängige Analyse
Auch ohne Berechnung der Lösungskandidaten kann eine Lösung bestimmt werden, indem die Schnittkurven nichtanalytisch erzeugt werden.
Dazu werden die Reflektanzkarten als Bildmatrizen repräsentiert. Bei Verwendung eines Kalibrierobjektes müssen weder Beleuchtungsrichtung noch das Produkt E0 bekannt sein.
Die Berechnung der Orientierungen erfolgt durch Schwellenwertsegmentierung der Reflektanzkarten.
Durch die robuste Verfahrensweise können auch Oberflächen ohne Lambertsche Reflektionseigenschaften rekonstruiert werden.
Photometrische Stereoanalyse (Kai Bader) 38
3.1 Albedoabhängige Analyse
Look-Up-Tabellen
Ein im Bild gemessenes Irradianztripel lässt sich als Punkt im kartesischen Koordinatensystem E1E2E3 auffassen, wenn jede der drei aufspannenden Achsen die Bildirradianzen einer Beleuchtungsquelle repräsentieren.
Jedem möglichen Irradianztripel ist eindeutig eine Oberflächenorientierung zugeordnet, so dass die die Generierung einer dreidimensionalen Look-Up-Tabelle möglich ist:
Photometrische Stereoanalyse (Kai Bader) 39
3.1 Albedoabhängige Analyse
Zwei Möglichkeiten der Erstellung:
Sind Richtung und Bestrahlungsstärke der Beleuchtungsquellen bekannt kann die Look-Up-Tabelle aus Reflexionsmodellen bestimmt werden.
Mit einem Kalibrierungsobjekt bekannter Geometrie und Reflexion (das alle Orientierungen in diskreter Form aufweist) kann die Bestimmung der Bestrahlungsstärken und der Reflektionsparameter entfallen.
Soll eine Oberflächenorientierung bestimmt werden, so muss lediglich der Tabelleneintrag nachgeschlagen werden.
Dem Zeitvorteil beim Analysieren steht ein hoher Speicherbedarf entgegen.
Photometrische Stereoanalyse (Kai Bader) 40
3.1 Albedoabhängige Analyse
Photometrische Stereoanalyse (Kai Bader) 41
3.2 Albedounabhängige Analyse
Ein Irradianzpaar beschränkt die Gradienten in einem Lambertschen Oberflächenpunkt unbekannter Albedo auf eine Gerade im Gradientenraum.
Mit einer dritten Beleuchtungsquelle hat man drei Irradianzpaare, also auch drei Gradengleichungen.
Unter der Vorraussetzung konsistenter Irradianzen besitzen diese immer einen gemeinsamen Schnittpunkt.
Photometrische Stereoanalyse (Kai Bader) 42
3.2 Albedounabhängige Analyse
Unter 2.4 wurde eine Gleichung genannt, mit der zur Oberflächenorientierung orthogonaler Vektor berechnet werden kann - hier (E1,E2):
(äquivalent für (E1,E3) und (E2,E3))
Durch Bildung des Vektorproduktes entsteht ein zur gesuchten Orientierung n kollinearer Vektor:
Es gilt also:
0)( 2110212201 ssEEssEEnT
)()( 31103133012110212201 ssEEssEEssEEssEEu
usn
Photometrische Stereoanalyse (Kai Bader) 43
3.2 Albedounabhängige Analyse
Wird die Gleichung durch eine der Bestrahlungsstärken geteilt (hier E3), so ändert sich die Richtung des Vektors nicht bezüglich u.
Dies bedeutet, dass für den Analyseprozess die Bestrahlungsstärken der Leuchtquellen nur relativ zueinander bekannt sein müssen.
Die Albedo kann folglich auch nur relativ bestimmt werden.
)()( 31113303
01211
03
02122
03
01* ssEssEE
EssE
E
EssE
E
Eu
Photometrische Stereoanalyse (Kai Bader) 44
3.2 Albedounabhängige Analyse
Beispiel für ein Bildtripel mit nichtuniformer Albedo:
Photometrische Stereoanalyse (Kai Bader) 45
3.3 Bestimmung der Beleuchtungsrichtung
Durch Abwandlung des Ansatzes zur Photometrischen Stereoanalyse können diese zur Bestimmung einer
Beleuchtungsrichtung eingesetzt werden.
(Dieser Ansatz wird auch inverse Photometrische Stereoanalyse genannt)
Photometrische Stereoanalyse (Kai Bader) 46
3.3 Bestimmung der Beleuchtungsrichtung
Bei der PS setzt voraus, dass für jeden Bildpunkt drei Beleuchtungsrichtungen s0, s1, s2 gemessen werden können.
Aus den drei Irradianzen wird Punktneutral eine Oberflächenneutrale n bestimmt.
Das Kalibrierungsobjekt wird mit einer Beleuchtungsquelle unbekannter Richtung s bestrahlt.
Zur Berechnung der Beleuchtungsrichtung können die drei gemessenen Irradianzen mit der Oberflächenneutralen vertauscht und zu einer Matrix zusammengefasst werden:
Die Bildirradianzgleichung kann nun aufgelöst werden:
zyx
zyx
zyx
nnn
nnn
nnn
N
333
222
111
EDNssNDE 11
Photometrische Stereoanalyse (Kai Bader) 47
Nochmals Als Erinnerung...
1. Grenzen der SFS-Verfahren
2. Analyse von Irradianzpaaren
3. Analyse von Irradianztripeln
Fragen??
?
?
?
?