12.12.2002multimediale visualisierung ortsspezifischer informationen vertiefer gis frank ottmann...
TRANSCRIPT
![Page 1: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/1.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Georeferenzierung von Videos und Bildern
![Page 2: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/2.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Inhalt
1. Motivation2. Grundlagen3. Beispiel: Pariser Brücke4. Video Compass5. Panorama-Aufnahme6. Patent
![Page 3: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/3.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Grundlagen
Bei der Modellierung der Aufnahme benötigt man 3 Koordinatensysteme:
1. Objektkoordinaten-system So
2. Kamerakoordinaten-system Sk
3. Koordinatensystem in der Bildebene Sc
![Page 4: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/4.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
GrundlagenBei der Orientierung der Kamera unterscheidet man :• Äußere Orientierung (ÄO):
– sie bestimmt die räumliche Lage der Kamera bezogen auf das Objektkoordinatensystem
– Räumliche Bewegung wird durch 3 Translations- und 3 Rotationsparameter bestimmt
• Innere Orientierung (IO):– sie enthält die Koordinatentransformation zwischen Sk
und Sc (Hauptpunkt, Kamerakonstante) sowie die Korrektur der Abbildungsfehler (Scherung, Maßstab)
![Page 5: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/5.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Grundlagen• Falls IO der Kamera bekannt:
kalibrierte Kamera
• Falls IO nicht oder nur teilweise bekannt: nicht kalbrierte Kamera
![Page 6: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/6.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser BrückeProjekt: Simulation verschiedener Beleuchtungssysteme für Brücken in Paris und deren Einfluß auf die Umgebung
Beispiel: Aufnahme einer 300 Bilder großen Sequenz einer speziellen Brücke, der Pont-Neuf
Notwendig:robuste Methode zur Berechnung der Position der Kamera, um damit die virtuellen Objekte in die richtige Stelle im Bild einzuordnen
![Page 7: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/7.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
160.Bild der Sequenz von anderer Brücke in der Dämmerung aufgenommen
![Page 8: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/8.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke• Keine Informationen über ÄO der Kamera• Features (Punkte, Bögen) werden automatisch
detektiertAusnahme: 1.Bild
Ablauf: • Im ersten Bild werden nicht-koplanare features
gesucht und halbautomatisch mit den entsprechenden features im 3D-Modell gematched
• Diese features dienen zur Berechnung einer Schätzung der Kameraposition nach DeMenthon und Davis
![Page 9: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/9.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke• die anfängliche Schätzung wird durch eine robuste
Minimierung der Projektionsfehler verfeinert Berechnung des Kamerastandpunktes
• Einarbeitung des virtuellen Objektes ins Bild• Die features, die im 1.Bild detektiert worden sind
werden über die Sequenz getracked und mit den 3D-features gematched Berechnung des Kamerastandpunktes für jedes
Bild der Sequenz nach dieser Methode
![Page 10: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/10.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser BrückeAugmented-reality Schleife:
![Page 11: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/11.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Image Synthesis:• Modellierung der 3D-Brücke mittels alter
Konstruktionspläne • unterteilt man in 3 Prozesse:
1. Modellierung der Geometrie 2. Modellierung der Bestandteile der
Oberflächenmaterialien3. Modellierung der Position und
Beleuchtungsintensität der virtuellen Lichtquelle
![Page 12: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/12.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Image compositions:• Nach Berechnung des Kamerastandpunktes für
jedes Bild, werden die computergenerierten Bilder durch sogenannte ray-casting Algorithmen erstellt
![Page 13: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/13.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser BrückeKamerakalibrierung:• IO wird durch ein Referenzobjekt in ca. 3m
Entfernung zur Kamera bestimmt• Grund für die Trennung der Bestimmung der IO und
des Kamerastandpunktes liegt in der Anzahl der features
• Bei der Bestimmung des Kamerastandpunktes liegt die Anzahl der features zwischen 10 und 20 mangelhaft zur Ausführung einer kompletten
Kalibrierung
![Page 14: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/14.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Kamerakalibrierung (Methode nach DeMenthon und Davis):
O = Kamerazentrum
f
feature points
![Page 15: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/15.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Kamerakalibrierung:W = R*T Perspektive Projektionsmatrix M = * W
f 0 00 f 00 0 1
( )Unbekannte Parameter: • Translation: X0; Y0; Z0
• Orientierung des Kamerasystems (Rotation): i, j, k
![Page 16: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/16.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Methode nach DeMenthon und Davis:• k = i x j ,da k orthogonal zur ij-Ebene• Hier gilt:
Gesucht: X0; Y0; Z0, i, j,
k
es müssen nur die Unbekannten Z0, i, j bestimmt werden
bzw.
![Page 17: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/17.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Perspektive Projektion: Gesucht: X0; Y0; Z0, i, j,
k
![Page 18: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/18.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Perspektive Projektion:
skalar multiplizieren mit i
* i = ... ~
* i = ... ~
* i = 0, da orthogonal
Faktoren hier vernachlässigt
mit = kleiner Wert
![Page 19: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/19.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Perspektive Projektion: Gesucht: X0; Y0; Z0, i, j,
k
Gleichungssystem:
mit mit
![Page 20: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/20.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Orientierungsschätzung mittels POSIT-Algorithmus:
1.Näherung: Z0, i, j
2.Iteration:
3.Iteration: ...
usw. Ergebnis für Z0, i, j Ergebnis für X0, Y0, k
![Page 21: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/21.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Paris
Ergebnis der Simulation
![Page 22: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/22.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Video Compass
Prinzip:Gewinnung der Relativen Orientierung (RO) mit Hilfe von Fluchtpunkten und Fluchtlinien
• Fluchtpunkte schneiden sich bei parallelen Geraden in der Realwelt im Unendlichen
• Wegen des Effekts der perspektiven Projektion schneiden sich parallele Linien der Realwelt im Bild
![Page 23: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/23.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Video Compass
Ansatz: x´= P X
mit x´= [ x´, y´, 1]und X = [ X, Y, Z, 1]
T
T
3 Fluchtpunkte im Unendlichen = unendlich ferne Punkte
• unendlich ferner Punkt in x-Richtung: v1 = [1,0,0,0]• unendlich ferner Punkt in y-Richtung: v2 = [0,1,0,0]• unendlich ferner Punkt in z-Richtung: v3 = [0,0,1,0]
T
T
T
![Page 24: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/24.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Video Compass
x´= P v1 x´= [p11, p21, p31]T
1. Spalte der Projektionsmatrix P Tx´= P v2 x´= [p12, p22, p32]
2. Spalte der Projektionsmatrix P
Tx´= P v3 x´= [p13, p23, p33]
3. Spalte der Projektionsmatrix P
Fluchtpunkte im Bild suchen
![Page 25: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/25.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Video Compass
• Dazu werden die Linien im Bild detektiert• Zur Berechnung der Fluchtpunkte werden nur
Linien mit einer Länge von mind. 5% der Bildbreite benutzt
• Automatische Suche nach Fluchtpunkten und deren geschätzten Koordinaten wird mittels EM-Algorithmen (Wahrscheinlichkeitskeitsmaximierung) vollzogen
![Page 26: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/26.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Video Compass
Problem: Fluchtpunkte sind nicht immer eindeutig Lösung über Kleinste-Quadrate
![Page 27: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/27.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Video Compass
Kalibrierung:Für nicht kalibrierte Kameras gilt:
Einheitsvektoren:
Fluchtpunkte:
Wegen Orthogonalität:
![Page 28: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/28.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Video Compass
Mit
Für 3 im Bild detektierte Fluchtpunkte gibt es 3 Beschränkungen der Matrix S:
Durch Cholewsky-Zerlegung von S erhält man Kalibriermatrix
![Page 29: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/29.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Panorama-AufnahmeMIT City Projekt:• Ziel: vollautomatische Rekonstruktion einer 3D-
Stadtlandschaft aus Bildern• Bewegliche Plattform mit Kamera macht
Panoramaaufnahmen mit genäherten Orientierungs- und Positionsdaten durch on-board Sensoren wie GPS,
Beschleunigugsmesser, Meterzähler• Aufnahmestandpunkte heißen nodes • Abstände zwischen den Aufnahmenstandorten ca. 5-
10m
![Page 30: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/30.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Panorama-Aufnahme• Annahmen:
– IO ist bekannt – Rotation wird aufgezeichnet– Ungefähre Bewegung der Kamera ist bekannt
Prinzip: • Suche benachbarter nodes-Paare• Schätzung der Basislinie zwischen den nodes• Schätzung der Bewegungsrichtung für jedes Paar mittels
Hough-Transformation und Monte-Carlo-Wahrscheinlichkeitsmaximierung alle geschätzten Bewegungen gehen in eine Optimierung ein, die die Kameraposition berechnet
![Page 31: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/31.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Patent
Patent vom 28.12.2000:Elektronische Schaltung zur Aufzeichnung von geographischen Positionsdaten auf dem Tonkanal eines Camcorders.
Ziel: Aufgenommene Bildsequenzen auf einfache Weise zu den entsprechenden Aufnahmeorten zu referenzieren
![Page 32: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/32.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
PatentAufbau:• Anschluß des GPS-Empfängers über den 1. Schaltungsteil
mit Mikrofon- oder Audioeingang des Camcorder• Nahezu Synchrone Aufnahme der Bilder und der aktuellen
geographischen Position auf Aufzeichnungsmedium (z.B. Magnetband)
• Zur Nachbearbeitung: Anschluß des Videoausgangs des Camcorders über 2. Schaltungsteil mit einem PC
• Datenverarbeitungsprogramm zeigt Landkarte mit markierten Orte der Filmaufnahme
• Durch Mausklick auf einen bestimmten Ort werden automatisch die entsprechenden Filmsequenzen angezeigt
![Page 33: 12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern](https://reader036.vdocuments.net/reader036/viewer/2022070507/570491c41a28ab14218da03c/html5/thumbnails/33.jpg)
12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS
Frank Ottmann
Patent• Camcorder zeichnet i.d.R. Aufnahmezeiten mit auf, bzw.
Aufnahmezeiten sind in den GPS-Informationen enthalten Datenverarbeitungsprogramm errechnet bereiste Route
• Mittels Schnittprogramm kann Film und Karte zu einem kompletten Film zusammgesetzt werden
• Bei Kameras mit Stereo-Tonaufzeichnung genügt ein Tonkanal für kontinuierliche Aufnahme der GPS-Signale
• Es besteht Möglichkeit der Differenzkorrektur mittels Differential-GPS (Verbindung PC mit Internet): Ortsgenauigkeit von ca. 1m