Research Collection

Doctoral Thesis

Multiphoto geometrically constrained matching

Author(s): Baltsavias, Emmanuel P.

Publication Date: 1991

Permanent Link: https://doi.org/10.3929/ethz-a-000617558

Rights / License: In Copyright - Non-Commercial Use Permitted

This page was generated automatically upon download from the ETH Zurich Research Collection. For moreinformation please consult the Terms of use.

ETH Library

17. Dez, 1991

DISS. ETH Nr. 9561

Multiphoto Geometrically Constrained

Matching

ABHANDLUNG

Zur Erlangung des Titels

DOKTOR DER TECHNISCHEN WISSENSCHAFTEN

der

EIDGENÖSSISCHEN TECHNISCHEN HOCHSCHULE

ZÜRICH

vorgelegt von

EMMANUEL P. BALTSAVIAS

Dipl. Ing., Nationale Technische Universität (Ethnikon

Metsovion Polytechnion), Athen, Griechenland

Master of Science, Ohio State University, Columbus, USA

geboren am 4. September 1957

von Griechenland

Angenommen auf Antrag von:

Prof. Dr. A. Gruen, Referent

Prof. Dr. B. P. Wrobel, Korreferent

Zürich, 1991

IV

ABSTRACT

One of the central problems in digital photogrammetry, Computer and machine vision is

the problem of automatically finding corresponding features in different images.

Correspondence is necessary for 2-D and 3-D measurements and very often a prerequisite for

object detection, Classification and identification. Although research for more than three

decades has been devoted to this problem, a fully automated, precise and reliable image

matching method, able to adapt to different image and scene Contents, does not exist yet. The

aim of this research was to improve matching in the above aspects by developing and

examining the Performance and applicability of a new algorithm called Multiphoto

Geometrically Constrained Matching (MPGC).

MPGC is an extension of Least Squares Matching (LSM), which is an area-based

matching method establishing a fit between small image patches by an affine geometric and a

two parameter linear radiometric transformation. MPGC considerably improves LSM by

using two new elements: (i) the exploitation of any a priori known geometric information to

constrain the Solution and (ii) the simultaneous use of any number (more than two) of

images. These elements reduce the search space (conditional 1-D search), improve the

accuracy and especially the success rate and reliability of matching. The mathematical model

of the algorithm is formulated in terms of a combined least Squares adjustment. The

Observation equations consist of the equations formulating the grey level matching and those

that express the geometric constraints, the two parts being related to each other through

common unknown parameters. The geometric constraints that have been used in this

research are the collinearity conditions extended by additional parameters modelling

systematic errors, assuming that the interior and exterior orientation of the sensors are

known. Thus, MPGC permits a simultaneous determination of pixel and object coordinates.

Additionally, through the connection of image and object space, any number of images can

be simultaneously accommodated. Two measurement modes were analysed: determination

of X, Y, Z object coordinates (match points are fixed in one reference (template) image), and

determination of Z over fixed X, Y object coordinates (match point position must be

estimated in all images). For greater flexibility the geometric constraints are treated as

weighted Observation equations and not as strict conditions. The radiometric parameters are

not included in the mathematical model; instead to increase flexibility and speed, radiometric

corrections are applied during the iterations. As an alternative, it is proposed to use a Wallis

filter for a radiometric equalisation of the images before matching. The Wallis filter has also

been used to enhance contrast, high contrast being necessary for accurate matching.

Emphasis has been placed on three aspects of the algorithm. Since MPGC is based on a

nonlinear least Squares estimation, it requires the knowledge of reasonably precise

approximations. After a theoretical analysis of the required quality of the approximations, a

method to derive the approximations by a image pyramid based (coarse-to-fine) approach is

presented. Different kerneis for the pyramid generation are compared, problems occuring at

image borders are treated, geometric relations between pyramid levels are derived and criteria

for the choice of appropriate matching parameters at each level are proposed. The image

pyramid approach, in addition to being an efficient way to derive approximate values,

increases the convergence radius (in practical tests parallaxes up to 70 pixels have been

handled), convergence rate and computational speed, and can be exploited for a better quality

control and self-adaptivity of the algorithm. Without the image pyramid, convergence has

been achieved, in some cases, for errors in the approximate values of up to 10-20 pixels, but

optimally these approximate values should be 1 pixel accurate.

A critical question for surface measurement is the choice of points which should be

measured. These points must be characteristic points of the surface but also well

determinable. The proposed strategy consists of choosing good match points in the reference

image and matching them in all pyramid levels. Points which are considered good lie on

edges vertical to the geometric constraint line. They are derived by a direction selective

interest Operator using the first and/or the second intensity derivatives. The operator's

parameters can be adapted so that the selection of "noisy" pixels is reduced and the required

density of selected points is fulfüled. Methods to ensure the existence of the selected points

in all pyramid levels are proposed. Thus, MPGC is a combination of area-based and

feature-based, especially edge-based, matching.

The third major aspect of the investigations is the quality evaluation of the results, the

detection of gross errors and the automatic adaptation of the algorithm to different image

contents and object surfaces. This aspect includes measures to express the achieved

precision, methods for the automatic detection of Wunders and Observation errors, different

tests to check the determinability and the significance of the shaping parameters, and ways of

automatically adapting the image patch size to the signal content and object surface. The

blunder detection test involves checking each individual object point ray based on a

combination of criteria, whose thresholds are adapted to the processed image. Many practical

accuracy studies, referring to a comparison of accuracy and precision and the amount of

detected and undetected Wunders, are presented. The theoretical precision of the shifts, in the

case of good targets, typically is 0.01 - 0.05 pixels. The achieved accuracy was for good

planar targets 0.2 - 1 um, for signalised or good natural points 2-3 (im, and for natural

points on general surfaces 10 - 15 p.m. whereby the pixel spacing was typically 10 um. In

the performed tests, the matching accuracy was generally similar to the accuracy of manual

measurements; in certain cases the matching accuracy was even higher than the manual one.

The percentage of blunders automatically detected by MPGC varied from 5% - 25% of the

total number of points, depending on the image content and object surface. The percentage

of undetected Wunders was 1% - 3% of the points accepted by MPGC as being correct, thus

comparable to the error rate of a human Operator. Further, it is shown how MPGC can

reduce problems like multiple Solutions, occlusions, discontinuities and radiometric

distortions in comparison to other algorithms.

VI

Finally, methods for the reduction of oscillations and divergence problems and

computational aspects are treated. Different applications and tests are presented.

vn

ZUSAMMENFASSUNG

Eines der zentralen Probleme in der digitalen Photogrammetrie, der Computer und

Machine Vision ist die automatische Bestimmung korrespondierender Merkmale in

unterschiedlichen Bildern. Die Korrespondenz ist für zwei- und dreidimensionalen Messung

notwendig und ist sehr oft Voraussetzung zur Detektion, Klassifizierung und Identifikation

von Objekten. Obwohl sich die Forschung seit bereits mehr als dreißig Jahren mit diesem

Problem befaßt, gibt es heute keine vollautomatische, genaue und zuverlässige

Bildzuordnungs-Methode, die sich unterschiedlichen Bild- und Szeneninhalten anpassen

kann. Das Ziel dieser Forschungsarbeit ist es in bezug auf die oben genannten Aspekten die

Bildzuordnung zu verbessern durch Entwicklung und Untersuchung von Leistung und

Anwendbarkeit eines neuen Algorithmus, dem Multiphoto Geometrically Constrained

Matching (MPGC).

MPGC ist eine Erweiterung der Korrelation nach der Methode der kleinsten Quadrate

(Least Squares Matching, LSM). Das LSM ist eine flächengestützte Matching-Methode, die

eine Anpassung zwischen kleinen Bildausschnitten mittels einer affinen geometrischen

Transformation und einer linearen, radiometrischen Transformation mit 2 Parametern erzielt.

Das MPGC verbessert das LSM durch Nutzung von zwei neuen Elementen: (i) der

Ausnutzung von a priori bekannter geometrischer Information um den Lösungsraum

einzuschränken und (ii) der simultanen Nutzung beliebig vieler (mehr als zwei) Bilder. Diese

Elemente reduzieren den Suchraum (bedingte 1-D Suche), verbessern die Genauigkeit und im

besonderen die Erfolgsrate und die Zuverlässigkeit des Matching. Das mathematische Model

des Algorithmus ist als kombinierte kleinste Quadrate Ausgleichung formuliert. Die

Beobachtungsgleichungen bestehen aus Gleichungen für Grauwert-Matching und jenen für

die geometrischen Bedingungen, welche über gemeinsame unbekannte Parameter verknüpft

sind. Die in dieser Forschungsarbeit benutzten geometrischen Bedingungen sind die um

zusätzliche Parameter zur Modellierung systematischer Fehler erweiterten

Kollinearitätsbedingungen, wobei die innere und äußere Orientierung des Sensors als

bekannt vorausgesetzt werden. Das MPGC erlaubt die gleichzeitige Bestimmung von Pixel-

und Objektkoordinaten. Zusätzlich ist durch die Verbindung des Bildraumes mit dem

Objektraum die gleichzeitige Verwendung einer beliebigen Anzahl von Bildern möglich.

Zwei Messmodi wurden analysiert: die Bestimmung von XYZ-Objektkoordinaten (fester

Match-Punkt im Referenzbild) und Bestimmung von Z bei festen XY-Objektkoordinaten (die

Position des Match-Punktes wird in allen Bildern ermittelt). Zur größeren Flexibilität werden

die geometrischen Bedingungen nicht als strenge Bedingungen sondern als gewichtete

Beobachtungsgleichungen behandelt. Die radiometrischen Parameter werden nicht in das

mathematische Model einbezogen. Stattdessen werden zur Erhöhung der Flexibiltät und der

Verarbeitungsgeschwindigkeit während der Iterationen radiometrische Korrekturen

angebracht Als Alternative dazu wird vor dem Matching die Verwendung des Wallis-Filters

zur radiometrischen Angleichung der Bilder vorgeschlagen. Der Wallis-Filter kann auch zur

vni

Erhöhung des Kontrastes benutzt werden; hoher Kontrast ist für genaues Matching

notwendig.

Auf drei Aspekte des Algorithmus wurde besonderes Gewicht gelegt. Das MPGC basiert

auf einer nicht linearen kleinste Quadrate Ausgleichung, die relativ genaue Näherungswerte

verlangt. Nach einer theoretischen Analyse der benötigten Qualität der Näherungswerte,

wird eine Methode zur Ableitung von Näherungswerten vorgestellt, die auf Bildpyramiden

("coarse-to-fine" Verfahren) basiert. Verschiedene Filter zur Generierung von

Bildpyramiden werden verglichen, Probleme an Bildrändem werden behandelt, geometrische

Relationen zwischen Pyramidenstufen werden abgeleitet, Kriterien zur Wahl geeigneter

Matching Parameter auf jeder Stufe werden vorgeschlagen. Die Verwendung von

Bildpyramiden vergrößert den Konvergenzradius (in praktischen Tests betrug der

Konvergenzradius bis zu 70 Pixel), die Konvergenzrate und die Rechengeschwindigkeit, und

kann zur besseren QualititätskontroUe und Selbstadaption des Algorithmus ausgenutzt

werden. Ohne Bildpyramide wurde Konvergenz in einigen Fällen sogar für 10 bis 20 Pixel

Näherungswertfehler erreicht, jedoch sollten optimale Näherungswerte 1 Pixel genau sein.

Eine kritische Frage zur Oberflächenvermessung ist die Wahl der Messpunkte, die die

Oberfläche repräsentieren. Diese Punkte müssen sowohl charakteristische Punkte der

Oberfläche als auch gut bestimmbar sein. Die vorgeschlagene Strategie besteht aus der

Auswahl guter Matching-Punkte im Referenzbild und dem Matching in allen

Pyramidenstufen. Als gut werden solche Punkte betrachtet welche auf Kanten senkrecht zur

Linie(n) der geometrischen Bedingungen (z.B. Kernstrahlen) liegen. Die Punkte werden mit

einem richtungsselektiven Interest Operator abgeleitet, der die erste und/oder zweite

Ableitungen der Grauwerte nutzt. Der Operator kann um die Wahl von verrauschten Pixeln

zu reduzieren und Punkte mit einer erforderlichen Verteilungsdichte auszuwählen angepasst

werden. Methoden zur Auswahl von Punkten, die in allen Pyramidenstufen vorkommen,

werden vorgeschlagen. Somit ist MPGC eine Kombination von flächengestütztem und

merkmalgestütztem, vor allem auf Kanten basierendem, Matching.

Der dritte Aspekt der Untersuchung ist die qualitative Auswertung der Ergebnisse, die

Suche nach groben Fehlern und die automatische Adaption des Algorithmus auf

unterschiedliche Bildinhalte und Objektoberflächen. Dieser Aspekt beinhaltet Masse zur

Beurteilung der erreichten Genauigkeit, Methoden zur automatischen Detektion grober Fehler

und Beobachtungsfehler, verschiedene Tests zur Prüfung der Bestimmbarkeit und

Signifikanz der Maßstäbe und der Scherungen, und Wege zur automatischen Anpassung der

Bildfenstergröße in bezug auf Signalinhalt und Objektoberfläche. Der Test zur Aufdeckung

grober Fehler prüft jeden Bildstrahl aufgrund einer Kombination von Kriterien, deren

Schwellwerte dem zu verarbeitenden Bild angepasst sind. Viele praktische Untersuchungen,

bezogen auf Vergleiche von theoretischer und empirischer Genauigkeit und aufgedeckten zu

nicht aufgedeckten groben Fehlern, werden dargestellt. Die theoretische Genauigkeit der

Verschiebungen liegt im Falle guter Ziele typischerweise bei 0.01 bis 0.05 Pixel. Die

IX

Genauigkeit beträgt für gute ebene Ziele 0.2 bis 1 um, für signalisierte oder gute natürliche

Punkte 2 bis 3 um und für natürliche Punkte auf Oberflächen allgemeiner Form 10 bis 15

um, wobei die Sensorelementgrösse typischerweise 10 um betrug. In den durchgeführten

Tests war die Matching-Genauigkeit ähnlich oder besser als bei manuell ausgeführten

Messungen. Die vom MPGC automatisch gefundenen groben Fehler variieren von 5% bis

25% der totalen Anzahl Messpunkte, in Abhängigkeit vom Bildinhalt und Objektoberfläche.

Die Rate nicht aufgedeckter grober Fehler betrug 1% bis 3% der vom MPGC als korrekt

akzeptierten Punkte, vergleichbar der eines Operateurs. Weiterhin wird gezeigt wie das

MPGC Probleme, wie mehrfache Lösungen, Verdeckungen, Diskontinuitäten und

radiometrische Störungen, im Vergleich zu anderen Algorithmen, reduzieren kann.

Schließlich wird eine Methode zur Verminderung von Oszillationen und

Divergenzproblemen und rechentechnische Aspekte behandelt und unterschiedliche

Anwendungen und Tests vorgestellt.