1/90 segmentierung the whole is greater than the sum of its parts. max wertheimer 10
TRANSCRIPT
1/90
Segmentierung
“The whole is greater than the sum of its parts.”
Max Wertheimer
10
2/90
Inhalt Einführung
Bildverarbeitungssystem
Segmentierung Kantenbasiert
Kantendetektion Konturverfolgung Modellbasiert Hough – Transformation
Pixelorientiert Regionenbasiert
Region Growing Split & Merge Wasserscheide
3/90
Einführung
Ziel1. Unterscheidung von „Teilbildern/Inhalte“ 2. Automatische Klassifikation jedes Inhalts
BeispieleMedien – SchrifterkennungBiometrie – Erkennung von PersonenProduktionsanlagen – Identifizierung von TeilenMedizin – Identifizierung von Zellen/GewebeUmwelt – Auswertung von Luftaufnahmen
4/90
Beispiele
5/90
EinführungSegmentierung Zusammenfassen von Punkten zu größeren Einheiten Unterteilung des Bildes in „zusammenhängende“ Bereiche, Bildsegmente
Klassifizierung Zuweisung von Bereichen in „Objektklassen“
Segmentierung ist der erste Schritt der erkennenden Bildverarbeitung
Segmentierung ist eines der komplexesten Kapitel der Bildverarbeitung !
6/90
Schritte der Bildverarbeitung
7/90
Bildverarbeitungssystem
Stufen eines Bildverarbeitungssystems
Bilderfassung
Bildvorverarbeitung
Segmentierung
Merkmalsextraktion
Klassifikation
8/90
Objekte werden mit Sensorik erfasst
Nur erfasste Eigenschaften können ausgewertet werden
1: Bilderfassung
9/90
2: Bildvorverarbeitung
Bildmodifikation, welche den Informationsgehalt nicht bedeutend ändert
Beispiele:• Beleuchtungskorrekturen• Rauschreduzierung• Kontrasterhöhung• Größenanpassung
10/90
Gegeben Bild B mit Bildpunkten f1,...,fn
Gesucht Regionen Ri für die gilt:
•
•
• jiffRfRf tsjtis ~:,
ji RR
BRsii
,..,1
3: Segmentierung
11/90
Merkmale beschreiben Eigenschaften von Objekten
Einfache Merkmale• Umschreibendes Rechteck• Mittlerer Intensität• Flächeninhalt• Schwerpunkt• Umfang
Abgeleitete Merkmale• Kompaktheit• Lage, Orientierung
4: Merkmalsextraktion
12/90
5: KlassifizierungKlassifizierung von Objekten anhand ihrer Merkmale
Notwendige VoraussetzungMerkmalsanalyse / Clustering des Merkmalraums
Beispiel
13/90
Einfache/Heuristische Vorgehensweise
Durch a-priori-Wissen Segmente identifizieren / ausschließen
• Segmente kleiner N Pixel werden ignoriert• Segmente außerhalb des Area-Of-Interest / Region-Of-Interest werden ignoriert• Größenverhältnis• Farbe
6: Erfassung von Objekten
14/90
Segmentierung
15/90
Gegeben Bild B mit Bildpunkten f1,...,fn
Gesucht Regionen Ri für die gilt:
•
•
• jiffRfRf tsjtis ~:,
ji RR
BRsii
,..,1
Segmentierung
16/90
Strategien
Diskontinuität Kanten
Ähnlichkeit Schwellwert („lose“ Punkte) Wachstumsverfahren (Regionen)
17/90
Segmentierung durch Detektion von Diskontinuitäten
18/90
Detektion von Diskontinuitäten
Detektion von scharfen, lokalen Änderungen der Bildintensität
Kantenpunkte
Kanten entstehen durch die Verbindung von Kantenpunkten
19/90
Detektion von Diskontinuitäten
Punkte-Detektoren
20/90
Detektion von Linien
Linien-Detektoren
21/90
Detektion von Linien
Laplace
Absolute Positive
22/90
Kantenbasierte VerfahrenKanten entsprechen häufig den Konturen der gesuchten Objekte
Im Gegensatz zu punktbasierten Verfahren werden die gesuchten Objekte nicht als Fläche, sondern als Umrandung extrahiert
Verarbeitungsschritte
Hochpaß Konturverfolgung Konturverdünnung / Skelettierung / Thinning Bestimmung der umrandeten Gebiete
23/90
Kantentypen
24/90
Kantentypen
25/90
Reele Kanten
26/90
Kantenextraktion
Bild
Profil einerhorizontalen Linie
Erste Ableitung
Zweite Ableitung
Extremum
Nulldurchgang
27/90
Kantenextraktion
Berechnung der Ableitung in jedem Pixel: Ableitungsfilter 1. Ordnung
(Roberts) Ableitungsfilter mit einfacher Mittelwertbildung (Prewitt,
Sobel) Ableitungsfilter 2. Ordnung
(Laplace)
Ableitungsbilder werden (mittels Schwellwert) binarisiert
28/90
A B C
D
Beispiele
A: OriginalB: PrewittC: SobelD: Laplace
29/90
Einfluß von Rauschen
Var = 0.1
Var = 1
Var = 10
30/90
LoG Operator
31/90
Kantendetektion
Sobel
LoG Schwellwert Zero Cross
32/90
Konturverfolgung: Canny
ZielBinärbild mit möglichst geschlossenen Konturen
Einfaches VorgehenVon Startpunkt aus wird der nächste Konturpunkt entlang eines Suchstrahls identifiziertRichtung ergibt sich aus bereits erhaltenen Punkten oder dem Gradienten
NachteilEinmalige Fehlberechnung führt zu falscher Kontur
33/90
Orientierung der Normale
34/90
Konturverfolgung
Kante
Gradient
Hintergrundx
y
f(x,y)
(Grauwert)
Suchrichtung senkrecht zum Gradienten
Objekt
35/90
Gradient vs Log vs Canny
36/90
Hough Transformation
Ziel: „Globale“ Linienerkennung
Transformiert das Segmentierungsproblem im Bildraum in ein Finden von lokalen Maxima („Punkte“) im Parameterraum
Man habe n Punkte vorsegmentiert Suche Submengen dieser Punkte, welche auf
Geraden liegen
37/90
Hough Transformation
BildraumParameterraumHough-Raum
'' dxky
)( 2,2 yxB )( 1,1 yxA
22 ykxd
11 ykxd
k
y
x 'k
'd
d
Im Parameterraum wird jeder Punkt des Bildraums durch eine Gerade abgebildet
Punkte, die auf einer Gerade liegen, schneiden sich an einer Stelle (Fächern)
38/90
Hough Transformation
Für einen beliebigen Punkt (xi, yi) im Bild gilt:
yi = axi + b Es gibt unendlich viele a & b, welche die Gleichung erfüllen
b = -xia + yi in der ab Ebene alle a & b liegen auf einer Gerade Die ab-Geraden von ko-linearen Punkten schneiden sich!
39/90
Geraden Detektion Finde alle Kanten im Bild (= Hochpaß, Menge von Punkten) Unterteile den Parameterraum in Zellen Für jeden detektierten Punkt (xk, yk) im Bild:
Setze ai zu einem Zellenwert aus i = (imin, imax )
Löse bi = -xkai + yk und finde bi
Inkrementiere entsprechende (ai, bi) Zelle
40/90
Hough Transformation
1
2
3
6
7
8
5
4
1 2 3 4 5 6 7 8 9 10
1
2
3
6
7
8
5
4
0.2 0.4 0.6 0.8 1
1
1
1 1 1
2 3 2 1
1 2 3 3 4
1 1 1 2 5 6 5 2 1 1 1
4 3 3 2 1
1 2 3 2
1 1 1
Bildraum
Parameter-raum
Akkumulator
1
2
3
6
7
8
5
4
0
0 0.2 0.4 0.6 0.8 1
y
x
k
d
41/90
Hessesche Normalenform:
Parameter (Radon Transformation)
sincos yxp
cos
sin , npxn
Hough Transformation
x
y
´
p´n
,p
42/90
Hough Transformation
Punkte im Bildraum bilden sich auf Sinus-Kurven im Parameterraum ab
Alle Sinus-Kurven ko-linearer Punkte schneiden sich an einer Stelle
43/90
Hough Transformation
44/90
Hough Transformation
45/90
Hough Transformation
x
max ( ) ,R x xo 94 101
x
46/90
Hough Transformation
47/90
Hough Transformation
Original Kantenbild
Hough-Raum Ergebnis
48/90
Hough Transformation
49/90
Hough TransformationVerhalten
• Robust gegenüber unterbrochenen Linien: Wert wird zwar verringert, lokales Maximum bleibt
• Bei verrauschten Linien: Cluster mit hohen Werten anstatt diskretes Maximum
50/90
Hough Transformation
51/90
Segmentierung durch Detektion von Ähnlichkeiten
52/90
Schwellwertverfahren
Global: T fester Grauwert Dynamisch/adaptiv: T hängt von der Position
innerhalb des Bildes ab Lokal: T hängt von den lokalen Grautönen ab (z.B.
lokalen Mittelwert)
53/90
Verfahren
Schwellwertverfahren Bereichswachstum Split-and-merge Wasserscheide
54/90
Punktorientierte Segmentierung
Einfacher Schwellwert T (Threshold)= Segmentierung aufgrund der Grauwertinformation
2550für
, wenn ,0
, wenn ,1,
TTyxf
Tyxfyxg
T
55/90
Multi-modale Histogramme
56/90
Punktorientierte Segmentierung
57/90
Punktorientierte Segmentierung
1 23
58/90
RauscheneinflußVar = 10 Var = 50
59/90
Rauschentfernung & Schwellwert
60/90
Rauschentfernung in kleinen Regionen
61/90
Gradient & lokale Histogramme
62/90
Beleuchtungseinfluß
63/90
Beleuchtungseinfluß
Erweiterung auf multimodale Histogramme
1T 2T
64/90
Beleuchtungseinfluß
65/90
Adaptives Schwellwertverfahren
66/90
Adaptives Schwellwertverfahren
67/90
Adaptives Schwellwertverfahren
68/90
Adaptives Schwellwertverfahren
70/90
Lokaler Schwellwert
71/90
Regionenbasierte Verfahren
ZielAufteilung des Bildes in Zonen maximaler Homogenität (Grauwert, Farbe, etc.)
VerfahrenBottom up: Region Growing Top Down: Split & Merge
Vorteil• Information über Nachbarschaft• Robuster bei verrauschten Bildern
72/90
Ausgehend von n-Ursprungspixel (Saatzellen, seed points) werden andere Pixel, die ein Homogenitätskriterium erfüllen, aggregiert
Region Growing
R1
R2
R3
73/90
Parameter
Anzahl & Position der Startpunkte Homogenitätskriterium
Intensität Farbe Statistiken, Textur
Stopp Regelung Lokale Kriterien: Grauton/Farbe, Textur Regionsgröße und –Form (Addaptive) Ähnlichkeit zu der Region
74/90
Region Growing1. Setzen von n Seed Points (Initiale Regionen)
- Zufällig- Aufgrund von Beurteilung des Bildinhalts
2. Untersuchung der 4 (oder 8)-NachbarschaftFall1: Punkt gehört zu keiner Region & H.-Krit. erfüllt Zuordnung zur RegionFall2: Punkt gehört zu keiner Region & H.-Krit. nicht erfüllt Keine ZuordnungFall3: Punkt gehört bereits zu einer anderen Region & Homogenitätskriterium erfüllt Regionen werden vereinigtFall4: Punkt gehört bereits zu einer anderen Region & Homogenitätskriterium nicht erfüllt Keine Vereinigung
3. Wiederhole 1 und 2 bis keine Änderungen mehr eintreten
75/90
Region Growing
Originalbild Segmentiertes Bild
77/90
Region GrowingProblem• Wahl der Seed Points• Wahl des Homogenitätskriteriums• Formulierung des Stop-Kriteriums
Vorteile• Einfache Erweiterbarkeit auf 3D• Eleganteste Lösung multimodaler Historgamme
Nachteile• Unterschiedliche Seed Points können zu vollständig anderen Segmentierungen führen• Anzahl der Regionen muß vorher festgelegt werden
78/90
Split & Merge
Unterteilung und Verbindung von Bereichen in Quadrate entsprechend einem Homogenitäts-kriterium.
Beispiele für Homogenitätskriterium:Grau-/Farbwerte identisch/ähnlich Grau-/Farbwerte im gleichen Intervall Grau-/Farbwerte ähnlich verteilt (Momentum, Textur)
79/90
Split & Merge
1R 2R
3R41R
44R43R
42R
Split Region Ri, wenn:
P(Ri)=false
Merge angrenzende und homo-gene Regionen Ri und Rj, wenn:
P(RiRj)=true
Rekursionen beendet, wenn kein weiteres Unterteilen / Vereinigen mehr möglich ist
80/90
Split & Merge
1 2
00 01 02 03 30 32 33
310 311 312 313
Quadtree 1
2
00
02
01
03
30
32 33
310311312314
81/90
Split
Merge
Gefahr von „Overgrowing“ – zu viele Regionen „Undergrowing“ – zu wenige Regionen
82/90
Split & Merge
Eliminierung von kleinen Regionen infolge Overgrowing:
• Suche die kleinste / eine kleine Region Ri• Finde die benachbarte Region Rn zu der Ri unter
Berücksichtigung des Homogenitätskriteriums ambesten paßt und vereinige diese
Diese Schritte werden so lange wiederholt, bisalle Regionen eine vorgegebene Mindestgrößebesitzen
83/90
Split & Merge
32 ²
16² 8²
84/90
Wasserscheide Segmentierung
85/90
Wasserscheide Segmentierung
86/90
Damm Konstruktion
Finde letzten Schritt vor Vereinigung M1 und M2
Finde vereinigte Menge q Dilatiere M1 und M2:
Strukturelement platziert nur in q Keine Dilatation an Stellen,
welche M1 und M2 vereinigen
Damm sind die übrig gebliebenen Pixel innerhalb von q
87/90
Wasserscheide Segmentierung auf Gradientenbild
88/90
Über-Segmentierung der Gradientenbilder
89/90
Marker Konstruktion1. Tiefpaßfilterung
2. Vereine Nachbarpunkte gleichen Grautons = seeds
3. Wasserscheide auf den Seeds
4. => Unterteilung des Gesamtbildes in „Zellen“
5. Gradient des Gesamtbildes
6. Wasserscheide lokal in jeder „Zelle“
90/90
Marker-Boundaries
91/90
Markers
Berücksichtigung von a-priori „Wissen“ oder „Kontext“ über das Bild Größe Form Position Orientierung Relative Abstände Textur etc. etc.
92/90
Wissen Berücksichtigung
93/90
Modellbasiertes Segmentieren• Berücksichtigung von a priori Informationen über Art und Aussehen
der zu segmentierenden Objekte
• Mensch besitzt ein „Modell“ des Objektes im Kopf, das Segmentieren vereinfacht:
Die Kreisausschnitte werdenzu durchgehenden Streckenergänzt