1/90 segmentierung the whole is greater than the sum of its parts. max wertheimer 10

1/90

Segmentierung

“The whole is greater than the sum of its parts.”

Max Wertheimer

10

2/90

Inhalt Einführung

Bildverarbeitungssystem

Segmentierung Kantenbasiert

Kantendetektion Konturverfolgung Modellbasiert Hough – Transformation

Pixelorientiert Regionenbasiert

Region Growing Split & Merge Wasserscheide

3/90

Einführung

Ziel1. Unterscheidung von „Teilbildern/Inhalte“ 2. Automatische Klassifikation jedes Inhalts

BeispieleMedien – SchrifterkennungBiometrie – Erkennung von PersonenProduktionsanlagen – Identifizierung von TeilenMedizin – Identifizierung von Zellen/GewebeUmwelt – Auswertung von Luftaufnahmen

4/90

Beispiele

5/90

EinführungSegmentierung Zusammenfassen von Punkten zu größeren Einheiten Unterteilung des Bildes in „zusammenhängende“ Bereiche, Bildsegmente

Klassifizierung Zuweisung von Bereichen in „Objektklassen“

Segmentierung ist der erste Schritt der erkennenden Bildverarbeitung

Segmentierung ist eines der komplexesten Kapitel der Bildverarbeitung !

6/90

Schritte der Bildverarbeitung

7/90

Bildverarbeitungssystem

Stufen eines Bildverarbeitungssystems

Bilderfassung

Bildvorverarbeitung

Segmentierung

Merkmalsextraktion

Klassifikation

8/90

Objekte werden mit Sensorik erfasst

Nur erfasste Eigenschaften können ausgewertet werden

1: Bilderfassung

9/90

2: Bildvorverarbeitung

Bildmodifikation, welche den Informationsgehalt nicht bedeutend ändert

Beispiele:• Beleuchtungskorrekturen• Rauschreduzierung• Kontrasterhöhung• Größenanpassung

10/90

Gegeben Bild B mit Bildpunkten f1,...,fn

Gesucht Regionen Ri für die gilt:

•

•

• jiffRfRf tsjtis ~:,

ji RR

BRsii

,..,1

3: Segmentierung

11/90

Merkmale beschreiben Eigenschaften von Objekten

Einfache Merkmale• Umschreibendes Rechteck• Mittlerer Intensität• Flächeninhalt• Schwerpunkt• Umfang

Abgeleitete Merkmale• Kompaktheit• Lage, Orientierung

4: Merkmalsextraktion

12/90

5: KlassifizierungKlassifizierung von Objekten anhand ihrer Merkmale

Notwendige VoraussetzungMerkmalsanalyse / Clustering des Merkmalraums

Beispiel

13/90

Einfache/Heuristische Vorgehensweise

Durch a-priori-Wissen Segmente identifizieren / ausschließen

• Segmente kleiner N Pixel werden ignoriert• Segmente außerhalb des Area-Of-Interest / Region-Of-Interest werden ignoriert• Größenverhältnis• Farbe

6: Erfassung von Objekten

14/90

Segmentierung

15/90

Gegeben Bild B mit Bildpunkten f1,...,fn

Gesucht Regionen Ri für die gilt:

•

•

• jiffRfRf tsjtis ~:,

ji RR

BRsii

,..,1

Segmentierung

16/90

Strategien

Diskontinuität Kanten

Ähnlichkeit Schwellwert („lose“ Punkte) Wachstumsverfahren (Regionen)

17/90

Segmentierung durch Detektion von Diskontinuitäten

18/90

Detektion von Diskontinuitäten

Detektion von scharfen, lokalen Änderungen der Bildintensität

Kantenpunkte

Kanten entstehen durch die Verbindung von Kantenpunkten

19/90

Detektion von Diskontinuitäten

Punkte-Detektoren

20/90

Detektion von Linien

Linien-Detektoren

21/90

Detektion von Linien

Laplace

Absolute Positive

22/90

Kantenbasierte VerfahrenKanten entsprechen häufig den Konturen der gesuchten Objekte

Im Gegensatz zu punktbasierten Verfahren werden die gesuchten Objekte nicht als Fläche, sondern als Umrandung extrahiert

Verarbeitungsschritte

Hochpaß Konturverfolgung Konturverdünnung / Skelettierung / Thinning Bestimmung der umrandeten Gebiete

23/90

Kantentypen

24/90

Kantentypen

25/90

Reele Kanten

26/90

Kantenextraktion

Bild

Profil einerhorizontalen Linie

Erste Ableitung

Zweite Ableitung

Extremum

Nulldurchgang

27/90

Kantenextraktion

Berechnung der Ableitung in jedem Pixel: Ableitungsfilter 1. Ordnung

(Roberts) Ableitungsfilter mit einfacher Mittelwertbildung (Prewitt,

Sobel) Ableitungsfilter 2. Ordnung

(Laplace)

Ableitungsbilder werden (mittels Schwellwert) binarisiert

28/90

A B C

D

Beispiele

A: OriginalB: PrewittC: SobelD: Laplace

29/90

Einfluß von Rauschen

Var = 0.1

Var = 1

Var = 10

30/90

LoG Operator

31/90

Kantendetektion

Sobel

LoG Schwellwert Zero Cross

32/90

Konturverfolgung: Canny

ZielBinärbild mit möglichst geschlossenen Konturen

Einfaches VorgehenVon Startpunkt aus wird der nächste Konturpunkt entlang eines Suchstrahls identifiziertRichtung ergibt sich aus bereits erhaltenen Punkten oder dem Gradienten

NachteilEinmalige Fehlberechnung führt zu falscher Kontur

33/90

Orientierung der Normale

34/90

Konturverfolgung

Kante

Gradient

Hintergrundx

y

f(x,y)

(Grauwert)

Suchrichtung senkrecht zum Gradienten

Objekt

35/90

Gradient vs Log vs Canny

36/90

Hough Transformation

Ziel: „Globale“ Linienerkennung

Transformiert das Segmentierungsproblem im Bildraum in ein Finden von lokalen Maxima („Punkte“) im Parameterraum

Man habe n Punkte vorsegmentiert Suche Submengen dieser Punkte, welche auf

Geraden liegen

37/90

Hough Transformation

BildraumParameterraumHough-Raum

'' dxky

)( 2,2 yxB )( 1,1 yxA

22 ykxd

11 ykxd

k

y

x 'k

'd

d

Im Parameterraum wird jeder Punkt des Bildraums durch eine Gerade abgebildet

Punkte, die auf einer Gerade liegen, schneiden sich an einer Stelle (Fächern)

38/90

Hough Transformation

Für einen beliebigen Punkt (xi, yi) im Bild gilt:

yi = axi + b Es gibt unendlich viele a & b, welche die Gleichung erfüllen

b = -xia + yi in der ab Ebene alle a & b liegen auf einer Gerade Die ab-Geraden von ko-linearen Punkten schneiden sich!

39/90

Geraden Detektion Finde alle Kanten im Bild (= Hochpaß, Menge von Punkten) Unterteile den Parameterraum in Zellen Für jeden detektierten Punkt (xk, yk) im Bild:

Setze ai zu einem Zellenwert aus i = (imin, imax )

Löse bi = -xkai + yk und finde bi

Inkrementiere entsprechende (ai, bi) Zelle

40/90

Hough Transformation

1

2

3

6

7

8

5

4

1 2 3 4 5 6 7 8 9 10

1

2

3

6

7

8

5

4

0.2 0.4 0.6 0.8 1

1

1

1 1 1

2 3 2 1

1 2 3 3 4

1 1 1 2 5 6 5 2 1 1 1

4 3 3 2 1

1 2 3 2

1 1 1

Bildraum

Parameter-raum

Akkumulator

1

2

3

6

7

8

5

4

0

0 0.2 0.4 0.6 0.8 1

y

x

k

d

41/90

Hessesche Normalenform:

Parameter (Radon Transformation)

sincos yxp

cos

sin , npxn

Hough Transformation

x

y

´

p´n

,p

42/90

Hough Transformation

Punkte im Bildraum bilden sich auf Sinus-Kurven im Parameterraum ab

Alle Sinus-Kurven ko-linearer Punkte schneiden sich an einer Stelle

43/90

Hough Transformation

44/90

Hough Transformation

45/90

Hough Transformation

x

max ( ) ,R x xo 94 101

x

46/90

Hough Transformation

47/90

Hough Transformation

Original Kantenbild

Hough-Raum Ergebnis

48/90

Hough Transformation

49/90

Hough TransformationVerhalten

• Robust gegenüber unterbrochenen Linien: Wert wird zwar verringert, lokales Maximum bleibt

• Bei verrauschten Linien: Cluster mit hohen Werten anstatt diskretes Maximum

50/90

Hough Transformation

51/90

Segmentierung durch Detektion von Ähnlichkeiten

52/90

Schwellwertverfahren

Global: T fester Grauwert Dynamisch/adaptiv: T hängt von der Position

innerhalb des Bildes ab Lokal: T hängt von den lokalen Grautönen ab (z.B.

lokalen Mittelwert)

53/90

Verfahren

Schwellwertverfahren Bereichswachstum Split-and-merge Wasserscheide

54/90

Punktorientierte Segmentierung

Einfacher Schwellwert T (Threshold)= Segmentierung aufgrund der Grauwertinformation

2550für

, wenn ,0

, wenn ,1,

TTyxf

Tyxfyxg

T

55/90

Multi-modale Histogramme

56/90

Punktorientierte Segmentierung

57/90

Punktorientierte Segmentierung

1 23

58/90

RauscheneinflußVar = 10 Var = 50

59/90

Rauschentfernung & Schwellwert

60/90

Rauschentfernung in kleinen Regionen

61/90

Gradient & lokale Histogramme

62/90

Beleuchtungseinfluß

63/90

Beleuchtungseinfluß

Erweiterung auf multimodale Histogramme

1T 2T

64/90

Beleuchtungseinfluß

65/90

Adaptives Schwellwertverfahren

66/90

Adaptives Schwellwertverfahren

67/90

Adaptives Schwellwertverfahren

68/90

Adaptives Schwellwertverfahren

70/90

Lokaler Schwellwert

71/90

Regionenbasierte Verfahren

ZielAufteilung des Bildes in Zonen maximaler Homogenität (Grauwert, Farbe, etc.)

VerfahrenBottom up: Region Growing Top Down: Split & Merge

Vorteil• Information über Nachbarschaft• Robuster bei verrauschten Bildern

72/90

Ausgehend von n-Ursprungspixel (Saatzellen, seed points) werden andere Pixel, die ein Homogenitätskriterium erfüllen, aggregiert

Region Growing

R1

R2

R3

73/90

Parameter

Anzahl & Position der Startpunkte Homogenitätskriterium

Intensität Farbe Statistiken, Textur

Stopp Regelung Lokale Kriterien: Grauton/Farbe, Textur Regionsgröße und –Form (Addaptive) Ähnlichkeit zu der Region

74/90

Region Growing1. Setzen von n Seed Points (Initiale Regionen)

- Zufällig- Aufgrund von Beurteilung des Bildinhalts

2. Untersuchung der 4 (oder 8)-NachbarschaftFall1: Punkt gehört zu keiner Region & H.-Krit. erfüllt Zuordnung zur RegionFall2: Punkt gehört zu keiner Region & H.-Krit. nicht erfüllt Keine ZuordnungFall3: Punkt gehört bereits zu einer anderen Region & Homogenitätskriterium erfüllt Regionen werden vereinigtFall4: Punkt gehört bereits zu einer anderen Region & Homogenitätskriterium nicht erfüllt Keine Vereinigung

3. Wiederhole 1 und 2 bis keine Änderungen mehr eintreten

75/90

Region Growing

Originalbild Segmentiertes Bild

77/90

Region GrowingProblem• Wahl der Seed Points• Wahl des Homogenitätskriteriums• Formulierung des Stop-Kriteriums

Vorteile• Einfache Erweiterbarkeit auf 3D• Eleganteste Lösung multimodaler Historgamme

Nachteile• Unterschiedliche Seed Points können zu vollständig anderen Segmentierungen führen• Anzahl der Regionen muß vorher festgelegt werden

78/90

Split & Merge

Unterteilung und Verbindung von Bereichen in Quadrate entsprechend einem Homogenitäts-kriterium.

Beispiele für Homogenitätskriterium:Grau-/Farbwerte identisch/ähnlich Grau-/Farbwerte im gleichen Intervall Grau-/Farbwerte ähnlich verteilt (Momentum, Textur)

79/90

Split & Merge

1R 2R

3R41R

44R43R

42R

Split Region Ri, wenn:

P(Ri)=false

Merge angrenzende und homo-gene Regionen Ri und Rj, wenn:

P(RiRj)=true

Rekursionen beendet, wenn kein weiteres Unterteilen / Vereinigen mehr möglich ist

80/90

Split & Merge

1 2

00 01 02 03 30 32 33

310 311 312 313

Quadtree 1

2

00

02

01

03

30

32 33

310311312314

81/90

Split

Merge

Gefahr von „Overgrowing“ – zu viele Regionen „Undergrowing“ – zu wenige Regionen

82/90

Split & Merge

Eliminierung von kleinen Regionen infolge Overgrowing:

• Suche die kleinste / eine kleine Region Ri• Finde die benachbarte Region Rn zu der Ri unter

Berücksichtigung des Homogenitätskriteriums ambesten paßt und vereinige diese

Diese Schritte werden so lange wiederholt, bisalle Regionen eine vorgegebene Mindestgrößebesitzen

83/90

Split & Merge

32 ²

16² 8²

84/90

Wasserscheide Segmentierung

85/90

Wasserscheide Segmentierung

86/90

Damm Konstruktion

Finde letzten Schritt vor Vereinigung M1 und M2

Finde vereinigte Menge q Dilatiere M1 und M2:

Strukturelement platziert nur in q Keine Dilatation an Stellen,

welche M1 und M2 vereinigen

Damm sind die übrig gebliebenen Pixel innerhalb von q

87/90

Wasserscheide Segmentierung auf Gradientenbild

88/90

Über-Segmentierung der Gradientenbilder

89/90

Marker Konstruktion1. Tiefpaßfilterung

2. Vereine Nachbarpunkte gleichen Grautons = seeds

3. Wasserscheide auf den Seeds

4. => Unterteilung des Gesamtbildes in „Zellen“

5. Gradient des Gesamtbildes

6. Wasserscheide lokal in jeder „Zelle“

90/90

Marker-Boundaries

91/90

Markers

Berücksichtigung von a-priori „Wissen“ oder „Kontext“ über das Bild Größe Form Position Orientierung Relative Abstände Textur etc. etc.

92/90

Wissen Berücksichtigung

93/90

Modellbasiertes Segmentieren• Berücksichtigung von a priori Informationen über Art und Aussehen

der zu segmentierenden Objekte

• Mensch besitzt ein „Modell“ des Objektes im Kopf, das Segmentieren vereinfacht:

Die Kreisausschnitte werdenzu durchgehenden Streckenergänzt