Élek detektálása

Élek detektálása

Vámossy Zoltán

2004

(Gonzales, Woods, Forsyth, Rehg, Hanson, Trucco, Verri, Thrun, Bradski anyagai alapján)

E. Trucco, A. Verri:Introductory techniques for 3-D Computer Vision (Prentice Hall 1998)

Vámossy Zoltán

(Umeai Egyetem – Finnország)előadásai alapján

3Vámossy Zoltán IAR 2004

2. előadás

4. fejezet (pp. 67-94)– Jellemzők detektálása (Feature detection)

• Élek (Edges)• Sarokpontok (Corners)

5. fejezet (pp. 95-121)– Jellemzők osztályozása (Feature classification)

• Vonalak – szakaszok (Lines)• Görbék (Curves)• Ellipszisek (Ellipses)• Deformálható kontúrok (Deformable contours)


Élek (edges)

Mit értünk él alatt? Élek olyan pixelek, ahol, vagy ami körül a kép

intenzitás-értékei erőteljesen megváltoznak


Általános jellemzők #1: élek (edges)

A: Hirtelen mélységi változás (discontinuity) B: Felület normálisának változása C: Megvilágítás változása: árnyékok, világítás változás D: Visszaverődésben változás: felület tulajdonság, jelek

A

C

B

D


Miért fontosak számunkra az élek?

A legtöbb elem, objektum, vagy azok árnyékai éleket generálnak

Az élek megtalálásával sokszor az objektum alakját és helyét meg tudjuk határozni


Tipikus élprofilok

Ugrás Rámpa Gerinc Tető Vonal


Hogyan találhatunk éleket?


Élkeresés 101

im = imread('bridge.jpg');image(im);figure(2); bw = double(rgb2gray(im));image(bw);gradkernel = [-1 1];dx = abs(conv2(bw, gradkernel, 'same'));image(dx);colorbar;

[dx,dy] = gradient(bw);gradmag = sqrt(dx.^2 + dy.^2);image(gradmag);

colorbarcolormap(gray(255))colormap(default)


Az éldetektálás lépései

Zajcsökkentés (Noise reduction) Élkiemelés (Edge enhancement) Éldetektálás (Edge detection) Éllokalizálás (Edge localisation)


Éldetektálók

Canny éldetektáló* Roberts éldetektáló Sobel éldetektáló* Prewitt éldetektáló Kirsch éldetektáló Laplace éldetektáló és a LoG (Marr-Hildreth) Susan él-, sarokpont detektáló Haralick módszere

*: a könyvben csak ez van


Definiciók

Él-normális = merőleges az élre, a maximális intenzitás-változás iránya, N(i, j) I(i, j)

Él-irány = az él iránya, merőleges a normálisra Él-pozíció = ahol a képen elhelyezkedik az él Él-erősség = megmutatja mennyire „jó” egy él.

Nagy változás -> nagy erősség


Él-irány, él-normális


Változás detektálás

Kép deriváltja

Differenciáló szűrők

Hátrafele differencia

Előrehaladó differencia

Központi differencia

[-1 1]

[1 -1]

[-1 0 1]


Deriváltak, differenciák 2D-ben

Definició

Közelítés

Konvoluciós magok

yxfyxf

y

yxf ,,lim

,0


Kép deriváltak

Image I


Élnormális megjelenítése

figure(5);hold on;image(smooth);colormap(gray(255));[m,n] = size(gradmag);

edges = (gradmag > 0.3 * gmax);inds = find(edges);[posx,posy] = meshgrid(1:n,1:m); posx2=posx(inds); posy2=posy(inds);gm2= gradmag(inds);sintheta = dx(inds) ./ gm2;costheta = - dy(inds) ./ gm2;

quiver(posx2,posy2, gm2 .* sintheta / 10, -gm2 .* costheta / 10,0);hold off;


Prewitt és Sobel éldetektálás

Kevésbé zajérzékeny (3x3 maszk jobban eltünteti a zajokat)

A nagyobb maszkméret miatt a meredek élek több pixel szélesen jelentkeznek

Főbb lépések– Input: Kép és küszöb– Képszűrés– Gradiens nagyság számolása– Küszöbölés


Sobel operátor

-1 -2 -1 0 0 0 1 2 1

-1 0 1-2 0 2 -1 0 1

S1= S2 =

Edge Magnitude =

Edge Direction =

S1 + S22 2

tan-1S1

S2

Él-erősség, él-irány:


Prewitt éldetektor

image blurred élek xátlagolásx irányban

Differenciáló szűrő x irányban

and results

image blurred élek yÁtlagolás y irányban

DifferenciálásY irányban

andresults


Sobel éldetektáló

image blurred Élek xátlagolás

x iránybanDifferenciáló szűrő x irányban

and results

image blurred élek yÁtlagolásY irányban

Differenciáló szűrés y irányban

andresults



Image I Threshold Edges


Sobel maszk: összefoglalás

1 2 1

0 0 0

-1 -2 -1

-1 0 1 -2 0 2

-1 0 1

= 1/4 * [ 1 2 1]

1 0 -1

Sobel maszk szeparálható!

1

-1

-2

1

1

2 Éllel párhuzamos átlagolás

= 1/4 * [-1 0 -1]

1 2 1


Robert keresztoperátor

1 00 -1

0 1-1 0+

vagy

| I(x, y) - I(x+1, y+1) | + | I(x, y+1) - I(x+1, y) |

[ I(x, y) - I(x+1, y+1) ]2 + [ I(x, y+1) - I(x+1, y) ]2S =

S =


Robinson iránytű maszk

-1 0 1-2 0 2 -1 0 1

0 1 2-1 0 1 -2 -1 0

1 2 1 0 0 0 -1 -2 -1

2 1 0 1 0 -1 0 -1 -2

1 0 -1 2 0 -2 1 1 -1

0 -1 -2-1 0 -1 2 1 0

-1 -2 -1 0 0 0 1 2 1

-2 -1 0-1 0 1 0 1 2


További maszkok

1

111

1

-1 -1

Prewitt 1

-2

-1

-3

555

-3

-3 -3 -3

Kirsch

0

0

111

0

-1 -1 -1

Prewitt 2

0 0

121

0

-1 -2 -1

Sobel

0

-1 -1

11

0 0 0

- 2

2

Frei & Chen


Laplace

Ahol a gradiens maximális, ott a második derivált előjelet vált (0)

Elmosódott élek esetén pontosabb lokalizálás Ebben az esetben csak az élek helyét tudjuk

meghatározni, az irányát nem Az operátor nem érzékeny az elforgatásra,

izotrópikus Zajérzékeny -> Simítás előtte


Gauss simítás + Laplace (LoG)

Zajra nagyon érzékeny éldetektálók esetében előbb simítást szoktak alkalmazni

Például Gauss szűrőt


Gauss simítás

A Gauss szűrő paraméterének hatása növekedésével több pixel kerül az átlagolásba növekedésével a kép jobban el lesz mosva növekedésével a zaj jobban el lesz távolítva


Gauss simítás + Laplace (LoG)

Alkalmazhatjuk közvetlenül a Gauss szűrő Laplace-át – második derivált r szerint (Laplacian of Gaussian) – LoG

Mexikói kalap


LoG - Marr Hildreth éldetektáló

Robusztus Simított kép deriváltját közelíti A 0 átmeneteket kell vizsgálni Stabilabb zérushelyek jelölik az éleket, mert nem

meredek éleknél is pontos


Marr Hildreth éldetektor

Gauss simítás

Laplace

• gradiens (derivált)• Laplace


Marr Hildreth éldetektor

(LoG) számítása


LoG Filter

X

Y


Zéró átmenetek detektálása

Négy eset:– {+,-}– {+,0,-}– {-,+}– {-,0,+}

Zéró átmenetek (slope) számítása {a, -b} -> |a+b|. Éldetektálás

– zéróátmenet nagyságának küszöbölése


LoG szeparálhatóság

Hasonlóan a Gauss szűrőhöz– A kétdimenziós Gauss szűrő két egydimenzióssá

alakítható

n2 szorzás

2n szorzás


LoG szeparálhatóság

n2 szorzás

4n szorzás


Szeparálhatóság

Image

gxx(x) g(x)

gyy(y) g(y)

+

Image g(x) g(y) +

Gauss szűrő

LoG szűrő


LoG példa

I


LoG példa


Canny éldetektor

John Canny, “Finding Edges and Lines in Images”, Master’s Thesis, MIT, June 1983.– “Optimális” maszk – Gaussian szűrő– Non-maximum suppression – eltávolítja a maximumra

merőleges élgyanús pontokat– Hysteresis thresholding – hosszabb kontúrok

készítése– Subpixel accuracy (eredetiben nincs) – subpixeles

pontosság


Ideális éldetektáló

Milyen kritériumoknak kell megfelelnie egy ideális éldetektálónak?

Megbízható– mindent valódi élt detektál– nem detektál hibás éleket (zajos kép)

Az éleket pontosan lokalizálja Minden élt pontosan egyszer jelez


Canny éldetektor

Elsősorban lépcsős élekre A kép Gauss-zajjal terhelt

Három lépést tartalmaz

Kiemelés Nonmax_suppression Hysteres._thresh.

Input Image

Output:Kontúrok listái


I. Canny élkiemelő

Az élkiemelő elemei:

1. (Lineáris) konvolúció Gauss szűrővel

2. Gradiens számolás

3. Normális és erősség (nagyság) számítás


I. Canny élkiemelő - megjegyzés

1.lépés: Konvolúció J = I G

– I = eredeti kép (image)– G = Gauss szűrő magja (kernel)– Nagyobb szűrő jobban csökkenti a zajt, lassabb, de

kevésbé lokalizálja jól az éleket!



Minden I(i, j) pixelre kiszámoljuk a parciális deriváltakat

2. lépés: Derivált számítás

Megjegyzés: Konvolúció alkalmazása (A kép és a Gauss fgv. konvolúciójának első deriváltja ekvivalens a kép és a Gauss fv. első deriváltjának konvolúciójával. Zajszűrés és éldetektálás kombinálható.)


Canny éldetektor – Gauss deriváltja


Canny éldetektor – első két lépés

xS

yS

I



3. lépés: Erősség és normális meghatározás

Élerősség számítás (minden pixelre):

Élnormális (orientáció) számítás:


I. Canny élkiemelő - outputja

Es = élerősség (milyen jó az él, a gradiens nagyságával arányos)

Eo = élorientáció (milyen irányba mutat)– A normálist tartalmazza


II. Non-max Suppression

Élek ott vannak, ahol a gradiensnek lokális maximuma van

A Non-maxima suppression (nem maximumok elnyomása) célja:– Fals élpontok eltávolítása, amelyek az élre merőleges

irányban vannak– Egy vastagságú élekké zsugorítás


II. Non-max Suppression-algoritmus

1. Minden (i, j)-re határozzuk meg azt a dk (0, 45, 90, 135) irányt, ami legjobban közelíti az EO(i, j) élnormálist

2. Ha Es(i,j) < legalább egy szomszédjánál a dk irányokban, akkorIN(i,j) = 0 legyen (elnyomás), egyébként IN(i, j) = Es(i,j)

Eredmény: IN(i, j) vékonyított éleket tartalmazó kép a nem maximumok eltávolítása után


III. Canny – harmadik lépés oka

Fig 4.5

Élkiemelő - balról jobbra =3, =2, =1


III. Hysteresis thresholding

Miért szükséges a hysteresis küszöbölés?

Ha a küszöb túl alacsony, akkor fals élpontok maradnak

A küszöb felett, illetve alatt is lehet maximum erősség Ha az élek értéke a küszöb körül ingadozik, akkor sok szakadás lehet


Példa


Canny, alacsony threshold


Canny, magas threshold


Definiáljunk két thresholdot Minden IN(i, j) élpontra

– 1. Keressük meg a következő IN(i, j) élpontot, hogy

– 2. IN(i, j)-től kiindulva kövessük a lokális maximumok láncát az élnormálisokra merőleges irányban mindaddig, amíg

Jelöljünk meg minden maglátogatott pontot (lista) Tehát ha a felső küszöbnél nagyobb, akkor vegyük fel

élnek Ha az alsó küszöb alatt van, akkor nem él Ha a kettő között van, akkor vegyük fel élnek, ha egy

szomszédos pixel élhez tartozik




Eredmény: A kapcsolódó élpixelek listái


Canny eredmények

‘Y’ or ‘T’ csatlakozási probléma a Canny operátornál


Canny: Sarok effektus


Marr-Hildreth és Canny éldetektorok– Gauss simítás– Derivált számítás

• x és y irányokban

– Gradiens nagyság meghatározás– Gradiens nagyság küszöbölés

Marr-Hildreth és Canny különbségek– Marr-Hildreth másodrendű deriváltat használ– Marr-Hildreth a zéró átmenetek nagyságát küszöböli

LoG és Canny összehasonlítás


Marr-Hildreth operátor

Image 2g(x)Find

zero-crossingscompute

slopeThreshold


Canny

Image

gx(x,y)Gradiensnagyság

gy(x,y) Gradiensirány

Non-maximumsuppression

Hysteresis thresholding


Élpontosítás más módszerei


Ötlet 1: Bilineáris interpoláció

Használjunk bilineáris interpolációt szubpixeles pontosság érdekébenGradiens csökkenés: olyan pont keresése, ami maximalizálja S-t


Ötlet 2: Élkövetés

Következő pont: Merőleges a gradiensreHasználjunk Hysteresis-t


SUSAN algoritmus

Konturkeresés nem differenciáló operátorral Smith és Brady ötlete

(http://www.fmrib.ox.ac.uk/~steve/susan/susan/node1.html)


SUSAN algoritmus

A maszk közepén levő pont a nucleus (középpont) Az USAN egy rövidítés, jelentése:

univalue segment assimilating nucleus


SUSAN algoritmus

A SUSAN jelentése: smallest univalue segment assimilating nucleus.


SUSAN algoritmus

A nucleus és a maszkban lévő pontok eltérése alapján megjelölés:

A hasonló intenzitásúak száma

A területen levő élek meghatározása az élválasz függvénnyel történik (g geometriai küszöb)


SUSAN algoritmus

Az ugrásszerű átmenet elkerülése, stabilabb eredményt ad (táblázat!)

Haralick felületi modellje

Éldetektálás az intenzitásfelületre illesztett térbeli polinommmal


Felületi modell alkalmazása

Facet model: Felületi modellt tételezünk fel – közelítjük az intenzitás felületet általában térbeli polinommal és ebből határozunk meg éleket

Haralick bi-cubic modellje:

1. Legkisebb négyzetek módszerével illesztünk kétparaméteres polinomot

2. Adott pixel élpont ha:1. Második derivált 0

2. Harmadik derivált negatív

f(x, y)=k1+ k2x+ k3y+ k4x2+ k5xy+ k6y2+ k7x3+ k8x2y+ k9xy2+ k10y3 keressük a felületet ilyen alakban (1)


Haralick éldetektora

Irány menti deriváltak adott θ irányban:

A gradiens szöge a pozitív y tengellyel (0, 0)-ban:


Haralick éldetektora

Változó behelyettesítéssel (1) x = r sinθ, y = r cosθ:

c0 = k1

c1 = k2 sinθ + k3 cosθ

c2 = k4(sinθ)2 + k5sinθcosθ + k6(cosθ)2

c3 = k7(sinθ)3 + k8(sinθ)2cosθ + k9sinθ(cosθ)2 + + k10(cosθ)3

Második derivált 0, harmadik negatív, -> c3 < 0 és |c2 / 3c3| < r0


ki-k számítása maszkkal (Shah könyv)


Haralick algoritmusa

1. Keressük k1 k2 k3 k4 k5 k6 k7 k8 k9 k10 értéket a legkisebb négyzetek módszerével, vagy az előző konvolúciós maszkokkal

2. Kiszámoljuk θ, sinθ, cosθ

3. Kiszámoljuk c2 = k4(sinθ)2 + k5sinθcosθ + k6(cosθ)2

4. Kiszámoljuk c3 = k7(sinθ)3 + k8(sinθ)2cosθ + k9sinθ(cosθ)2 + k10(cosθ)3

5. Ha c3 < 0 és |c2 / 3c3| < r0, akkor élpont

Élek detektálása

Documents