meritve v proizvodnjilab.fs.uni-lj.si/lat/uploads/metrologija/p8.pdfem spekter 3-d slika: f(x,y,z)...

Metrologija 2016

P7: 28.nov. Merjenje kotov; kolokvij

P8: 5.dec. Merjenje z uporabo strojnega vida

P9: 12.dec. Strojni vid; krožnost, valjnost, ravnost

P10:19.dec. Hrapavost površin

P11: 2.jan. CMM

P12: 9.jan. seminarji

2. kolokvij - določimo datum - predlagam kar teden od 9. - 13.jan.

[email protected]

STROJNI VIDv tehnoloških meritvah

poglavje

Metrologija

Strojni vid pri tehnoloških

meritvah

• kakšne vrste slik poznamo

• pomen in nekaj primerov

• EM spekter

• aplikacije v posameznih delih

spektra

• o matriki slike

nastanek slike

refleksija emisija transmisija

VPRAŠANJE: način nastanka slike; skiciraj zgled in navedi tipični zgled

nastanek slike

kdaj se svetloba sploh siplje

Dr/2

Df: fazna razlika

Dr: razlika poti

h: hrapavost

2-D slika: f(x,y) ~ projekcija 3D scene na 2D senzor

2-D slika: f(x,y) ~ projekcija 3D scene na 2D senzor

kristal germanija

https://en.wikipedia.org/wiki/Self-similarity

EM spekter

3-D slika: f(x,y,z)

• CT: Computerized tomography

• MRI: Magnetic Resonance Imaging

• optično vzorčenje v konfokalni mikroskopiji

• seizmične slike po obdelavi

vijolična 380–450 nm

modra 450–495 nm

zelena 495–570 nm

rumena 570–590 nm

oranžna 590–620 nm

rdeča 620–750 nm

The standard charge is £10 for each day.Enforcement is primarily based on automatic number platerecognition (ANPR). Transport for London (TfL) is responsible for the charge which has been operated by IBM since 1 November 2009.

Congestion charge CCTV cameras on Vauxhall Bridge Road

Aplikacije v vidnem delu spektra

meritev prstnih

odtisov

kontrola bankovcev

avtomatska kontrola

tablic

Strojni vid v industriji

Pogled na merilna mesta naprave za avtomatsko optično kontrolo

izdelkov, 6 merilnih mest, 6 kamer, pnevmatski transport, cikel

stroja manjši od 1.2 sek. (vključno z vsemi mehanskimi gibi).

video - vodopivec -kolektor LIV

Röntgen

MRIemisijska slika

emisijske slike

IR spekter

gama kamera PET

Pozitronska Emisijska Tomografija

http://en.wikipedia.org/wiki/Positron_emission_tomography

CFRP integrity evaluation methods

Inspection by means of IR thermography

CFRP integrity evaluation methods

Inspection by means of IR thermography

A: a surface profile across the pierced hole

B: thermographic image of the same workpiece

konfokalna mikroskopija

https://en.wikipedia.org/wiki/Confocal_microscopy

geofizikalno slikanje

Napoved za rast tržišča aplikacij

strojnega gledanja v Evropi 2001-

2011

Source: MarketsandMarkets

100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

37

1 2

34

50 100 150 200 250 300

50

100

150

200

primeri

primeri iz LAT

ločevanje med grčami in sivinami, ki so posledica

obdelave je v tem primeru narejeno z nevronsko mrežo

Meritve:

• merjenje napake vogala,

• merjenje koničnosti reza.

Merjenje napake vogala

Merjenje koničnosti

reza zg. str.

Merjenje koničnosti reza

sp. str.

pogoji osvetlitve

napake leče

ločljivost

osvetlitev bistveno

vpliva na

zajem oblike

predmeta

vir: E4242-QuickImage_mitutoyo.pdf

http://www.edmundoptics.com/technical-resources-center/imaging/telecentricity-and-telecentric-lenses-in-machine-vision/

običajne leče

telecentrične

leče

digitalizacija

dimenzija matrike slike

matrika slike

nadaljevanje

1. iskanje vzorcev

2. histogram slike

3. binarizacija slike

4. robovi

5. razpoznavanje objektov

zajem oblike

predmeta

splošno-posebno & posebno splošno

diagonalna črta

ali

vertikalna črta

Ena od rešitev problematike je

oponašanje človekovega vida

Podobno kot na fotografiji: resolucija slike na

mrežnici ni enakomerna.

Le centralni del mrežnice zagotavlja dobro

resolucijo, zato svet okrog sebe vidimo s

premikanjem oči.

ISKANI VZOREC

Zgled za iskanje vzorca na objektu

OBJEKT

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

Tudi za štetje kot najpreprostejšo obliko

meritev naša čutila niso vedno ustrezna.

Kaj pa strojni vid?

Postopek iskanjasl=imread('slon.tif','tif');

ob=imread('noga.tif','tif');

rezult = normxcorr2(sl,ob);

figure(1); imagesc(rezult);

[yn,xn]=find(rez>0.4);

figure(2);imagesc(sl);hold on;

colormap gray

plot(xn-35,yn-21,'r.')

50 100 150 200 250 300 350 400 450 500 550

50

100

150

200

250

300

350

-0.2

0

0.2

0.4

0.6

0.8

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

335x50742x71

376x577

a=round(256*rand(7,7))

b=a(3:5,3:5)

b=b+0*rand(size(b))

rezult = normxcorr2(b,a)

imagesc(rezult)

1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9 -0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

a=round(256*rand(7,7))

b=a(3:5,3:5)

b=b+21*rand(size(b))

rezult = normxcorr2(b,a)

imagesc(rezult)

1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

8 10 12 14 16 18 20 22145

150

155

160

165

170

175

180

185

100 200 300

50

100

150

200

250

300

350

-0.4

-0.2

0

0.2

0.4

0.6

0.8

50 100 150 200 250 300

50

100

150

200

10 20 30

20

40

60

80

100

120

50 100 150 200 250 300

50

100

150

200

-0.4

-0.2

0

0.2

0.4

0.6

0.8

sledenje pozicije glave pri awj rezanju:

8 10 12 14 16 18 20 22145

150

155

160

165

170

175

180

185

INDEX OF IMAGE SEQUENCE

PO

SIT

ION

OF

CU

TT

ING

HE

AD

[pix

els

]

10 20 30

20

40

60

80

100

120

50 100 150 200 250 300

50

100

150

200

295

300

305

310

315

320

325

330

335

340

345[oK]10 20 30 40 50 60

5

10

15

20

25

30

*

10 15 20 25 30 35 40 45 50

5

10

15

20

25

30

križna korelacija

-2

-1

0

1

2

x 10-3

-0.1

-0.05

0

0.05

0.1

-1

0

1

2

3

4

5

koef3

koef1koef2

-1.5

-1

-0.5

0

0.5

1

1.5

2

x 10-3

-0.08-0.06-0.04-0.0200.020.040.06

-5

0

5

koef3

koef2

koef1

5 10 15 20 25 30 35 40 45 50

5

10

15

20

25

30

5 10 15 20 25 30 35 40 45 50

5

10

15

20

25

30

37

1 2

34

50 100 150 200 250 300

50

100

150

200

-0.015

-0.01

-0.005

0

0.005

0.01 -0.4

-0.2

0

0.2

0.40

20

40

60

koef3

koef1koef2

prilag2 = polyfit(z,x,2);

logpred2 = polyval(prilag2,z);

prilag2 = polyfit(z,log(x),2);

logpred2 = exp(polyval(prilag2,z));

-2

-1

0

1

2

x 10-3

-0.1

-0.05

0

0.05

0.1

-1

0

1

2

3

4

5

koef3

koef1koef2

bolje tako

izmali/prilag2 = polyfit(z,x,2); logpred2 = polyval(prilag2,z);

izmali/prilag2 = polyfit(z,x,2); logpred2 = polyval(prilag2,z);

-0.3 -0.25 -0.2 -0.15 -0.1 -0.05 0 0.05 0.10

10

20

30

40

50

60

koeficient - k

koeficie

nt

- n

prilag2 = polyfit(z,x,1);

logpred2 = polyval(prilag2,z);

0 0.5 1 1.5 2 2.5 3 3.5 4-0.4

-0.35

-0.3

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

A

B

C

histogram slike

100 200 300 400 500 600

50

100

150

200

250

300

350

400

450

500

550

>> sl=imread('v1B.tif');

>> imagesc(sl)

0 50 100 150 200 250

0

1000

2000

3000

4000

5000

6000

7000

8000

>> imhist(sl(:,:,1))

128/256=0.5

binarizacija slike & robovi

>> sl2=im2bw(sl(:,:,1),0.5);

>> imagesc(sl2); colormap gray

100 200 300 400 500 600

50

100

150

200

250

300

350

400

450

500

550

>> slr=bwperim(sl2);

>> imagesc(slr)

100 200 300 400 500 600

50

100

150

200

250

300

350

400

450

500

550

razpoznavanje objektov

>> slob=bwlabel(sl2,4);

>> imagesc(slob);

>> slob(483:2:517, 539:2:570)ans =

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0

0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0

0 0 0 0 0 0 0 0 0 1 0 0 1 1 1 1

0 0 0 0 0 0 1 1 1 1 1 0 1 1 1 1

0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1

0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1

0 0 0 0 0 0 1 0 0 1 1 1 1 1 1 1

0 0 0 0 1 1 1 1 0 1 1 1 1 1 1 1

0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

100 200 300 400 500 600

50

100

150

200

250

300

350

400

450

500

550

histogram slike

>> sl=imread('zrna.jpg','jpg');

>> [slI, sznm]=rgb2ind(sl);

>> slg=ind2gray(slI,sznm); imagesc(slg);

>> slE=histeq(slg); imagesc(slg);

binarizacijaEt=graythresh(slE)

sl2E=im2bw(slE,Et);

imagesc(sl2E)

segmentacija slL=bwlabel(sl2G,4);

imagesc(slL);

colormap jet

%% branje slike in prikaz

sl=imread('kv_orig.jpg');

figure(1); imagesc(sl);

colormap gray

%% odebelitev crt

se = strel('square',7);

sl1 = imerode(sl,se);

figure(2); imagesc(sl1);

colormap gray

sl1_bw=im2bw(sl1,0.5);

50 100 150 200 250

50

100

150

200

250

50 100 150 200 250

50

100

150

200

250

% abstrakcija na crte - drugic

sl3= bwmorph(sl1_bw,'thin',inf);

figure(4); imagesc(sl3); colormap

gray

% abstrakcija na crte - prvic

sl2= bwmorph(sl1_bw,'remove',inf);


gray

50 100 150 200 250

50

100

150

200

250

50 100 150 200 250

50

100

150

200

250

50 100 150 200 250

50

100

150

200

250

%% stanjsanje crt

se = strel('square',7);

sl11 = imdilate(sl,se);


colormap gray

sl11_bw=im2bw(sl11,0.5);

%% branje slike in prikaz

sl=imread('kv_orig.jpg');

figure(1); imagesc(sl);

colormap gray

50 100 150 200 250

50

100

150

200

250

50 100 150 200 250

50

100

150

200

250

% abstrakcija na crte – 2/2

sl33= bwmorph(sl11_bw,'thin',5);


colormap gray

50 100 150 200 250

50

100

150

200

250

% abstrakcija na crte – 2/1

sl22= bwmorph(sl11_bw,'remove',5);


gray

50 100 150 200 250

50

100

150

200

250

50 100 150 200 250

50

100

150

200

250

POVRŠINA

TEKSTURA

ODBOJ

texture is defined as an ensemble of repetitive sub-patterns, which

follow a set of well defined placement rules. These sub-patterns

themselves are made up of more fundamental units called primitives. A

primitive is a connected set of pixels, characterised by a set of attributes.

P. Brodatz. Textures: A Photographic Album for

Artists and Designers. Dover, New York, 1966.

macro texture

micro texture

significant

directionality

LBM TURNINGEDMAWJ

PROCESS

SCHEME

MICRO – METER

SCALE

MILIMMETER

SCALE

ROUGHNESS

PROFILE0 0.5 1 1.5 2 2.5 3 3.5 4

164

166

168

170

172

174

176

178

0 500 1000 1500 2000 2500 3000 3500-8

-6

-4

-2

0

2

4

6

8

10

0 500 1000 1500 2000 2500 3000 3500-40

-30

-20

-10

0

10

20

30

0 500 1000 1500 2000 2500 3000 3500-20

-15

-10

-5

0

5

10

15

20

va

B

C

c

(LBM)

E=h.n

m

(EDM)

m

U

t

+

e-

(AWJM)

m

computer controlled light emitting

diodes, illuminating the measured

surface with angle f selective from

12.8o to 77.4o in regular steps

EXPERIMENTAL SETUP

specimen

stepper

motor f = 38.6o

f = 64.3o

image histogram

Face turned tool steel, illuminated

by the LED light (a, b) and

corresponding grey level

histograms (c, d). Illumination with

an angle of incidence f: 25.7o (a)

and 64.3o (b).

Electrodischarge machined tool

steel, illuminated by the LED light

(a, b) and corresponding grey

level histograms (c, d).

Illumination with an angle of

incidence f: 25.7o (a) and 64.3o

(b).

100 200 300 400 500 600

50

100

150

200

250

300

350

50 100 150 200 250 300 350

50

100

150

200

250

300

350

100 200 300 400 500 600

50

100

150

200

250

300

350

50 100 150 200 250 300 350

50

100

150

200

250

300

350

100 200 300 400 500 600 700

100

200

300

400

500

600

700

100 200 300 400 500 600 700

100

200

300

400

500

600

700

obravnava v frekvenčnem prostoru

100 200 300 400 500 600

100

200

300

400

500

600

700

800

900

1000250 300 350 400 450

300

350

400

450

500

550

600

650

700

DSC02436

obravnava v frekvenčnem prostoru

100 200 300 400 500 600 700

100

200

300

400

500

600

700

250 300 350 400 450 500

250

300

350

400

450

obravnava v

frekvenčnem

prostoru

osnovna načina sipanja svetlobe na površinah

zrcalni odboj difuzni odboj

Michael Oren and Shree K. Nayar Generalization of the Lambertian model and Implications for Machine Vision

dAdaλ2

upoštevati je potrebno

hrapavost površine. Vsak

element je že morda

izotropni sevalec,

vendar se zadeva zaplete

kadar je v zornem polju

več elementov.

Radiometric Definitions

direction viewingφ,θv ii

dA

φ,θdΦφ,θE ii

ii

direction sourcelight φ,θs ii

rr

iirrriirrr

dωθ cosdA

φ,θ;φ,θdΦφ,θ;φ,θL

ii

iirrriirrr

φ,θdE

φ,θ;φ,θdLφ,θ;φ,θf

Irradiance

Radiance

BDRF

Flowchart

Photographs

Geometric model

Forward

Rendering

Algorithm

Lighting

BRDF

Rendering

Flowchart

Photographs

Geometric model

Forward

Rendering

AlgorithmBRDF

Novel lighting

Rendering

Reflectance modeling (diff

+specular texture)

Input Synthesized

Sato, Wheeler, Ikeuchi 97

a= 4 m=4

50 100 150

20

40

60

80

100

120 20

40

60

80

100

120

140

160

100 200 300 400 500 600

100

200

300

400

Dsc02439

200 400 600

100

200

300

400

500

600

700

800

900

1000

a= 4 m=4

50 100 150

50

100

150

200

250

20

40

60

80

100

120

140

160

0 50 100 150 2000

2000

4000

6000

8000

10000

50 100 150 200 250

20

25

30

35

Dsc02439

0 50 100 150 2000

500

1000

1500

2000

2500

3000

3500

4000

20 40 60 80 100 120 140 160 180 200

15

20

25

30

35

200 400 600

100

200

300

400

500

600

700

800

900

1000

a= 5 m=9

20 40 60 80 100 120 140

20

40

60

80

100

120

140

160

180

200

20

40

60

80

100

120

140

160

Taksonomija metod za

zajem 3D oblik

• pasivne metode

• aktivne metode:

• I.) zajem z dotikom

objekta (CCM)

• II.) brezkontaktne

optične - metode

(trigonometrija)

Triangulacija

Rasterski in vektorski

režim

selektiven izbor površine

Problemi pri triangulacijskem

postopku

• kalibracija in natančnost

merilne opreme,

• geometrijska dostopnost,

• okluzija oziroma

prekrivanje,

• večje število pogledov

(seštevanje napak),

• laserska pegavost ,

• difuzija svetlobe na

površini (potrebna uporaba

spreja)

• šum in pomakljivi podatki

(motnje iz okolice)

METODA 1

• oddelek LABOD

• dotikalna

metoda (CCM)

• referenčni

model

• deklarirana

točnost

znotraj 0.005

mm

• željena

točnost: +/-

0.5 mm

UGOTOVITVE

• trajanje

skeniranja 5ur

• 800 000 točk

• neobčutljiv na

motnje iz

okolice

• omejen volumen

zajema – metoda

ni primerna za

oklepe

• oddelek LAT

• Hajfajst x-

y osi

• nastavek z-

os

• uporaba

rdečega

filtra

METODA 2

• 40 ur za zajem

• 61 trakov

• površina iz 20

000 slik

• ZScanner 700

• podjetje IB-ProCad

• teža 1 kg

• cena 16 000 €

• stereokamera

• natančnost do 0,05

mm

• 20 minut dela

• srednje nastavitve

-

28 000 točk

METODA 3

• CCM – triangulacija

• odstopanje > 0,5 mm

• neomejen volumen

zajema

• enostavno rokovanje

in uporaba paketa

• DAVID laserscanner

• preprosta izvedba

• hitro do prvih

rezultatov

• šum površine

• hobi (3D animacije)

METODA 4

Measuring BRDFs

• A full BRDF is 4-dimensional

• Simpler measurements

(0D/1D/2D/3D) often useful

• Start with simplest, and get

more complex

Measuring Reflectance

0º/45º

Diffuse Measurement

45º/45º

Specular Measurement

Integrating Spheres

• Sphere with diffuse material

on inside

• Geometry ensures even

illumination

• More accurate measure of

diffuse reflectance

Gloss Measurements

• Standardized for applications

such as paint manufacturing

• Example: “contrast gloss” is

essentially ratio of specular

to diffuse

• “Sheen” is specular

measurement at 85°

Gloss Measuements

• “Haze” and “distinctness of

image” are measurements of

width of specular peak

BRDF Measurements

• Next step up in complexity:

measure BRDF in plane of

incidence (1- or 2-D)

Marschner’s Image-Based BRDF

Measurement• For uniform BRDF, capture 2-D

slice corresponding to variations

in normals

vir: Advanced Machining Processes of Metallic Materials, STR.180

PRIMER UPORABE STROJNEGA VIDA ZA

SPREMLJANJE OBRABE ORODJA

slika: Postopek skeniranja objekta, ki temelji na principu optične triangulacije

meritve v proizvodnjilab.fs.uni-lj.si/lat/uploads/metrologija/p8.pdfem spekter 3-d slika: f(x,y,z)...

Documents