metode za automatsko podešavanje boje i svjetline slike · •postojanost boja •algoritmi za...

71
Metode za automatsko podešavanje boje i svjetline slike Mentor: prof. dr. sc. Sven Lončarić Student: Nikola Banić Zagreb, 9. srpnja 2013.

Upload: others

Post on 03-Mar-2020

4 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Metode za automatsko podešavanje boje i svjetline slike

Mentor: prof. dr. sc. Sven Lončarić

Student: Nikola Banić

Zagreb, 9. srpnja 2013.

Page 2: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Sadržaj

• Uvod

• Boje

• Postojanost boja

• Algoritmi za podešavanje boja

• Evaluacija algoritama za postojanost boja

• Algoritmi za podešavanje svjetline

• Evaluacija algoritama za podešavanje svjetline

• Programska implementacija

• Zaključak

2

Page 3: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Uvod

• Boje su često promijenjene

• Svjetlina često nije zadovoljavajuća

• Automatsko podešavanje

• Raznolika primjena

3

Page 4: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Uvod

4

podešene bojepodešene boje i svjetlina

Page 5: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Boje

• Svjetlosni fenomen

• Trikromatska teorija

• Grassmanovi zakoni

• Prostori: XYZ, Lab, RGB, HSV, YUV, CMYK...

• Kromatičnost

• Temperatura boje

5

HSV koordinate boja x, y dijagram kromatičnosti

Page 6: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Postojanost boja

6

• Procjena osvjetljenja

• Kromatska adaptacija

ista scena pod različitim osvjetljenjima

Page 7: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Procjena osvjetljenja

7

• Formacija slike:

• Boja izvora svjetlosti:

Page 8: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Kromatska adaptacija

• Izvorna boja: [XI, YI, ZI]T

• Odredišna boja: [XO, YO, ZO]T

• Transformacija: M

8

Page 9: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Kromatska adaptacija

• MA: prebacuje [X, Y, Z]T u [ρ, γ, β]T

• Računa se omjer komponenti boje izvora svjetlosti

• von Kries

• Bradford

• Sharp

• CMCCAT2000

• CAT02

9

Page 10: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Kromatska adaptacija

10

D65 D50

Page 11: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Algoritmi za podešavanje boja

• Gray World

• Retinex

• Mapiranje gamuta

• Strojno učenje

• Ostalo

11

• Vlastita metoda

Page 12: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Gray World

12

Page 13: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Gray World

13

Page 14: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Shades of Gray

14

Page 15: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Opći Gray World algoritam

15

Page 16: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Gradijenti

Page 17: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Gray Edge

17

Page 18: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Weighted Gray Edge

18

Page 19: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Gray World

19

Page 20: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Retinex

• Računa se svjetlina svakog piksela

• Kroz svaki piksel se provuku staze

20

Page 21: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Random Sprays Retinex

• Staze prelaze u sprejeve

• N – broj sprejeva

• n – veličina pojedinog spreja

• Brža verzija Retinexa

21

Page 22: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Random Sprays Retinex

Page 23: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

I( )

Random Sprays Retinex

Page 24: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Random Sprays Retinex

I( )

Page 25: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

I( )

max I( )

Random Sprays Retinex

I( )=

Page 26: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

I( )

max I( i)

Random Sprays Retinex

I( )= 1N

ΣN

i=1

Page 27: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Random Sprays Retinex

27

originalna slika RSR s parametrima N=1, n=4

Page 28: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Random Sprays Retinex

28

RSR s parametrima N=5, n=20 RSR s parametrima N=20, n=400

Page 29: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Ubrzanje i popravljanje RSR-a?

29

rezultat RSR-a s malim vrijednostima parametara N i n primjena filtra usrednjavanja na prethodnu sliku

Page 30: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Prelazak u drugo područje

30

____________________________ =

Page 31: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Prelazak u drugo područje

31

procjena osvjetljenja piksela usrednjena procjena osvjetljenja

Page 32: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Vlastita metoda

32

____________________________ =

Page 33: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Vlastita metoda

33

____________________________ =

Page 34: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje
Page 35: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje
Page 36: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje
Page 37: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

37

Page 38: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje
Page 39: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje
Page 40: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje
Page 41: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

=

Page 42: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje
Page 43: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje
Page 44: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje
Page 45: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje
Page 46: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje
Page 47: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Vlastita metoda

• Rezultat je vrlo sličan rezultatu RSR-a

• Mnogo brže od RSR-a

• Računanje procjene osvjetljenja samo za neke točke i interpolacija

• Moguće je računati i globalnu procjenu osvjetljenja za cijelu sliku

• Light Random Sprays Retinex (Color Badger i Color Sparrow)

• Parametri: N, n, veličina jezgre ulaza, veličina jezgre osvjetljenja, r, c

47

Page 48: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Evaluacija algoritama za podešavanje boja

48

• Mjera pogreške: kut između vektora stvarne boje izvora svjetlosti i procijenejne boje izvora svjetlosti

• Korištenje slika s poznatim izvorima svjetlosti

• Baze slika: Greyball, ColorChecker YACCDB, YACCDB2...

Page 49: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Greyball

49

Page 50: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

ColorChecker

50

Page 51: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Odabir parametara vlastite metode

51

Page 52: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Rezultati – ColorChecker (linearni RGB)

Metoda Srednja vrijednost (o) Medijan (o) Trimean (o) Max (o)

Ništa 13.7 13.6 13.5 27.4

Gray World 6.4 6.3 6.3 24.8

SDWGW 5.4 4.9 4.9 22.9

Shades of Gray 4.9 4.0 4.2 22.4

Gray Edge 5.1 4.4 4.6 23.9

Mapiranje gamuta 4.2 2.3 2.9 24.2

HLVI 3.5 2.5 2.6 25.2

LRSR 3.7 2.8 3.0 23.6

52

Page 53: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Rezultati – Greyball (sRGB)

Metoda Srednja vrijednost (o) Medijan (o) Trimean (o) Max (o)

Ništa 8.3 6.7 7.3 36.8

Gray World 7.9 7.0 7.1 48.1

SDWGW 6.6 5.6 5.8 45.4

Shades of Gray 6.1 5.3 5.5 41.2

Gray Edge 5.9 4.7 5.1 41.2

Mapiranje gamuta 6.9 5.8 6.1 41.9

NIC 5.2 3.9 4.3 44.5

LRSR 5.6 4.9 5.0 44.3

53

Page 54: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Algoritmi za podešavanje svjetline

• Jednolika globalna promjena

• Retinex

• Kombinacija Retinexa i drugih algoritama

• Uklanjanje sjena

54

Page 55: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Jednolika globalna promjena

• (R’, G’, B’) = (k·R, k·G, k·B)

• (R’, G’, B’) = (R+M0, G+M0, B+M0)

• (L’, a’, b’) = (L+L0, a, b)

• (L’, a, b) = (k·L, a, b)

55

Page 56: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Jednolika globalna promjena

56

multiplikativni RGB aditivni RGB

aditivni Lab multiplikativni Lab

Page 57: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Retinex

57

ori

gin

aln

e sl

ike

prim

jena R

etinexa

Page 58: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Kombinacija Retinexa i drugih metoda

58

PCA

Page 59: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Kombinacija Retinexa i drugih metoda

59

Retinex

Page 60: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Kombinacija Retinexa i drugih metoda

60

_________________________________ =

Page 61: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Kombinacija Retinexa i drugih metoda

61

. =

Page 62: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Kombinacija Retinexa i drugih metoda

62

početna slika krajnji rezultat podešavanja svjetline

Page 63: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Kombinacija Retinexa i drugih metoda

63

slika s podešenom svjetlinom korištenjem PCA-a dodatna primjena Retinex algoritma

Page 64: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Evaluacija algoritama za podešavanje svjetline

Metoda ColorChecker Internet Zajedno

original 27 47 74

aditivni RGB 3 4 7

multiplikativni RGB 57 79 136

aditivni Lab 2 2 4

multiplikativni Lab 21 14 35

PCA 122 109 231

PCA tri puta 199 77 276

Retinex i PCA 268 84 352

Retinex i PCA tri puta 258 79 337

64

Page 65: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Evaluacija algoritama za podešavanje svjetline

65

original aditivni RGBmultiplikativni

RGB

aditivni Labmultiplikativni

LabPCA

3x PCA Retinex + PCARetinex + 3x

PCA

Page 66: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Programska implementacija

• Matlab

• C++ (OpenCV)

• Java

• Razna sučelja

66

Page 67: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Web sučelje

67

Page 68: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Java sučelje

68

Page 69: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

REST usluga

69

Algoritam URL Parametri algoritma

Gray World /wb/gw/ order, sigma, norm, median, shrink

Robust Gray World /wb/rgw/ threshold

Simplest Color Balance /wb/scb/ saturation

Random Sprays Retinex /wb/rsr/ N, n

SDWGW /wb/sdwgw/ n

Perfect Reflector /wb/pr/

Local Space Average Color /wb/lsac/

LRSR CB /wb/cb/ N, n, inputKernelSigma, inputSigma, illuminantKernelSigma,illuminantSigma, normalizeIlluminant, rowsStep, colsStep, rFactor,upperBound

LRSR CS /wb/cs/ N, n, inputKernelSigma, inputSigma, rowsStep, colsStep, rFactor,upperBound

Page 70: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje

Zaključak

• Podešavanje boja – loše postavljen problem, mnogo algoritama

• Podešavanje svjetline – teško provjeravanje točnosti

• Retinex – vrlo dobar (i spor) algoritam za podešavanje boja i svjetline

• Moguće je brže postizanje vrlo sličnog učinka Retinex algoritma

• Bolji rezultati i brže izvođenje od ostalih nenadziranih metoda za podešavanje boje

70

Page 71: Metode za automatsko podešavanje boje i svjetline slike · •Postojanost boja •Algoritmi za podešavanje boja •Evaluacija algoritama za postojanost boja •Algoritmi za podešavanje