obrada informacija - ieee · l kompresija slike . frekvencija otipkavanja . frekvencija otipkavanja...
TRANSCRIPT
Obrada informacija Uvod
Sven Lončarić Damir Seršić
Marko Subašić http://www.fer.hr/predmet/obrinf
Pregled tema
l Obrada informacija l Primjene obrade signala l Primjene obrade slike l Praktične demonstracije
Informacije
l U okviru ovog predmeta pod pojmom informacija podrazumijevamo: l tekst l zvuk, govor, muzika, l slika, volumen (3-D slika) i l video (2-D i 3-D)
Informacije i mediji
l Informacije su temelj funkcioniranja civilizacije l Mediji su sredstvo za pohranu i prijenos informacija
(npr. medij: novine – informacije: tekst i slike) l Mediji postoje već tisućama godina i služe za
pohranu i prijenos informacija (npr. spiljsko slikarstvo, kamene ploče, papirus, knjige)
l Novi elektronički mediji omogućuju nove načine za obradu, prijenos i pohranu informacija
Pojam multimedija
l Multi-medij je medij koji predstavlja više različitih vrsta informacija kao što su tekst, govor, slika i video (za čiji prikaz bi inače trebalo više klasičnih medija)
l Predstavljanje multimedija u elektroničkom obliku omogućuje efikasnu obradu, prijenos i pohranu
Aspekti rukovanja informacijama
l Akvizicija informacija l Obrada informacija l Analiza i razumijevanje informacija l Prijenos informacija l Pohrana (arhiviranje) informacija
Akvizicija informacija
l Akvizicija informacija može se provoditi na puno načina: l Mjerenjem procesa u prirodi (temperature, tlak zraka, itd) l Snimanjem biomedicinskih signala i slika (EKG, CT, MR) l Mjerenjem signala u industrijskom procesu l Snimanjem govora ili muzike l Snimanjem fotografija ili videa ili dohvatom na WWW l Prikupljanjem paketa podataka u komunikacijskoj mreži l Prikupljanjem teksta (E-mail poruke, web stranice)
Akvizicija informacija
l Zavisno od vrste informacije mijenjaju se zahtjevi na potrebnu sklopovsku i programsku opremu: l Za razne vrste signala potrebni su razni senzori (za zvuk,
sliku, temperaturu, itd) l Za analogne veličine potrebna je A/D konverzija l Za slike potrebna je kamera (u kojoj se nalazi CCD ili
CMOS senzor) l Za video potrebna je video kamera koja snima niz slika
Kontinuirani i diskretni signali i slike
l Vremenski kontinuirani signal je funkcija f(t), gdje je t vremenska varijabla
l Vremenski diskretni signal je funkcija f(k), gdje k cjelobrojni indeks koji predstavlja vrijeme
Otipkavanje signala
l Otipkavanjem (ili uzorkovanjem) se od vremenski kontinuiranog signala dobiva diskretni signal
l Uniformno otipkavanje je kad uzmemo uzorke signala f(t) u trenucima t = kT, gdje je T period otipkavanja
l Npr. digitalni audio na CD-u je otipkan frekvencijom od 44,1 kHz (jedan uzorak svake 22,6 µs)
Otipkavanje slika
l Najčešće se koristi uniformno otipkavanje gdje su uzorci slike (pikseli) u pravokutnom rasporedu
l Prostorna frekvencija = broj uzoraka po jedinici duljine
l Frekvencija otipkavanja u x i y smjeru
Kvantizacija vrijednosti
l A/D konverzija je proces gdje se analogna (kontinuirana) vrijednost pretvara u binarni broj
l Svaki kanal digitalnog audio signala na CD-u prikazan je sa 16 bitova/uzorku
l Kod slika često se koristi prikaz sa 8 bitova/pikselu l Kod crno bijelih slika koristi se 8 bitova/pikselu l Kod slika u boji koristi se 24 bitova/pikselu (kod RGB
prikaza to je 8 bitova/pikselu za svaku boju)
ulazni signal (slika)
izlazni signal (slika)
obrada
Definicija obrade signala (slike)
l Digitalna obrada signala ili slika = podvrgavanje numeričkih reprezentacija objekata seriji operacija s ciljem postizanja željenog rezultata
l Karakteristika: signal (slika) je na ulazu i na izlazu
ulazni signal (slika)
izlazna informacija analiza
Definicija analize signala (slike)
l Digitalna analiza signala ili slike = proces koji iz signala ili slike dobiva nešto različito od signala ili slike s ciljem dobivanja (ekstrakcije) informacija iz slike
l Karakteristika: ulaz je signal ili slika
Primjene obrade signala
l Digitalna obrada signala ima brojne primjene - gdje god je neku informaciju moguće prikazati kao niz brojeva
l Primjeri primjena su: l Digitalni audio (Compact Disc) l Mobilna telefonija (GSM) l Biomedicina l Sinteza i analiza govora
Compact Disc
l Najveći izum u audio tehnologiji nakon Edisonovog cilindra za snimanje zvuka (Philips-Sony izum)
l CD sadrži niz novih tehnologija: l Digitalno predstavljanje signala l Optičko čitanje (nema trošenja diska) l Korekcija pogrešaka u čitanju s diska
l Omogućuje visoku kvalitetu zvuka l Visoka gustoća pakiranja informacije 1 milion bitova/
mm2 (Edisonov cilindar 100 bitova/mm2) l Postoji niz drugih aplikacija CD-a
Compact Disc
l Audio signal predstavljen sa dva 16-bitovna uzorka (dva kanala) otipkanih frekvencijom od 44.1 kHz l Player daje 1.41 Mb/s na izlazu l Količina bitova upisanih na CD je još veća zbog
redundantnog kodiranja za korekciju pogrešaka (4.32Mb/s) l 783 MB korisničke informacije za 74 minute
l Najuspješniji elektronički proizvod ikad napravljen l Godišnje se prodaje oko milijardu CD-a
l Literatura: Ken C. Pohlmann, Principles of Digital Audio, Google Books Search (tekst dostupan online)
Obrada signala u CD player-u
l Laserski snop čita niz bitova sa CD-a l Zbog oštećenja medija može biti i pogrešaka pri čitanju zato se koristi modulacija koja omogućuje korekciju pogrešaka l Provodi se demodulacija koja uklanja pogreške
l Nakon toga provodi se dekodiranje da se dobiju konačni izlazni digitalni uzorci
l D/A konverzijom se dobiva analogni zvučni signal l Tu postoje razne tehnike D/A konverzije kao npr. sigma-
delta D/A konverzija
Digitalni audio mikser
l Ulazi za mikrofone, instrumente, itd.
l Pretvorba analognog signala u digitalni
l Digitalna obrada signala
l Upravljanje pomoću računala ili pomoću kontrola na mikseru
Višekanalni digitalni audio
l “Surround” formati za prikaz zvuka l Koderi i dekoderi koriste naprednu digitalnu obradu signala l Načini kodiranja kojim se 6 (ili više) audio kanala prikazuje
pomoću niza bitova l Dolby Digital 5.1 (AC3)
l Pet kanala s opsegom 20-20.000 Hz l Jedan kanal opsega 20-120 Hz (za subwoofer)
l DTS (Digital Theatre System) l Konkurentni standard za DD5.1
GSM
l Digitalna obrada signala je temelj mobilne telefonije l GSM - Global System for Mobile Communications l Pri širenju radio signala dolazi do višestrukih
refleksija (npr. od visokih zgrada) l Primljeni signal je suma više reflektiranih signala l Problem se rješava periodičkim emitiranjem niza bitova koji
služe za ekvalizaciju radio kanala l Postupak se zove multipath ekvalizacija i radi se pomoću
digitalnog filtra koji poništava efekte refleksije
GSM
l Automatska kontrola snage predajnika zavisno od jačine primljenog signala l Na taj način postiže se produljenje života baterije
l Kodiranje govora l Govorni signal sa mikrofona je potrebno kodirati tako da se
postigne maksimalna kvaliteta zvuka uz dani broj bitova/s
l Dekodiranje govora l Na prijemnoj strani niz bitova treba dekodirati da bi se
dobio niz riječi koje se šalju na D/A konvertor za slušalicu
HD digitalna televizija
l Video komunikacijski sustavi l Trend: novi standardi za digitalnu TV koji omogućuju
višu kvalitetu slike (npr. DVB-T, DVB-S, DVB-S2) l HDTV – 1920x1080 piksela (2,07 mega piksela) l 4K UHDTV – 3840x2160 piksela (8,29 mega piksela) l 8K UHTDV – 7680x4320 piksela (33,18 mega piksela)
l Obrada slike je temelj za kodiranje i dekodiranje slike i zvuka l MPEG-2, MPEG 4 za video l AC3 za audio
Adaptivno uklanjanje buke
l Problem: Uklanjanje buke iz pilotske kabine l Buka mlaznog motora do 140 dB, govor pilota 30 dB l Govorna komunikacija nije moguća bez poništavanja buke l Buka motora nije konstantna nego ovisi o režimu leta l Poništavanje buke mora biti adaptivno, mora ovisiti o buci
Adaptivno uklanjanje buke
l Slušalice koje poništavaju šum l Mikrofon mjeri vanjsku buku l Algoritmi za adaptivno filtriranje
korigiraju originalni zvuk dodatnim signalom koji poništava vanjsku buku
l U praksi neke vrste buke se poništavaju bolje, a neke lošije
n Analiza signala brzine krvi u aorti izmjerena ultrazvukom
n Cilj: dijagnostika bolesti srca
Obrada signala u biomedicini
Analiza EKG signala
l Analiza EKG signala radi dijagnostike
l Predikcija opasnih stanja u radu srca (npr. fibrilacija srčanog mišića)
l Pacemaker dizajn
Obrada signala u financijama
• Signali (vremenski nizovi) u financijskom poslovanju
• Modeliranje financijskih tržišta • Predviđanje cijena dionica • Donošenje odluka o prodaji/kupnji dionica • Modeliranje rizika u predviđanju kamatnih stopa • Problem alokacije portfolia investicijskih fondova • Predviđanje likvidnosti tržišta • Automatsko upravljanje investicijskim fondovima
Obrada signala u bioinformatici
• Genomika, bioinformatika • DNA se može prikazati kao niz
znakova iz alfabeta (A,G,T,C) – to je dakle jedan signal
• DNA sequencing – postupak određivanja redoslijeda četiriju baza (A,G,T,C) u nekom DNA
• Metode traženja određenih nizova u DNA
• Mjerenje sličnosti dijelova dvaju DNA (sličnosti nizova)
Višedimenzionalni signali - slike
l Slika je dvodimenzionalni signal l Prostorno kontinuirana slika f(x,y) l Prostorno diskretna slika f(i,j)
l U praktičnim realizacijama na računalu obično se koriste diskretne reprezentacije (slično kao kod 1-D digitalne obrade signala)
l Volumen je trodimenzionalni signal f(i,j,k), gdje su i, j i k prostorne koordinate
Višedimenzionalni signali - video
l 2-D video je niz slika f(i,j,k) gdje su i i j diskretne prostorne koordinate, a k diskretno vrijeme – dakle sveukupno 3-D signal
l 3-D video je niz volumena koji se dobije npr. snimanjem CT ili MRI u medicini
l 3-D video je 4-D signal (3 prostorne koordinate i jedna vremenska koordinata)
Povijest
l Bartlane cable picture transmission system l Prijenos slike između Londona i New Yorka l Rane dvadesete godine ovog stoljeća l Povećanje brzine s tjedna na par sati l Kodiranje na predajnom kraju l Tiskanje na specijalnom pisaču na prijemnom kraju
(pomoću polutonova)
Bartlane sistem za prijenos slike
l Slaba kvaliteta slike l Pet sivih nivoa (kasnije povećano na 15)
Razvoj obrade slike
l Poznato je da za razvoj bilo kojeg područja postoje tri osnovna preduvjeta: l Teorija (predstavlja temelj za praktične metode) l Alati (npr. digitalna računala) l Dobre primjene (preduvjet za financiranje, npr. istraživanja
svemira, vojne primjene) l Karakteristika obrade slike je zahtjevnost s obzirom
na potrebnu procesnu moć računala
Praktični problemi l Područje je izuzetno zanimljivo s puno primjena:
l Reprezentacija (predstavljanje) slike l Poboljšanje slike l Obnavljanje slike l Analiza i razumijevanje slike l Rekonstrukcija slike l Kompresija slike
Frekvencija otipkavanja
Frekvencija otipkavanja 1024×1024, 512×512, 256×256, 128×128, 64×64, 32×32
Kvantizacija svjetline
256, 128, 64 i 32 nijanse sive po točki
Kvantizacija svjetline
16, 8, 4 i 2 nijanse sive po točki
Poboljšanje slike
l Problem: Kako popraviti sliku l Popraviti neke karakteristike slike (obično na račun
ostalih): l poboljšanje kontrasta i rubova (contrast and edge
enhancement) l pseudokoloriranje (pseudocoloring) l uklanjanje šuma l izoštravanje
l Algoritmi su interaktivni i aplikacijski ovisni
Primjer poboljšanja slike
l Poboljšanje kontrasta i isticanje rubova na slici prsnog koša.
Primjer poboljšanja slike II
l Sol i papar (salt & pepper) šum l Poboljšanje uporabom median filtra
20% točaka je šum Filtrirana slika
Primjer poboljšanja slike III
l Sliku možemo poboljšati i operacijama na histogramu.
Primjer pseudokoloriranja
l Koristi se jer ljudi razlikuju daleko više boja nego nijansi sive boje.
Obnavljanje slike
l Problem: Kako popraviti sliku (ali drugi pristup) l Pretpostavka: poznat je način (model) kako je slika
pokvarena: l npr. degradacija od strane senzora ili okoline, l zamućenost (loš fokus), geometrijska izobličenja ili
nelinearnosti l uklanjanje smetnji (šuma)
f(x,y)
h(x,y,a,b)
g(x,y)
x
y
x
y PSF
Problem obnavljanja slike
l Iz zamućene i šumne slike g(x, y) pronaći ocjenu (estimate) originalne slike f(x, y)
l Funkcija razmazivanja točke (PSF - point spread function)
g(x, y) = h(x, y,a,b)f(a,b)dadb+n(x, y)∫∫
Linearni model degradacije
l f(.,.) predstavlja objekt l h(.,.,.,.) je funkcija razmazivanja (PSF - point spread
function) l g(.,.) je dobivena slika l n(.,.) je aditivni šum
Primjer obnavljanja slike
l Uklanjanje zamućenosti uslijed jednolikog pomicanja kamere tijekom snimanja.
Rekonstrukcija slike iz projekcija
l Posebna klasa problema obnavljanja slike l 2-D ili 3-D objekt se rekonstruira iz nekoliko 1-D
projekcija l Svaka projekcija se dobije projiciranjem paralelnih
rendgenskih zraka kroz objekt l Rekonstrukcijski algoritmi daju sliku tankog
aksijalnog sloja dajući sliku unutrašnjosti l Upotreba: medicina (CT, MR), astronomija, radar,
geologija, testiranje proizvoda
2D DFT l 2D diskretna Fourierova transformacija je definirana izrazom:
F(k,l) = 1N 2 f[m,n]WN
kmWNln∑∑
l 2D DFT svodi se na dvije 1D DFT transformacije l 1D DFT po stupcima pa 1D DFT po redcima (row-column) l 1D DFT po retcima pa 1D DFT po stupcima
l 1D DFT ima složenost O(Nlog2N). l 2D DFT ima složenost O(N2log2N).
Primjer 2D Fourierove transformacije
originalna slika amplituda faza
Kompresija slike i videa
l Slike i video zahtijevaju puno prostora l HDTV 1080i video (1920x1080x25f/s) daje podatke
brzinom 155 MB/s = 1,25 Gb/s l 4K UHDTV – zavisno od formata do 34 Gb/s l Tehnike kompresije smanjuju broj bitova potrebnih
za predstavljanje slike (bez ili sa stanovitim gubitkom informacije)
l Primjene: arhiviranje slika i dokumenata, prijenos slike, komunikacije
Kompresija slike
Nakon kompresije Prosječni bit rate - 0.5 bitova/točci
Original Lena 8 bitova/točci
Primjena DCT pri kompresiji slika l Slika se transformira DCT-om u blokovima veličine 8×8. l Ovisno o zapamćenom broju koeficijenata dobivamo različite
kvalitete pri dekompresiji
Originalna slika DCT koeficijenti Rekonstruirana slika Pogreška
Originalna slika DCT koeficijenti Rekonstruirana slika Pogreška
Primjena DCT pri kompresiji slika
Originalna slika DCT koeficijenti Rekonstruirana slika Pogreška
Primjena DCT pri kompresiji slika
Računalni vid
l Engl. computer vision l Sustavi za računalni vid pokušavaju računalom
riješiti perceptivne zadaće koje ljudi obavljaju u svakodnevnom životu l Prepoznavanje osoba i objekata, l Čitanje, l Kretanje u 3-D okolini i druge složene zadaće
l Računalni vid zahtijeva metode za obradu, analizu i razumijevanje slike
Analiza slike
l Mjerenje (ekstrakcija) informacije iz slike s svrhom dobivanja opisa
l Primjeri: l čitanje teksta na naljepnici na artiklu l klasifikacija objekata sa proizvodne linije l mjerenje veličine i orijentacije krvnih zrnaca l upravljanje robota l upravljanje aviona na osnovu slika prikupljenih tokom leta
Primjene u industriji
l Za industrijsku kontrolu kvalitete tipičan sustav ima sljedeće komponente:
kamera obrada i analiza slike
proizvod odluka
Primjene u industriji
l Nadzor i mjerenja proizvodnih procesa l Vizualna kontrola kvalitete u proizvodnji l Upravljanje proizvodnih procesa l Inteligentni strojevi u proizvodnji l Autonomna vozila l Robotski vid
Provjera ispravnosti oblika
Ispravan N
eispravan
Proizvod (označeni rubovi) Fourierovi deskriptori
Primjer površinskih grešaka
Ispravan N
eispravan
Proizvod Rezultati analize
Analiza pokreta u videu
l Problem detekcije pokreta: odrediti da li se neki objekt u slici kreće
l Problem procjene pokreta: za svaku točku u slici odrediti smjer kretanja točke
l Primjene: l Segmentacija i praćenje objekata l Kompresija videa l Sigurnosni nadzor l Nadzor prometa l Biomedicinske primjene
Detekcija pokreta
l Za danu video snimku treba za svaku točku odrediti da li se ta točka kreće ili ne
l Tipično se promatraju razlike između dvije susjedne slike
l Ukoliko postoji razlika to može biti zbog l pokreta ili l zbog šuma u slici
Primjer procjene pokreta
Analiza slika lica
Analiza slika lica
Podjela na male regije
50 100 150 200
50
100
150
200
250
300
50 100 150 200
50
100
150
200
250
300
Akvizicija slike Kanonizacija Pred-segmentacija Segmentacija
Rezultati
50 100 150 200
50
100
150
200
250
300
50 100 150 200
50
100
150
200
250
300
X: 91 Y: 64Index: 2RGB: 1, 0.813, 0
50 100 150 200
50
100
150
200
250
300
50 100 150 200
50
100
150
200
250
300
Obrada slika u medicini
l Slike su dobivene snimanjima npr. pomoću računalne tomografije, magnetske rezonancije ili ultrazvuka
l Poboljšanje kontrasta slika l Pseudokoloriranje slika za bolju vidljivost l Rekonstrukcija slika iz projekcija l Analiza slika (prepoznavanje organa, kvantitativna
mjerenja, praćenje progresivnih bolesti) l Registracija slika
Rentgensko snimanje
l Najčešće angiografija sa ubrizgavanjem kontrasta
Izgradnja 3-D modela
l Skup slika daje 3-D model (volumen)
Analiza medicinskih slika
l Segmentacija lijeve klijetke
Segmentacija aktivnim konturama
Analiza medicinskih slika II
l Segmentacija tumora u mozgu
Analiza medicinskih slika III
l Segmentacija sive tvari u mozgu
3D vizualizacija samo sive tvari (zeleno)
Analiza medicinskih slika IV
l Segmentacija žile iz CT slika
vizualizacija krvne žile
Daljinska snimanja
l engl. remote sensing l Slike iz velike udaljenosti (sateliti, avioni) l Geologija (nalazišta nafte i minerala) l Poljoprivreda (bolesti, prinosi, vegetacija) l Meteorologija (oblaci, atmosfera) l Ekologija (zagađenja, oceani, ledenjaci) l Šumarstvo l Vojne i policijske primjene
Potrošačka elektronika
l Digitalne foto kamere l Digitalne video kamere l Skeneri l Pisači l Video telefoni l Video projektori
Ostale primjene obrade slike
l Nuklearna fizika l Biologija l Mikroskopija (histologija) l Radar, sonar (poboljšanje slika) l Policijske primjene (otisci prstiju, slike osoba)
Predstavljanje slike
l Problem: Kako opisati sliku (scenu) l Poželjno je da opis bude kompaktan
l Ideja: Predstaviti sliku kao sumu osnovnih (jednostavnih) komponenti ili dijelova
l Jedno moguće rješenje su sustavi ortogonalnih funkcija i primjene za linearne transformacije slika l Primjer: 2-D Fourierova transformacija
Sklopovlje za digitalnu obradu signala i slike
l Digitalna obrada signala i naročito slike izuzetno je složena i numerički zahtjevna
l Upotreba računala opće namjene (off line) l memorijski intenzivna
l Specijalizirani sklopovi za rad u realnom vremenu l Procesori za digitalnu obradu signala l Specijalizirane arhitekture za obradu slike l Multiprocesorski i distribuirani sustavi
Znanstvena područja
l Raspoznavanje uzoraka (pattern recognition) l Neuronske mreže l Meko računarstvo (soft computing): genetički
algoritmi, neizraziti (fuzzy) sustavi l Računalna grafika l Inteligentni sustavi (ekspertni sustavi) l Virtualna realnost (prividna stvarnost)
Zaključak
l Predstavljen je uvod u obradu informacija l Primjene obrade signala l Primjene obrade slike