teorija inoformacija i komunikacija

Državni Univerzitet NOVI PAZAR2011./2012.

Dr. Ivan ĐOKIĆ

TEORIJA INFORMACIJATEORIJA INFORMACIJA

LEKCIJA 1: Upoznavanje s predmetom

CILJ PREDMETA: Sticanje temeljnih znanja iz područja Teorije informacija, koja u informatičkom društvu uz znanje predstavlja najvažnije resurse vezane uz procese u nauci, privredi i društvu.

ISHOD PREDMETA: Studenti će biti osposobljeni za samostalna istraživanja iz oblasti Teorije informacija kao i za uspešnu primenu stečenih znanja na konkretnim zadacima u drugim disciplinama – telekomunikacijama, fizici, računarskoj tehnici, kriptografiji, ekonomiji, itd.


SADRŽAJ PREDMETA:

1. Opis naučnog podrčja Teorije informacija;2. Odnos Teorije informacija prema susednim pdručjima

nauke;3. Kolmogorova kompleksnost;4. Definicija informacije, sadržaj, količina informacije;5. Entropija, vrste i osobine, združena i uzajamna entropija;6. Kompresija podataka;


SADRŽAJ PREDMETA:

7. Modeli komunikacijskih sistema;8. Uzajamna informacija, kapacitet kanala;9. Kodovanje u cilju prenosa po kanalima sa šumom, kodovi za ispravljanje grešaka; 10.Sigurnosno kodovanje, kriptografija;11. Upravljanje informacijama.


ORGANIZACIJA PREDMETA:

Predavanja: 15 x 2 časaVežbe: 15 x 3 časa

LITERATURA:1.D. B. Drajić: "Uvod u teoriju informacija i kodovanje," Akademska misao, Beograd, 2000.2.V. Sinković: "Informacija, simbolika i semantika," Školska knjiga Zagreb, 1997.3.Cover, T.M., J.A., Thomas, Elements of Information Theory, J. Wiley & Sons, N. York, 1991.4.Prezentacije sa predavanja.


POLAGANJE PREDMETA:

Kolokvijum 1 .................. 20% - teorija - zadaciKolokvijum 2 .................. 20% - teorija - zadaciIspit ............................... 60% - teorija - zadaci - potrebno min 50% od mogućih bodova


FORMIRANJE OCENE:

90 < x < 100 bodova ................. Ocena 1080 < x < 89 bodova .................. Ocena 970 < x < 79 bodova .................. Ocena 860 < x < 69 bodova .................. Ocena 750 < x < 59 bodova .................. Ocena 6 x < 50 bodova .................. Nije položio



InformacijaInformacija• Šta znači reč “informacija”?• Ne postoji usvojena precizna definicija, ali ipak:• Informacija nosi neko specifično znanje, koje je sigurno

novo za onog ko prima informaciju; • Informaciju nešto (ili neko) isporučuje u različitim

formama (pismo, brojevi, simboli, sekvence brojeva ili simbola, zvuk, slika, ...);

• Informacija ima smisla samo ako onaj ko je prima može da je interpretira.

• Prema Oxford English Dictionary, najstarije istorijsko značenje reči information na engleskom jeziku je act of informing, ili davanje forme, oblika mišljenju.


• Materijalizovana informacija predstavlja poruku;• Informacija se uvek o nečemu (veličina nekog

parametra, dešavanje nekog događaja, itd.) • Posmatrano na ovaj način informacja ne mora da

bude tačna, ona može biti istina ili laž; • Čak i šum koji se koristi da da onemogući

komunikaciju i da generiše nerazumevanje među učesnicima komunikacije, predstavlja jednu formu informacije;

• Generalno, ako količina informacija u primljenoj poruci raste, poruka je tačnija.

InformacijaInformacija


Podatak, informacija, znanje, mudrostPodatak, informacija, znanje, mudrost



Science is organized knowledge. Wisdom is organized life.“

Immanuel Kant


• Kako može da se meri količina informacija?

• Kako može da se obezbedi korektnost informacije?

• Šta da se radi ako je informacija izmenjena zbog prisustva grešaka?

• Koliko je potrebno memorije da bi se u njoj sačuvala neka informacija?

Teorija informacijaTeorija informacija


• Osnovne odgovore na prethodna pitanja, koji su baza moderne TEORIJE INFORMACIJA (information theory) dao je poznati američki matematičar, inženjer elektrotehnike i naučnik u oblasti računarske tehnike Klod Šenon (Claude E. Shannon) u svom radu

• “A Mathematical Theory of Communication” objavljenom u časopisu “The Bell System Technical Journal” oktobra 1948. godine

Teorija informacijaTeorija informacija


Claude Elwood Shannon (1916-2001)

Otac Teorije informacija Otac Teorije projektovanja digitalnih kola Karijera: Bell Laboratories (1941-1972), MIT(1956-2001)


Claude Elwood Shannon (1916-2001)

“Before 1948, there was only the fuzziest idea of what a message was. There was some rudimentary understanding of how to transmit a waveform and process a received waveform, but there was essentially no understanding of how to turn a message into a transmitted waveform.”

[Gallager, Claude Shannon: A Retrospective, 2001 pg. 2683]


Sadržaj informacije

• Šta je sadržaj informacije svake poruke? • Šenonov odgovor je: Sadržaj informacije neke poruke

sastoji se od niza jedinica i nula koje izvor informacije emituje.


• Dakle, elementarna jedinica informacije je binarna jedinica: bit, koja može biti 1 ili 0, “tačno” ili “netačno”, “da” ili “ne”, “crno” ili “belo”, itd.

• Jedan od osnovnih postulata Teorije informacija je da informaciju možemo tretirati kao merljivu fizičku veličinu, kao što su brzina, masa, gustina.



• Pretpostavimo da neko baca novčić milion puta i zapisuje rezultat sekvencijalno. Ako želi ovu sekvencu da saopšti nekom drugom, koliko mu je potrebno bita?

• Ako je novčić ispravan, dva moguća ishoda (pismo i glava) desiće se sa jednakom verovatnoćom. Tako da se rezultat svakog bacanja novčića može saopštiti jednim bitom informacije. Da bi se saopštila kompletna sekvenca neophodno je milion bita.



• Pretpostavimo da je novčić neispravan i da se glava događa sa verovatnoćom samo ¼, a pismo sa verovatnoćom ¾. Tada se cela sekvenca od milion bacanja može poslati sa 811,300 bita. Ovo ukazuje da svako bacanje novčića traži 0.8113 bita za slanje.

• Kako se može rezultat bacanja novčića prikazati sa manje od jednog bita, kada je jedini način za prikazivanja pomoću jedinica i nula?

• Očigledno ne može. Ali, ako je cilj da se pošalje kompletna sekvenca bacanja novčića, koja ima neku distribuciju verovatnoće rezultata bacanja novčića, tada se može iskoristiti znanje o distribuciji i izabrati efikasniji način kodiranja sekvence.

• Drugi način gledanja na ovaj problem je sledeći: Ako verovatnoća ishoda bacanja novčića favorizuje jedan rezultat, u ovom slučaju pismo, onda sekvenca koja predstavlja rezultat bacanja sadrži manje “informacije” nego ako su oba ishoda jednako verovatna. Ako sekvenca ima manje informacije, onda se ona može predstaviti sa manje bita



• Teorija informacija smatra važnim samo one simbole koji su neizvesni za onog ko ih prima.

• Godinama su ljudi slali telegrame izostavljajući reči koje nisu esencijalne, kao što su u engleskom jeziku "a" i "the“

• Na sličan način se mogu izostaviti predvidivi simboli, kao što je urađeno u sledećoj rečenici na engleskom jeziku, "only infrmatn esentil to understandn mst b tranmitd”.

Šenon je pokazao da je neizvesnost suština komunikacije.



Dva glavna pitanja Teorije informacija

1. Šta uraditi ako je informacija iskvarena greškama? 2. Kako što efikasnije uskladištiti podatke?

• Oba pitanja je postavio i na njih u dobroj meri odgovorio Klod Šenon 1948. godine: korišćenjem korekcije greške (error correction) i kompresije podataka (data compression)


Osnovni principi Šenonove “Teorije informacija”

• Šenonova teorija je pokazala inženjerima koliko informacija se može preneti kanalom za komunikaciju idealnog sistema;

• Šenon je precizirao matematički principe kompresije podataka, koji prepoznaju kako na kraju treba da izgleda rečenica “only infrmatn esentil to understadn mst b tranmitd”;

• Šenon je takođe pokazao kako se može preneti informacija kanalom u prisustvu šuma, sa učestanošću grešaka koje se mogu kontrolisati.


Zašto je važna teorija informacija?

• Zahvaljujući Teoriji informacija digitalni sistemi su postali dominantni u oblasti komunikacija i obrade informacija.

• Modemi, • Satelitske komunikacije, • Skladištenje podataka,• Komunikacije u svemiru, • Bežične komunikacije.


Kanali (Channels)

• Kanal ise koristi za prenos informacija od izvora do prijemnika:

Izvor binarni kanal

0,1,1,0,0,1,1 Prijemnik

Mnogi sistemi se ponašaju kao kanal; Očigledni primeri: telefonske linije, Eternet kablovi, ... Manje očigledni primeri: vazduh kada govorimo, TV ekran, papir kada pišemo, ...

Sve su ovo fizički medijumi, i time skloni pojavi grešaka.


Kanali sa prisustvom šuma

Kanal u kome nema šuma prenosi bite bez grešaka:

0 0

1 1

Kanal u kome postoji šum dovodi do simetrične promene bita 0↔1 sa verovatnoćom p:

0 0

1 1

1–p

1–p

pp

Šta treba uraditi da se pouzdano prenese informacija kroz kanal u kome postoji šum?


Korekcija greške pre Šenona

• Jednostavna, trivijalna korekcija greške (pretpostavka da je p˂0.5):Umesto slanja “0” i “1”, šalje se “0…0” i “1…1”.

• Prijemnik uzima većinski broj bita kao “nameravanu vrednost” koju je poslao izvor informacije;

• Primer: Ako ponovimo vrednost bita 3 puta, verovatnoća greške opada sa p na p2(3–2p). Ako je npr. p=0.1, verovatnoća greške se smanjuje na 0.028;

• Međutim, sada mora da se pošalje kroz kanal 3 bita da bi se dobio 1 bit informacije, a ovo postaje još gore ako se zahteva još veće smanjenje verovatnoće greške.


Brzina prenosa kroz kanal (Channel Rate)

• Kada se vrši korekcija greške, mora se imati na umu povećanje broja bita, koji se prenosi, da bi se preneo jedan bit informacije ( u prethodnom slučaju odnos je 3x);

• Za jednostavan slučaj kodiranja u prethodnom primeru ako je 00r i 11r , sa odnosom 1/r, verovatnoća greške se smanjuje p rpr–1;

• Ako se želi izuzetno mala greška pri prenosu informacije, to zahteva izuzetno malu brzinu prenosa (rx manju), što predstavlja cenu koja se plaća.


Šenonova korekcija greške

• Šenonovo osnovno zapažanje:

• Korekcija jednog bita dovodi do uzaludnog utroška resursa, neefikasno je. Umesto toga, treba vršiti korekciju bloka bitova.

• Pokazuje se da je moguće dobiti malu verovatnoću greške sa konstantnom brzinom prenosa kroz kanal, 1–H(p), gde je H(p) Šenonova entropija (Shannon entropy), definisana kao

H(p) = –p log2(p) – (1–p) log2(1–p).


Model komunikacionog sistema

• Komunikacioni sistem je statističke prirode;• Performanse sistema se ne mogu opisati deterministički, one su

uvek date u statističkom smislu; • Izvor je uređaj koji vrši selekciju i šalje sekvence simbola iz datog

skupa; • Svaka selekcija simbola je slučajna, mada može biti bazirana na

nekom statističkom pravilu. • Kanal prenosi dolazeće simbole prema prijemniku. Performanse

kanala su takođe bazirane na zakonu verovatnoće; • Ako izvor šalje simbol A sa verovatnoćom P{A} , i kanal prenese

simbol A do prijemnika sa verovatnoćom P{A|A}, onda je verovatnoća da bude poslat A i na prijemu primljen A P{A}∙P{A|A}.


• Kanal je najčešće sa gubicima: deo poslatog sadržaja ne stiže na odredište ili stiže u izobličenoj formi.



• Značajan posao u komunikacionom sistemu je minimizacija gubitaka i optimalan oporavak (dobijanje originalnog sadržaja koji je izmenjen greškama zbog efekata šuma);

• Metod koji se koristi za poboljšanje efikasnosti kanala zove se kodiranje.

• Kodirana poruka je manje osetljiva na šum.



• Dekodiranje se koristi da se kodirana poruka transformiše u originalnu formu, koja je prihvatljiva za onog ko prima poruku.

Kodiranje (F): I F(I)Dekodiranje (F-1): F(I) I



Kvantitativna mera informacije

• Pretpostavimo da nam je zadatak da izaberemo neki uređaj iz kataloga u kome je prikazano n različitih modela: {x1,x2,...,xn}

• Poželjna količina informacije I(xk), koja je u vezi sa izborom određenog modela xk mora biti funkcija verovatnoće izbora xk :


• Ako iz razloga jednostavnosti pretpostavimo da je izbor svakog od raspoloživih modela jednako verovatan, tada je poželjna količina informacija funkcija jedino od n:

36



• Ako je svaki od uređaja moguće naručiti u jednoj od m različitih boja, i neka je izbor svake boje jednako verovatan, onda je količina informacija u vezi sa izborom boje cj:



• Izbor uređaja može se izvršiti na jedan od dva načina:• 1. Izabrati prvo uređaj, a onda boju nezavisno:

2. Izabrati i uređaj i boju istovremeno, kao jednu od m∙n opcija:



• S obzirom da su ove količine informacija jednake, sledi:

• Među nekoliko rešenja ove funkcionalne jednačine, najvažnija je:

• Tako, kada statistički eksperiment ima n jednako verovatnih ishoda, srednja količina informacije u vezi ishoda je log n .

39



• Logaritamska mera informacije ima poželjnu osobinu aditivnosti, pogodnu statistički nezavisne eksperimente;

• Najjednostavniji primer je izbor između dva jednako verovatna slučaja. Količina informacije u vezi izbora jednog od dva jednako verovatna slučaja daje JEDINICU INFORMACIJE poznatu kao BIT.


KAKO UČITI ?


teorija inoformacija i komunikacija

Documents