teorija informacija i kodovi u telekomunikacijama

Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd

Teorija informacija i kodovi u

telekomunikacijama

Elektrotehnički fakultet

Katedra za telekomunikacije

Beograd, 2021.


- Organizacija predmeta -

TIK 2


Nastavnici i organizacija rada

Predavanja – petak, 13-16h

Predrag Ivaniš ([email protected], Paviljon 2, desno od RC)

Srđan Brkić ([email protected], Paviljon 2, desno od RC)

Vežbe – petak, 16-17h

Srđan Brkić ([email protected], Paviljon 2, desno od RC)

Predrag Ivaniš ([email protected], Paviljon 2, desno od RC)

Predavanja i vežbe izvode se pomoću platforme za učenje na daljinu (naovom predmetu koristi se plaftorma Microsoft Teams). Konsultacije se moguorganizovati preko platforme a po potrebi i uživo, u sali koja je određenarasporedom (sala 56).

Laboratorijske vežbe – Paviljon 2, desno od ulaza u Računski centar

Ilustracija teorijskih razmatranja sa predavanja i vežbi – 1 čas nedeljno.

Vežbe su grupisane u dva ciklusa. U slučaju da epidemiološki uslovi nedozvole izradu vežbi u laboratoriji, vežbe će se raditi od kuće.

TIK 3


MS Teams

Naziv tima: 13e034tik

Opis tima: Teorija informacija i kodovi u

telekomunikacijama

Link za pristup (spojiti u jedan red):https://teams.microsoft.com/l/team/19%3a2dd91f681ea7460ba785f4b66d32

258b%40thread.tacv2/conversations?groupId=cbf1ae2f-3b83-43ea-a189-

40c5dd376882&tenantId=1774ef2e-9c62-478a-8d3a-fd2a495547ba

Materijali koje će biti moguće preuzeti:• Prezentacije sa svih časova predavanja i vežbi

• Sve prezentacije će biti dostupne i u obliku video fajla, sa animacijama i

pratećim audio zapisom

• Softver za laboratorijske vežbe koji na interaktivan način ilustruje

lekcije

TIK 4


Polaganje ispita

Ispit iz predmeta se sastoji od:

1. Kolokvijuma

2. Završnog ispita

3. Domaćeg zadatka (opciono)

Kolokvijum se sastoji od:

dva teorijska pitanja (po 5 poena)

dva kratka zadatka (po 10 poena)

- Poeni osvojeni na kolokvijumu određuju 30 poena.

- Kolokvijum se biti održan krajem aprila i traje dva sata.

- Nadoknada kolokvijuma se organizuje u junskom i julskom

ispitnom roku.

TIK 5


Polaganje ispita

Završni ispit se sastoji od:

dva ili tri teorijska pitanja ili kratka zadatka (ukupno 30 poena)

dva ili tri kompleksnija zadatka (ukupno 40 poena)

- Završni ispit održava se u ispitnim rokovima, traje tri sata i na

njemu se može osvojiti 70 poena.

Domaći zadatak – može se raditi opciono, tokom semestra.

- Zadaci će biti formulisani na časovima predavanja i vežbi,

studenti se za rad na zadatku prijavljuju individualno, a svaki od

zadataka može raditi najviše dva studenta.

- Rok za predaju domaćeg zadatka je 15 dana od dana njegovog

zadavanja. Na domaćem zadatku može se osvojiti 10 dodatnih

poena, koji se sabiraju sa poenima osvojenim na kolokvijumu i

pismenom delu ispita (bez obzira da li ste radili kolokvijum).

TIK 6


Pravila za predavanje domaćeg zadatka

Sve što nije listing programa ili grafik predaje se ISKLJUČIVO u rukopisu,

ne primaju se domaći zadaci odštampani na računaru, očekuje se da

prilikom predaje domaćeg zadatka možete da objasnite šta ste ispisali.

Format zadataka koji se rade pisanjem programa:

1) Skicirati simulacioni model i organizaciju programskog rešenja (rukom);

2) Priložiti rešenje u vidu tabele i/ili grafika (zavisno šta se traži);

3) Komentarisati dobijene rezultate ako treba;

4) Priložiti listing programa.

Sve treba da bude iskucano na papirima formata A4, priheftano ili

pričvršćeno spajalicom, u omotnom listu na kome je naznačeno ime i broj

indeksa autora programa i naziv i redni broj odgovarajućeg zadatka.

TIK 7


Ispit i formiranje ocene

Maksimalan broj poena koji se može osvojiti na ispitu iznosi

100 (sa domaćim zadatkom 110), a za najvišu ocenu

potrebno je osvojiti 91 poen. Ukupan broj poena za svakog

studenta računa se po formuli:

I (≤110) = K (≤30) + Z (≤70) + DZ (≤ 10)

gde je:

I – ukupan broj poena osvojenih na ispitu;

K – broj poena osvojenih na kolokvijumu;

Z – broj poena osvojenih na završnom ispitu;

DZ – broj poena osvojenih na domaćem zadatku;

TIK 8


Konsultacije, lab. vežbe

Konsultacije se drže posle časova u kabinetu u Paviljonu 2

lično, a ne putem telefona ili elektronske pošte. Molim vas

da se STROGO pridržavate termina za konsultacije!

U istom terminu (ili na pauzi izmedju časova) se predaju

domaći zadaci.

Laboratorijske vežbe: Za prisustvo na vežbi obavezan je praktikum.

Prvi ciklus verovatno posle 15. aprila.

U slučaju da nije urađena makar jedna vežba student gubi pravo da

polaže ispit u toku tekuće školske godine (laboratorijske vežbe su

predispitna obaveza!).

TIK 9


Web strana

Stranica predmeta na sajtu katedre

Stranica predmeta 13e034tik: http://telit.etf.rs/kurs/teorija-informacija-i-

kodovi-u-telekomunikacijama/

Pristup materijalima moguć je tek nakon što se unese korisničko ime i

lozinka (na isti način kao na drugim predmetima sa odseka)

Sadržaji: Osnovne informacije o predmetu

Elektronski dokumenti - prezentacije sa predavanja i vežbi, tekstovi zadataka sa prethodnih ispitnih rokova,

Novosti i obaveštenja - spiskovi za laboratorijske vežbe, rezultati ispita…

Ostalo

TIK 10

http://telit.etf.rs/kurs/teorija-informacija-i-kodovi-u-telekomunikacijama/


Mejling lista predmeta

Prezentacije i obaveštenja

SYMPA lista: https://lists.etf.rs/wws/arc/13e034tik

Prezentacije se nalaze u delu ‘Shared documents’.

Sva obaveštenja će vam biti dostavljana na vaš zvanični fakultetski e-

mail nalog, šifra je ista kao za bilo koji drugi predmet.

Korisničko ime oblika: [email protected]

gde username sadrži inicijale, godinu upisa i broj indeksa

(korisničko ime je identično e-mail adresi na koju ste dobili mejl sa

obaveštenjem da je formirana lista)

Ako niste na listi iskoristite opciju Subscribe.

Sadržaji: Uslovi i pravila za polaganje ispita.

Tekstovi zadataka sa prethodnih ispitnih rokova.

Spiskovi za laboratorijske vežbe, rezultati kolokvijuma i ispita...

TIK 11


Literatura

[1] C. E. Shannon, “A mathematical theory of communication,” Bell

System Technical Journal, vol. 27, pp. 379-423, July 1948; pp.

623-656, October 1948.

[2] D. Drajić, P. Ivaniš, “Uvod u teoriju informacija sa kodovanjem”,

četvrto izdanje, Akademska misao, Beograd, 2018.

[3] P. Ivaniš, “Zbirka rešenih zadataka iz teorije informacija i

kodovanja”, Akademska misao, Beograd, 2013.

[4] S. Lin, D. J. Costello, Error Control Coding, Second Edition,

Prentice Hall, New Jersey, 2004.

[5] D. J. Costello, Jr., J. Hagenauer, H. Imai, S. B. Wicker,

“Applications of Error-Control Coding”, IEEE Trans. Inform.

Theory. Vol 44 (1998), pp. 2531-2560

[6] R. H. Morelos-Zaragoza, The Art of Error Correcting Coding,

John Wiley & Sons, Ltd, England, 2002.

TIK 12


Osnovna literatura

TIK 13

• Za pripremanje ispita dovoljne su druga i treća knjiga sa prethodnog spiska,

koje su namenski pisane za ovaj kurs.


- Kratka

prezentacija predmeta -

TIK 14


XIX vek - razvoj fizike

XIX vek obeležila je potreba za energijom:

Klasična mehanika – Isak Njutn (XVIII vek)

• Tri Njutnova zakona – sila, masa, ubrzanje.

• Opisano kretanje tela i uveden pojam mase kao nepromenljive veličine.

• Ipak, Njutn ne barata pojmom energije!

Statistička mehanika – Džejms Preskot Džul, Lord Kelvin,... (XIX vek)

• Prvi i drugi princip termodinamike – očuvanje energije, smer toplotnih

procesa.

• Definiše se energija kao sposobnost tela da vrši rad (za to vreme, sredinu

XIX veka, vrlo apstraktan pojam).

• Tom prilikom je uveden pojam entropije kao mere neuređenosti sistema.

• Nešto ranije, početkom XIX veka uvedena je Furijeova analiza za

rešavanje problema provođenja toplote.

Specijalna teorija relativnosti – Albert Ajnštajn (početak XX veka)

• Masa nije nepromenljiva, relativna je u odnosu na brzinu.

• Otkrivena je jednostavna relacija koja povezuje energiju sa masom

E=mc2

TIK 15


XX veka - razvoj telekomunikacija

XX vek obeležila je potreba za pouzdanom komunikacijom:

Deterministički pristup (kraj XIX, početak XX veka)

• Primena Furijeove analize na projektovanje telekomunikacionog sistema.

• Koristan signal (alfanumerički znaci, govor) pojednostavljeno se predstavlja

periodičnim ili aperiodičnim determinističkim signalima a Furijeovom

analizom određuje se njihov spektar.

• Kada je poznat spektar signala može se odrediti širina propusnog opsega

potrebna da se prenese veći deo snage signala.

• Šta ako pri prenosu postoje jake smetnje? One se ne mogu tako lako opisati

determinističkim signalima!

Dva osnovna telekomunikaciona resursa:

• Emitovana snaga signala (transmitted power) – srednja snaga signala

na predaji - na ulazu u kanal;

• Propusni opseg kanala (channel bandwidth) – opseg frekvencija

dodeljen za prenos signala poruke.

TIK 16


Deterministički pristup – snaga i propusni opseg

• Najveća brzina prenosa telegrafskog signala kroz

dati medijum? (Harry Nyquist, 1928);

TIK 17


Razvoj telekomunikacija – statistički pristup

Norbert Viner (prva polovina XX veka)

• Koristan signal je slučajan, sve smetnje i šumovi su slučajni.

• Iz fizike se preuzima pojam ansambla, što omogućava uopštavanje Furijeove

analize na slučajne signale (Viner-Hinčinova teorema).

• Iako vremenski oblik signala ne može biti lako matematički opisan, spektralna

gustina srednje snage može se odrediti iz autokorelacione funkcije!

• Probabilistički pristup – kako izvući slučajan korisni signal iz slučajnog šuma?

• Cilj povećati odnos signal-šum (optimalnom filtracijom, korelacijom,...).

TIK 18

2 1 , ( )

0,

U TTR

T

2

2 sin( / 2)( )

/ 2x

TS U T

T

-1.5 -1 -0.5 0 0.5 1 1.50

0.2

0.4

0.6

0.8

1

T

R()/U2

-T 0 T -10 -5 0 5 10

0

0.2

0.4

0.6

0.8

11

0 2/T-4/T -2/T

Sx()/U

2T

4/T

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5

-1

0

1

x1(t

)

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5

-1

0

1

x2(t

)

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5

-1

0

1

Vreme [s]

x3(t

)


Kako se na najefikasniji način analognal signal može pretvoriti u nizbinarnih simbola, a da se pritom ne izgubi informacija?

(Владимир Александрович Котельников, 1933; Claude Shannon 1949).

Digitalizovanje signala: Nyquist-Shannon Sampling Theorem

TIK 19

xa(t)

t

xdis(t)

tTS 2TS 3TS 4TS ...

xdig(t)

tT 2T 3T 4T ...

A 0 1 0 1

010110100110

A/D konvertor D/A konvertor


Telekomunikacije = prenos signala?

Cilj nije da savršeno verno prenesemo signal!

• Nemoguće je primljeni signal savršeno očistiti od šuma (nemoguće je iz

primljenog savršeno rekonstruisati poslati signal).

Šta je cilj?

• Cilj je pouzdan i što je moguće brži prenos poruka (informacija). Bilo bi

idealno ako savršeno tačno i veoma brzo možemo preneti informacionu

sekvencu (sekvencu nula i jedinica)!

• Ako ova sekvenca može da se predstavi manjim brojem simbola a da se iz

nje može rekonstruisati originalna sekvenca to je svakako poželjno!

• Ne moramo nužno da izgubimo informaciju ako neki od binarnih simbola

nije ispravno prenet!

TIK 20

Spliter Spliter

Upredena bakarna parica

Telefonska

centrala

DSLAM

Internet

PSTN

ADSL

modem


Razvoj telekomunikacija – teorija informacija

Teorija informacija – Klod Šenon (sredina XX veka)

• Za razliku od prethodnika polazi “iznutra”. Ne zanima ga uspešan prenos

signala već informacije sadržane u njemu!

• Koliko informacije emituje neki izvor? Šenon za potrebe kvantitativnog opisa

informacije probabilistički definiše entropiju izvora informacija.

• Koliku količinu informacije može da propusti neki kanal? Maksimalna brzina

informacija koja se pouzdano može preneti kroz kanal u jedinici vremena

naziva se kapacitet kanala (za to vreme vrlo apstraktan pojam).

• Štaviše, pokazuje da važi jednostavna veza između kapaciteta s jedne strane i

klasičnih telekomunikacionih rasursa (širina propusnog opsega, odnos signal-

šum) s druge strane:

C=B*ld(1+SNR)

• Šenon definiše dve fundamentalne teoreme:

– Prva Šenonova teorema daje odgovor na pitanje sa kojim minimalnim

brojem bita se može predstaviti informacija koju izvor emituje u jedinici

vremena.

– Druga Šenonova teorema daje odgovor na pitanje da li je moguć (skoro

savršeno) pouzdan prenos kroz (skoro savršeno) nepouzdan kanal!

TIK 21


Teorija informacija

Koji je minimalni broj simbola kojim se može

prestaviti poruka, a da se ne izgubi informacija?

Prva Šenonova teorema, bitna za

kompresiju!

Koja je maksimalna brzina prenosa informacija

kroz kanal u kome postoje smetnje?

Druga Šenonova teorema, bitna za pouzdan

prenos podataka!

TIK 22


Različiti nivoi apstrakcije u telekomunikacijama

TIK 23

Izvor poruka

Linearan i vremenski

invarijantan kanal

Statistički koder

Interfejs

kanala

Diskretizacija

Kvantizacija

Kontinualni

signal

Sekvenca

realnih brojeva

Sekvenca

digitalnih simbola

Smetnja

iz

mrežeBinarni interfejs

Zaštitni koder

Modulator

Odredište

Statistički dekoder

Analogni filtar

Binarni interfejs

Zaštitni dekoder

Demodulator

Interfejs

izvora

Sekvenca

binarnih simbola

Sekvenca

binarnih simbola

Sekvenca

binarnih simbola

Kontinualni

signal

Interfejs

izvora

Interfejs

kanala

ka

mreži


Vrste kodova u teoriji informacija

DEKODER KANALA

DISKRETNI

KANAL

KODER

KANALA

IZVOR

KORISNIK

DEKODER

IZVORA

KODER IZVORA

DEKRIPTOR

KRIPTOR

Tri vrste kodova - efikasan, siguran i pouzdan prenos

Statistički kodovi – zavise od osobina izvora;

Kodovi za očuvanje tajnosti (kriptografija);

Zaštitni kodovi – zavise od osobina kanala.

TIK 24


Maksimalna brzina prenosa informacije?

• Najveća brzina prenosa informacije kroz dati medijum?

(Claude Shannon, 1948)

TIK 25


Zašto nam treba “Šenonova teorija”?

Nekad je neophodno obezbediti brz ali pouzdan prenos informacije

kroz uzak propusni opseg sa malom emitovanom snagom.

Današnji digitalni sistemi prenosa omogućavaju skoro savršeno pouzdan

prenos čak i kroz vrlo nepouzdan kanal!

Nivo signala na ulazu u komercijalni radio-prijemnik je reda veličine

10log10(P[mW])=-60dBm.

Kosmičke sonde Pioneer 10 i 11:

lansirana 1972, rastojanje od Zemlje je 2003. godine iznosilo 12.5 milijardi km;

za dvosmernu komunikaciju potrebno 23h i 11min;

brzina kretanja sonde oko 44000km/h;

nivo signala -178,5dBm (1.41.10-21W),

odnos signal/šum -0.5dB;

protok 16b/s.

TIK 26

teorija informacija i kodovi u telekomunikacijama

Documents