Download - Zadaci Kodiranje
-
8/18/2019 Zadaci Kodiranje
1/43
Teorija kodiranjTeorija kodiranja Z A D A C IZ A D A C I
-
8/18/2019 Zadaci Kodiranje
2/43
a). Odrediti binarni kod za cifrea). Odrediti binarni kod za cifre0,1,...,9, ako je odgovarajuće0,1,...,9, ako je odgovarajućekodno tab!o "rikazano na !icikodno tab!o "rikazano na !ici..
0 0 0 0 01 11 1 1
0
0
0
0
0
00
1 # $ % & ' ( 9
1
1
1 1
1
1
b). *acrtati kodno tab!o za !edećib). *acrtati kodno tab!o za !edećiternarni kod+ternarni kod+
-- 0,10,11,1#,#00,#01,###0,###1,###0,10,11,1#,#00,#01,###0,###1,###
-
8/18/2019 Zadaci Kodiranje
3/43
Svakom kodu odgovara OD*O 2A34O ili 2A34OOD456IA*7A koje predstavlja grafčki prikazkodnih širi u kome čvorovi odgovaraju svimprefksima (uključujući i prazan skup) kodnih
zamena.
Ključne reči
Ključne reči
Alabet je konačan neprazan skup ! čiji suelementi slova. "pera#ija dopisivanjanadovezuje reči$
%&%'.....%n &'....m z&% z&%'...%n'...m.Ako je z&% % je 8:;I a 5;I u reči z.
razan skup zove se i 8AZ*A :6i njom prošireni skup se označava
sa !* (!* & !+
, - )"
-
8/18/2019 Zadaci Kodiranje
4/43
* A A⊆
**: B A f →
)( *
A f V =
Ključne reči
Ključne reči
/onačan skup A & -α1,…,αa} je A4;A3:2 IZOAi 0 = {β1,…,β b je A4;A3:2 ODA za a b1'.
0roj b je 3AZA ODA.Ako je onda je svako '2' preslikavnje
jedno ODIA*7: :6I nad A.
Skup je OD a njegovi elementi suOD*: ZA
-
8/18/2019 Zadaci Kodiranje
5/43
a).
0 0 0 0 01 11 1 1
0
0
0
0
0
00
1 # $ % & ' ( 9
1
1
1 1
1
1
-
8/18/2019 Zadaci Kodiranje
6/43
a). 6ekoder uvek kreće od početne aze.
rvi primljeni bit pokreće dekoder premazavršnoj azi.
3 33''
0 0 0 0 01 11 1 1
0
0
0
0
0
00
1 # $ % & ' ( 9
1
1
1 1
1
1a).
očetnatačka
-
8/18/2019 Zadaci Kodiranje
7/43
' 3'335 3'3'7 3''3
8 3'''
9 '33'
: '3'3; '3''< ''33
= '333
a).
0 0 0 0 01 11 1 1
0
0
0
0
0
00
1 # $ % & ' ( 9
1
1
1 1
1
1očetnatačka
-
8/18/2019 Zadaci Kodiranje
8/43
0
0
0
0
0
1
1
1
1
2
2
2
2
2
2
0 10 11 12
200 201
2220 2221
22222
> & - 3'3'''553353'5553555'55555b).
-
8/18/2019 Zadaci Kodiranje
9/43
b).
b)., drugom delu zadatka nije potrebnopostavljati glavne jednačine i vršitikalkula#ije jer se u postav#i zadatkazahteva samo grafčko predstavljanjekodnog stabla za dati ternarni kod.
očetna tačka je proizvoljno izabrana.
Svaka kodna zamena zadatog ternarnogkoda se predstavlja u stablu odlučivanjasamo jednom.
-
8/18/2019 Zadaci Kodiranje
10/43
?ešenje zadatka se mo@e proveritiposmatranjem kodnog stabla koje se grana ukorela#iji sa povećanjem du@ine kodnih zamenau delu zadatka b).
, prvom delu zadatka sve kodne zamenedobijenog koda imaju jednak broj #iara (8) što
je takoe evidentno sa stabla odlučivanja.
6a bi dekodirao niz kodnih #iara koje sugenerisane iz prefksnog izvornog kodadekoder izvora kreće od početka niza i dekodirakodne #ire jednu po jednu. "vaj pro#es je
ekvivalentan pro#esu razvijanja stabla
a)b)
a)b)
-
8/18/2019 Zadaci Kodiranje
11/43
Ako e vakaAko e vaka kodna za=enakodna za=ena"re>knog koda za=eni njeni="re>knog koda za=eni njeni=najkraći= "re>ko= koji nijenajkraći= "re>ko= koji nije
"re>k nijedne druge kodne"re>k nijedne druge kodneza=ene, dobija e "onovoza=ene, dobija e "onovo"re>kni kod."re>kni kod.
Dokazati tvr?enje i "ri=eniti naDokazati tvr?enje i "ri=eniti nakod+kod+
- - 000, 001, 011, 1001, 1011,000, 001, 011, 1001, 1011,1101, 11101101, 1110//
-
8/18/2019 Zadaci Kodiranje
12/43
Ključne rečiKljučne reči
/od > je prefksni (ima svojstvo prefksa) akonijedna njegova kodna zamena nije prefks nekedruge kodne zamene.
reiksni kod omogućava jednoznačno dekodiranje.
/od > omogućava jednoznačno dekodiranje ako sesvaka poruka mo@e jedinstveno napisatinadovezivanjem kodnih zamena.
-
8/18/2019 Zadaci Kodiranje
13/43
0
0
0
1
1
1
1
1
0
0
0
0
1
1 1
1
1
000 001 011
1001 1011
1101 1110
- - 000, 001, 011, 1001, 1011,000, 001, 011, 1001, 1011,1101,11101101,1110//
-
8/18/2019 Zadaci Kodiranje
14/43
Beka je kod @-v1@,, vk @/ nastao od
prefksnog koda -v1,,vk /, tako što je svakakodna zamena koda > zamenjena njenimnajkraćim prefksom koji nije prefks nijednedruge kodne zamene. retpostavlja se da @ nije"re>kni kod tj. da postoje kodne zamene viC i
v jC takve da je vi@ "re>k od v j@.
'V ∈
ostoje četiri mogućnosti$vi@ & vi i v j@ & v jD , ovom slučaju dobija se da > nije
prefksni kod jer je vi prefks od
v j.
11..
-
8/18/2019 Zadaci Kodiranje
15/43
vi@ & vi i v j@ je prefks od v jD vi je prefks odv j@ a v j@ je prefks od v j odakle sledi da je vi
prefks od v j tj. > nije prefksni kod.
##..
$$..
%%
..
, svakom navedenom slučaju pretpostavka da jevi@ prefks od v j@ postaje kontradiktorna pa je
stoga @ "re>kni kod.
vi@ je preks od vi i v j@&v jD dobija se da je vi@ prefks od v j što je u suprotnosti sakonstruk#ijom koda @ (svaka kodna
zamena zamenjuje se njenim najkraćimprefksom koji nije prefks nijedne drugekodne zamene iz >).vi@ je prefks od vi i v j@ je prefks od v jD iz togašto je vi@ prefks od v j@ i v j@ prefks od v j
sledi da je vi@ prefks od v j što je usuprotnosti sa konstruk#ijom koda @ (kaou slučaju 7)
-
8/18/2019 Zadaci Kodiranje
16/43
- - 000, 001, 011, 1001, 1011, 1101,1110000, 001, 011, 1001, 1011, 1101,1110//
/od/od je prefksni. je prefksni.
@@ -- 000,000, 001,001, 01,100,01,100, 101,101, 110,110, 111/111/
/od/od @@ je prefksni. je prefksni.
) r i m e n o m
p r e t h o d n o d o k a z a n
e p r e t p o s t
a v k e n a
k o d > i z p o
s t a v k e z a d
a t k a d o b i j a s e
s l e d e ć
i k o d$
-
8/18/2019 Zadaci Kodiranje
17/43
4ačnost izvoenja dokaza potvruje
činjeni#a da je kod @ nastao tako što jesvaka kodna zamena prefksnog kodazamenjena najkraćim prefksom koji nijeprefks nijedne druge kodne zamenetakoe prefksni.
, pojedinim slučajevima kada nije
moguće izvesti dokaz neke tvrdnjeregularnim tokom veoma korisno mo@ebiti postavljanje antiteze a zatimdokazivati suprotno od prethodnozahtevanog.
-
8/18/2019 Zadaci Kodiranje
18/43
a)a) Dokazati da e vaki "re>kni kodDokazati da e vaki "re>kni kod=oBe do"uniti do "ot"unog=oBe do"uniti do "ot"unog"re>knog koda."re>knog koda.
b)b) *eka je dat binarni kod*eka je dat binarni kod--10,01,000,111/10,01,000,111/ zza a!fabet od %a a!fabet od %!ova a verovatno!ova a verovatnoća=a redo= koji=ća=a redo= koji=
u navedene kodne za=ene) u navedene kodne za=ene) , E,, E,$F1', 1F1'.$F1', 1F1'.3ez koriGćenja tab!ica "roceniti3ez koriGćenja tab!ica "rocenitientro"iju izvora.entro"iju izvora.
8okazati da nije o"ti=a!an kod.8okazati da nije o"ti=a!an kod.
-
8/18/2019 Zadaci Kodiranje
19/43
Ključne rečiKljučne reči/od > je prefksni (ima
svojstvo prefksa) ako nijednanjegova kodna zamena nijeprefks neke druge kodne
zamene.refksni kod je potpun ako se dodavanjem nove
kodne zamene gubi svojstvo prefksa.
Beka su n'...na b prirodni brojevi (a b 1 '). 6abi postojao prefksni kod >&-%'E%a nad
alabetom koda sa bazom b i takav da su du@inenjegovih kodnih zamena redom n'...napotrebno je i dovoljno da va@i /ratovanejednakost$1
1
≤∑=
−a
i
nib /ratova nejednakst va@i zasve kodove koji omogućavaju
jednoznačno dekodiranje.
-
8/18/2019 Zadaci Kodiranje
20/43
Fntropija izvora predstavlja prosečnu količinusadr@aja inorma#ije po simbolu emitovanom iz
izvora a zavisi od verovatnoće pojavljivanjasimbola u alabetu.
Ključne rečiKljučne reči
Ako je > optimalni binarni kod za izvor (A)i onda su kodne zamene va2' i va (koje odgovaraju verovatnoćama pa2' i pa) istedu@ine.
a A =||
a p p p ≥≥≥ ...21
-
8/18/2019 Zadaci Kodiranje
21/43
refksni kod se mo@e dopuniti dopotpunog prefksnog koda.
a).
Beka je > & -v'v
5Ev
k prefksni kod nad
bazom b i neka je
/ada se kod > dopuni svim rečima du@ine
d čiji prefksi nisu reči koda > dobija serefksni kod .
||max 1 ik
i vd ==
Treba dokazati da se svaki prefiksni kod možedopuniti do potpunog prefiksnog koda:
-
8/18/2019 Zadaci Kodiranje
22/43
b).
bn H v 2log*
−
≤
Za entropiju izvora važi procena:
b).
V = {10, 01, 000, 11175.2
161*3
163*3
41*2
21*2 =+++=
−
vn
75.2≤ H
bita
!etiri s"ova a"fabeta su: a1,a2,a3, a4#
$%a1&=1'( $%a(&=1')$%a*&=*'1+ $%a)&=1'1+
-
8/18/2019 Zadaci Kodiranje
23/43
Greške nisu pronaene.
> nije optimalan kod jer je npr. kod>'&-'3 3' 33 '' takoe prefksnikod a za njega je ."vaj kod daje i bolju pro#enu za
entropiju izvora bita.
2=−
vn
2≤ H
-
8/18/2019 Zadaci Kodiranje
24/43
Za izvor A, 8)Za izvor A, 8)8 -8 - 0.$0.$H 0.#H 0.1&H 0.1H 0.1H 0.0HH 0.#H 0.1&H 0.1H 0.1H 0.0H0.0&H 0.0#0.0&H 0.0#//
kontruiati binarne kodovekontruiati binarne kodove=etodo= ;anoa i uf=ana i za vaki=etodo= ;anoa i uf=ana i za vakikod odreditikod odrediti"roeJnu duBinu kodniK za=ena."roeJnu duBinu kodniK za=ena.
5"orediti duBine a entro"ijo=5"orediti duBine a entro"ijo=izvora.izvora.
-
8/18/2019 Zadaci Kodiranje
25/43
-
8/18/2019 Zadaci Kodiranje
26/43
ostupakIumana
ostupak Janoa
-
8/18/2019 Zadaci Kodiranje
27/43
Ako je > optimalan kod za izvor (A) ibazu b onda iz pi1p j sledi niK&n j gde suni i n j du@ine kodnih zamena kojeodgovaraju redom slovima izvora saverovatnoćama pi i p j.
∑=
−=a
i
ii p p H 1
2log FB4?"LMA LN>"?A
∑=
−
=a
iiiv n pn 1
?"SFOBA 6,PLBA
/"6BLI NAQFBA
-
8/18/2019 Zadaci Kodiranje
28/43
RiR'R
5R7R8
R=R9R:
R;
pi3.73
3.53
3.'=
3.'3
3.'
3
'
'
'
''
''
3 3
33
3
33
(Ri)
33
3''33
'3'
''3
'''3
''''3
'''''
ni5
57
7
7
8
=
=
ostupak Janoa
>' & -333''33'3'''3 '''3''''3 '''''
-0.$L0.#)M#L0.1&L0.10L0.10)M$L0.0M%L0.0&L0.0#)M&
-#.(# ∑=
=−=8
12 68.2log
i
ii p p H
1
_
vn
-
8/18/2019 Zadaci Kodiranje
29/43
AR'R5R7R8R=R9R:R
;
3.73
3.53
3.'=
3.'3
3.'3
3.3
A'R'R5R7R8R=R9R:;
'3.73
3.53
3.'=
3.'3
3.'3
3.3
A5R'R5R7R9:;R8R=
53.73
3.53
3.'=
3.'=
3.'3
3.'
3
'
3'
3
'
ostupak
-
8/18/2019 Zadaci Kodiranje
30/43
A7R'5R8=R7R9:;
73.7
33.53
3.53
3.'=
3.'=
A8R'R79:;R5R8=
83.7
33.73
3.53
3.53
A=R58=R'R79:;
=3.8
33.73
3.73
3
'
3
'
3'
ostupakIumana
-
8/18/2019 Zadaci Kodiranje
31/43
A9'79:;R58=
93.93
3.8
3
3'
/odna zamena (α!) je sastavljena odsimbola koji sudodeljeni indeksu togslova u svakom korakuidući od poslednjegizvora unazad pa je$
A f A) ni
R'
R5R7R8
R=R9R:
R;
3.73
3.533.'=
3.'3
3.'3
3.3;
3.3=
3.35
33
'33'3
''3
'''
3''3
3'''3
3''''
5
57778==
ostupak
>5 & -33'33'3''3''' 3''3 3'''33''''
2
_
vn &(3.7+3.5)*5+(3.'=+3.'3+3.'3)*7+3.3;*8+(3.3=+3.3
5)*=
&5.:5 ∑=
=−=8
12 68.2log
i
ii p p H
-
8/18/2019 Zadaci Kodiranje
32/43
Greške nisu pronaene.
L Iumanov algoritam i postupak Janoadaju optimalni kod i va@i$
1 _
+
-
8/18/2019 Zadaci Kodiranje
33/43
Izvor e=ituje i=bo!e a i b aIzvor e=ituje i=bo!e a i b averovatnoća=a 0.# i 0..verovatnoća=a 0.# i 0..
Odrediti o"ti=a!ni kod zaOdrediti o"ti=a!ni kod zaodgovarajući izvor nadodgovarajući izvor nad a,ba,b//$$
ku" reJi duBine $) i u"oreditiku" reJi duBine $) i u"orediti
rednju duBinu kodniK za=ena arednju duBinu kodniK za=ena aentro"ijo= izvora.entro"ijo= izvora.
-
8/18/2019 Zadaci Kodiranje
34/43
ostupak
-
8/18/2019 Zadaci Kodiranje
35/43
∑=
−=a
i
ii p p H 1
2log FB4?"LMA LN>"?A
∑=
−
=a
iii
v
n pn 1
?"SFOBA 6,PLBA
/"6BLI NAQFBA
Ako je > optimalan kod za izvor (A) ibazu b onda iz pi1p j sledi niK&n j gde suni i n j du@ine kodnih zamena kojeodgovaraju redom slovima izvora saverovatnoćama pi i p j.
-
8/18/2019 Zadaci Kodiranje
36/43
(α1)&3.;7&3.='5
(α2)&(α3)&(α4)&3.;5
*3.5&3.'5;(α5)&(α6)&(α7)&3.;*3.55&3.375
(α8)&3.57&3.33;
Lzvor nad -ab7
sastoji se od 57
elemenata$-bbb bba bab abb aab baa abaaaa. "značeni su redom sa α1, α2,..., α8.ošto je "a)-0.# i "b)-0. verovatnoćepojedinih reči od α1 "o α8 su$
-
8/18/2019 Zadaci Kodiranje
37/43
AR'R5R7R8R=R9R:R;
3.='5
3.'5;
3.'5;3.'5;
3.375
3.3753.375
3.33;
A'R'R5R7R8R:;R=R9
'3.='
5
3.'5;
3.'5;
3.'5;
3.38
3.375
A5R'R5R7R8R=9R:;
53.='5
3.'5;
3.'5;3.'5;
3.398
3.383
'
3'
3
'
ostupak
-
8/18/2019 Zadaci Kodiranje
38/43
A7R'5R7R8R
=9:;
73.='
5
3.'5;
3.'5;
3.'5;
3.'38
A8R'R8=9:;R5R7
83.='
5
3.575
3.'5;
3.'5;
A=R'R57R8=9:;
=3.='5
3.5=9
3.575
3
'
3
'
3
'
ostupakIumana
A9
R'R578=9:;
9
3.='53.8;;
3'
-
8/18/2019 Zadaci Kodiranje
39/43
"ptimalan kod prikazan je u sledećojtabli#i$
A f A) ni
R'R5R7R8R=R9R:R;
3.='5
3.'5;
3.'5;
3.'5;
3.375
3.375
3.37
33
'33
'3'
''3'''3
3
'''3
'''''
3
''''
'
'77
7==
==
-0, 100,101, 110, 11100, 11101,
11110,11111/
vn
_
&3.='5*'+(3.'5;+3.'5;+3.'5;)*7+(3.375+3.375+3.375+3.33;)*= &5.';8
∑=
≈−=8
12 166.2log
i
ii p p H
∑=
−
=
a
i
iiv n pn1
-
8/18/2019 Zadaci Kodiranje
40/43
Greške nisu pronaene.
rosečna du@ina kodnih zamena jeveoma bliska donjoj grani#i T entropijiizvora.
2.184 _
=vn
166.2≈ H
-
8/18/2019 Zadaci Kodiranje
41/43
H V A L AH V A L AN AN A
P A Ž NJ IP A Ž NJ I
-
8/18/2019 Zadaci Kodiranje
42/43
#$%$&
#$+-
-
8/18/2019 Zadaci Kodiranje
43/43
""!! o! o" l"!9 o"oa ;!
A o!maa). BC+BD+-E+ $B$F#+ ! b). G+-D$ AB$&D$""!!