teorija informacija i komunikacija
DESCRIPTION
Teorija informacija i komunikacijaTRANSCRIPT
L L +*
-t.-I-(JE4ol=Z.l-
L" rq, \fr tt
SadrZaj
IJvodna razmatranja
Uvod1.1 Pojam sistema1.2 Deterministidki i stohastiiki sistemi1.3 Komunikacioni sistemi
2 Entropija2.1 Shannon-ova entropija2.2 Entropija beskonadne i neprekidne distribucije
3 Informacija3.1 Sopstvena informacija3.2 Uzajamna informacija za diskretnu raspodelu3.3 Uzajamna informacija za neprekidnu raspodelu3.4 Prenos informacije i sistem upravljanja3.5 Primeri i zadaci
lzvor informacije4.1 Diskretni izvor informacije4.2 Izvor bez memorije i.4.3 Markovljev izvor
5 Kodovi rtz izvor informacije5.1 Kodovi sa fiksiranom duZinom5.2 Kodovi sa promenljivom duZinom kodnih zarnena5.3 Problem optimalnosti .
5.4 Konstrukcija optimalnog koda
6 Komunikacioni kanal6.1 Diskretni kanal6.2 Kapacitet diskretnog kanala bez mernorijs
7 Koder i dekoder uz komunikacioni kanal
6
tl
6
(
1313
18
2727,o
.. 32
ts536
4949
50
53
5454
55
58
60
6565
67
TS
Z. Bner.rovri
Linearni kodovi8.1 Idealna Sema odludivanja za BSK
8.2 Linearni blok-kod
8.3 Idealna Sema odludivanja za linearni blok-kod
Interakcijsko.komunikacionia.spektobrazovanjaivaspitanja9.1 Uvodg.2 Meduljudski odnos - temelj obrazovnog procesa
9.3 Faktori uspe5nosti meiluljudskog odnosa
9.3.1 SocijalnaPercePcija' ' ' 'g.g.2 Emocionalni stawvi9.3.3 EmPatija
g.4 Interakcija i komrmikaeija u obrazovanju
Tablice
Literatura
-t -)l
7777
8084
8787
8992
92
9495
97
LOz
r.07
5
Uvodna razrnatranjaOsnove teorije informacija postavio je C.E. Shannon svojom poznatom
raspravom "A mathematical Theory of Communication" objavljenom 1948.
U to vreme, kada tehnologija izgradnje sistema za prikupljanje, prenos, us-meravanje, obradu i duvanje informacija jos nije bila dovoljno razvijena, nisuse mogli sagiedati dalekoseZnost i znaiaj postavljene teorije. Od tog ne takodavnog podetka do danas ova teorija je razvila svoje mnogostruke primene.Na to su znadajno uticali prilozi koje su dali D.K. Fadeev, A.N. Kolmogorov,P.M. Lee, B. McMillan, A. Feinstein, A.I. Hincin, L. Breiman, R.M. Fano,R.G. Gallager, R.V. Hamming, D. Slepian, W.W. Peterson i dr.
Uvodenjem kolidinske mere za sadrZaj informacije, informaciji je pridru-Zena cena tako da se ona moie vrednovati u odnosu na materiju i energiju.Time je ona objektivno dobila znadaj koji imaju materija i energija i takopostala jedan od osnovnih entiteta prirode.
SadrZaj ovog kursa je usmeren ka matematidkim aspektima tretiranjaproblema u vezi sa generisanjem, transformisanjem i prenoSenjem informa-cije. On obuhvata samo najvaZnije probleme, glavne pojmove. osnovne idejei metode za reiavanje tipidni! problema. Konkretnije, on obuhvata:
I Kvantitativno odredivanje pojma informacije;II Matemati6ki modeli za pojedine elemente informacionih sistema
(tzvor informacije, komunukacioni kanal sa smetnjama);III Efektivno konstruisanje kodera i dekodera za obezbedenje
pouzdanosti komuniciranj a (algebarska teorij a kodiranj a) :
ry Interakcijsko-komunikacijski aspekt vaspitanja i obrazovanja.Osnovu zatzradts. ovog teksta dine [1] i [6].
6
Uvod
0.1. Pojam sistema. Red sistem u nauenim istraZivanjima obicno oznadava neki
svrsishodno organizovan skup objekata. Takvi skupovi objekata ulaze u odredene
procese. Pona5anje, funkcionisanje sistema se karakteri5e stanjima u kojima se
sistem nalazi u zavisnosti od procesa koji obavlja ili kroz koji prolazi. Pritom se
smatra da se sistem u svakom trenutku nalazi u jednom od svojih stanja. Ta stanja
se defini5u na osnovu cilja i aspekta istrazivanja, Sto znadi da se faktori, koji nisu u
tom smislu bitni, zanemaruju.Svakom moguiem stanju se moZe pridruziti odredeni broj ili (prebrojiv) skup
brojeva.
PrimerCoveka moZemo tretirati kao odredeni bioloski sistem. Obicno se govori o dobrom
ili lo5em zdravstvenom stanju tog doveka (Sto. nararno. nije egzaktno opisivanje nje-
govog zdravstvenog stanja). To se stanje moZe u odredenom trenutku wemena opisatipomo6u niza brojeva 6t,fr2,...,frn (gde, na primer, 11 - olzp;a|ava visinu, fr2
teZinu, 13 - krvni pritisak. za - puls u jedinici tremetra- z5 - broj crvenih krvnihzt1aca, itd.). Ako u ovaj niz uk'ljudimo sle pararnetre koje dana5nja medicina moZe
meriti, onda se dobija egzaktno opisano zdrarstteno stanje tog posmatranog doveka.
Jasno je da promena stanja sistcma pre@mtavlja promenu bar jednog od param-
etara kojima je definisan skup stanja sistema-
U realnim sistemima parametri koji opisuju stanje sistema su medusobno zavisni,
odnosno promena jednog od parametara utide na ponaSanje nekih drugih. Jedan
od osnovnih zadataka naudnog ishrafiwnja u egzaktnim naukama je da se otkrijuveze i karakteristike veza iznedu pojedinih parametara. To omogu6ava da se na
osnovu poznavanja birdih i trenutnih stanja sistema prognoziraju bududa stanjatog sistema.
O.2. fsfsrministieki i stohastiEki sistemi. Obidno se u egzaktnim istraZivanjimtpretpostavlja da se za. svaki sistem moZe definisati odredeni skup ^9 svih mogu6ihstanja tog sistema. Funkcionisanje sitema u vremenu je zauzimanje odredenog stanjaiz skupa ,S . Ako se na osnovu poznavanja stanja sistema u fiksiranom trenutku iveza koje tu deluju molejednoznadno predvideti stanje sistema u budu6nosti, ondase kaZe da je sistem deterministiEki, odnosno da postoji kauzalna zavisnost izmedustanja u sadaSnjosti i budu6nosti.
T
Medutim, ukoliko sa na osnovu poznavanja stanja sistema u sada'Snjosti moZe
odrediti samo verovatno6a sa kojom 6e sistem preci u neko drugo stanje iz skupa
S u budu6nosti, kaZe se da je sistem stohastiian (probabilistidan). Tada se ne
moZe jednoznadno odrediti stanje sistema u budu6nosti, ve6 samo, moZda, raspodela
(distribucija) verovatno6e na S u bududnosti, budu6i da se radi o manjoj ili ve6oj
neizvesnosti u vezi sa stanjem koje 6e sistem zatzeti u budu]nosti'postavlja se problem kolicinskog (krantitativnog) odret[vanja (merenja) te neizves-
nosti za posmatrani stohastidki sistem. Razumno je pretpostaviti da se stepen te
neizvesnosti:a) izraiava nekim odredenim brojem,
b) da taj broj zavisi samo od distribucije verovatno& na skupu
stanja S u momentu t nakon podetnog momenta,
c) da se deterministidkim sistemima pridruZuje neizvesnost 0 .
O6igledno je da bi krajnost u pona5anju sistema predstavljala situacija kada ne
postoji nikakva povezanost izmedu stanja sistema u sadaSnjosti i budu6nosti, tj. kada
,tuau-,,potpuni haos" i ne moZe se nikako (ni sa manjom ili ve6om verovatno6om)
predvideti kako 6e se sistem pona5ati u budu6nosti'
Sre6om, u prirodi su desti sistemi koji su izmeCtu deterministickih i haotidnih. kod
kojih se prognoze o njihovom zauzimanju stanja u budu6nosti mogu davati sa manjom
ili ve6om verovatno6om.Naved.eni brojdani pokazatelj za merenje neizvesnosti, koji se obidno naziva en-
tropija sistema, moLeda posluZi kao mera razlikovanja od deterministidkog sistema,
odnosno kao mera nereda (haosa).
0.8. Komunikacioni sistemi. U naudnim istraZivanjima se svaki sistem razma'
tra sa razli6itih aspekata, odnosno, pri definisanju stanja sistema se uzimaju samo
oni parametri koji su bitni za odredeni aspekt posmatranja'
Tako se npr. Eovek moZe posmatrati sa medicinskog aspekta kada je bitno nje-
govo zdravstveno stanje. Ali se Eovek moile posmatrati i sa mehanidkog aspekta kao
odredeno fizidko telo u prostoru i vremenu, pri demu se pridruZeni parametri mogu
vezivati 11pr. za koordinate njegovog teZi5ta u datom koordinatnom sistemu, sa brzi-
nom pomeranja i sl.
Ya1at aspekt posmatranja doveka je njegovo poimanje kao sistema koji proizvodi,
generi5e "informacij€", & takode je korisnik, konzument informacija koje geueri5u
drugi sistemi.Oeigledno je da se treba nrralo zadrlati na preciziranju pojma "informacija'-Smatra se, u op5tem sludaju, da svaki sistem promenom stanja generi5e odredenu
informaciju.Da bi se moglo govoriti o informaciji neophodno je da, pored izvora informacije,
8
postoji i primalac informacije, tj. drugi sistem koji prihvata i "razume" poruke kojeemituje'rzl'ror. To podrazumeva da se radi o prenosu informacije od jednog do drugogsistema, odnosno o kanalu putem koga se informacija prenosi od izvora do korisnika.
Zbog postojanja vi5e sistema i nemogu6nosti izolovanja jednog, dva ili odredenogmanjeg broja sistema, objektivno je svaki primalac "zapljusnut emisijama" raznthizvora informacija iz okoline. Ako je primalac informacija zainteresovan samo za
odredenu wstu poruka koje dolaze iz jednog izvora, onda emisije iz drugih izvoramogu samo Stetno uticati na prihvatanje poruka kod tog primaoca. Emisije druguhizvora javljaju se kao odredene smetnje ili Sumovi (buka) za dati izvor i datogprimaoca informacije.
PrimerNeka je izvor informacija covek koji svira violinu, a primalac je dovek slu5alac.
Jasno je da dovek putem dula prihvata i razre druge signale, poruke emitovane i izistog izvora ali i iz drugih (pokreti violiniste, pokreti i1i glasovi u publici i sl.), kojise me5aju sa zvucima violine i time ometaju njihovo disto prihvatanje.
Uobidajeno je da se sistem koji se sastoji od izvora informacije, primaoca infor-macije i sistema posrednika koji omogu6ava prenos poruka od izvora do primaocanaziva komunikacioni sistem. Najprostiji shematski prikaz tog sistema je, premaShannon-u
at^'*1 GAd -+ akr"rtl -+ WAAIA -+ Vrc*A*i
lzvor informacije je objekat koji generi5e odredene poruke (kojima se fizicki ilina neki drugi naqin konlmetizuje informacija).
Koder je objekat u bme se poruka transformiSe u oblik pogodan za prenoSenje
kroz kanal. Obiino se kafo da u kodsu nastaje kodiranje informacije. Kodiranje imai druge ciljeve keo Sto su: pove6anje brzine prenosa! povecanje pouzdanosti prenosai sl.
Kanal je medijrrm kojim'putuju" srgnali kao nosioci informacija. Redeno je daje informacija na svom putu od izvora do primaoca"'tzloLena uticajima smetnji kojedeluju tako da primljena poruh nije uvek identidna poslatoj.
Dekoder je uredaj u kome se poslane poruke ponovo transformi5u, sada u oblikkoji je prihvatljiv za primaoca. Zbog delovanja smetnji i dinjenice da se primljenaporuka ne mora podudarati ni sa jednom od poslatih poruka, treba naglasiti da
1
F;,wA
o
ie dekoder samo odredeni mehanizam koji svakoj od primljenih poruka pridruZujeodgovaraju6u upu6enu poruku koju prihvata primalac.
-
U teoriii informacija se nastoji da se wakom od spomenutih objekata (delovakomunikacionog sistema) pridruZi odredena matematidka interpretaci;a. Zapravose izgraduju apstraktni matematicki modeli za ruz}r1ite tipov-e komunikacionih sis-tema, istraZu.iu odnosi unutar taksih modela i zatim dobijeni rezultati interpretirajuu praksi. Yalan zadatak je, kako je vec napomenuto, da se definisu odredene velidinekoje se mogu meriti (rzrai'avati brojem) i koje bi sluZile kvantitativnom uporedivanjupojedinih sistema. To uporedivanje sluZi, jasno, usavrsavanju takvih sistema u smerupovedanja brzine i pouzdanosti prenosa informacija u njima.
u primerima koji slede vide6emo ilustraciju do sada navedenog.
Primeri.1. Binarni simetriEni kanal (BSK)Izvor informacije mole u fiksiranom intervaiu emitovati poruke rn1 i m2 i to sa
verovatnoiama p(m1):p i p(rn2) -1-p:q (0<pir) ukoderuseporucirz1 pridruZuje simbol 0 , a poruci rn2 simbol 1 , tako da se i<analom prenose samonule i jedinice. Delovanje smetnji u kanalu je opisano pomo6u prelaznih verovatno6aPt'i - verovatno6a da se ulazni simbol i na izlaztt iz kanala primi kao simbol j ;i:i e {0,1}. Akoseuzmedaje p61 :plo:€,d pLt:poo: i_ r, (0<, <Ll;),dobijamo binarni simetribni kanal.
Neka se dekoder konstrui5e tako da se nuli pridruZi rn1 , jedini ci m2. Shematskito izgleda ovako:
'izuor koder smetn.je0-+1-e--+0\t
€,/\(\
1--+1-E---+1
Neka je sa -O oznadena pojava gre5ke u prenosu poruke kroz ovakav komunikacionisistem, a sa p1(E) njena verovatno6a. Jasno je da je
p{E) : p(rn)p(E /*r) + p(mz)p(E l^) - p€ + q€ : €(p* q) : e .
Jedna interpretacija ovog rezultata je: Ako izvor emituje jednu poruku u sekundi,a kanalom se prenosi jedan simboi u sekundi, tada primalac korektno prima 1 -n@) - 1 - e poruka u sekundi.
6CC=d lm;;0 I
Ip(*) : ql -') lmz -, tl ---+
dekoder
IofnJI t -'- *,1| 'l
postavlja se pitanje da li je mogu6e. uz odgovarajude kodiranje i dekodir
smanjiti pt'I)) - verovatn"ei'.no1'* o"uo: l^o:,":Ti:r'u makar se morala sn
ilr#*t;;J"i, ili se pove6ala brzina prenosa simbola?
2. Neka su koder i dekoder konstruisa'ni La'o na slici:
F{I r-l-e-r I
dok su ostali uslovi kao u prethodnom primeru'
Sada se greska E ;;;;su poruke ^. '"yl'i * :: i': ,(1':'')"^':l*
" Jffl ffi'ff#, u jedan sd nizova (0,1, i) , (r,1:0) ili (1, 1, 1) - (gde ima
nula od jedinica). }iogtoga je uslorrna veiovatno6a greske kada se prenosi
lTLt
(0,1,1) (1,0,1)
,p(EhLL) : p(0..- 1l;;
0 --' 1) + ,lo-- lii;{ :- ll
+ p(0-- 1,0-, i,o-0) + p(0-- 1,0-' 1'0-+ 1)
: (1 - e)ee * (1 - e)ee * ee(l - e) + eee
: 3e2(1 - e) + e' -- e2(3 -2u) .
Takode je uslovna verovatno6a gre5ke kada se prenosi rn2
p(Elnu): gl(r - €) + e3 -- e2(3 - 2e) '
Otuda je totalna verovatnoda gre5ke pri prenosu
h@) : PQtL)P(E\-') t'Y1m'4n!nlry) n-\' : wrti -x) i'qe2(z - 2e) -- e2(z - ze) '
Da bi uporedili totalne gpske pr(E) i m(E) posmatrajmo funkciju /(r2(3 - Zd , ei:ije grafiEki prikaz na Sl' 1'
(o,r,r1 )(1,0,1) t) +rn2(1,1,0)
I(1,1,1) /
ro,o,o) )(0,0,1) t) +rnl(0,1,0) |
tt,o,ol J
11
Za 01r<112 j" f(") (r pridemuznak":" vailiza fr:0 kaoiza r:Ll2-Znatida je e2(3-2e) <€ za 0 (e <112, odnosnoda je pz(E)3p:{E) ra0<e<712.
Vidi se da je totalna verovatno6a gre5ke pri prenosu smanjena ali je umanjena ibrzina prenosa informacija u sekundi, jer je kod binarnog simetridnog kanala korektnopreno5eno 1 - e poruka u sekundi dok se sada prenosi
},t - pr(E)): i,, - e'(z - ze)): *,, - re2 +2e3)< 1 - e
za 0 < e < ll2. Napominjemo da se sada kanalom prenose tri signala za svakuporuku paje potrebno tri sekunde za prenos jedne poruke zbog dega brzina preno5enjapostaje (t - es@)) l3 .
3. Ocigledno je da se moZe kostruisati koder tako da se poruci rn1 pridruLuje rizod 2n*1 nula,aporuci rn2 nizod 2n*l jedinica (n€N) .Dekoderbimogaobiti konptruisan tako da se izlaznom nizu u kome ima viSe nula pridruZi poruka m1 .
a izlaznom nizu sa vi5e jedinica poruka rn2 .
Jasno je da je svaki izlazni niz element skupa {0,112"+' u kome ima 72nrt
elemenata (broj varijacija klase 2n * L od dva elementa). Ako je X sluiajnapromenljiva koja oztaZcava broj pogre5no prenetih simbola u nizu y € {0,1}2"*r ,
onda je ta sludajna promenljiva raspodeljena po binarnoj raspodeli B(?" * l, e) 1nje
.
p(El*) : p(E lmz) : p(X ) n * t) : p(n+ 1 < X < 2n + 7)
^r2n*1-fr- E)
Otuda ie
pz*+{E) : p(m)p(X } n+ 1) + p(rn2)p(X ) n * 7) : p(X > n * 1) .
MoZe se pokazati da je za 0 < e < 112
))ILpr"*r(E) : o .
Stavi5e, totalna verovatnoda gre5ke, pri upotrebi kodnih zamerra "duZine 2n+1"eksponencijalno opada ka nuli kad se n uvedava.
To znaci da je opisanim postupkom mogude osigurati prenos poruke sa po Zelji
velikom verovatno6om ( 1 - Pzn+t ---+ I kad 72 -+ oo ). ali se time brzina prenosa
praktidno svodi na nulu.
Jedan od osnovnih rezultata u Teoriji informacija jeste saznanje da za odredene
komunikacione kanale postoje koder i dekoder koji osiguravaju prenos po volji visoke
pouzdanosti, a da se pri tome brzina prenosa ne svodi na nulu.
Primer.Veoma upro$6en komunikacioni sistem mo1e se uoditi i kod prenosa informacija u
srednjem veku.Naime, ako bi vladar poZeleo da neSto saop5ti svojim podanicima, onda je to tada
mora,o da uradi na slede6i nadin: Prvo je smislio proglas i izdiktirao ga svom pisaru
koji ga je zapisa,o na pergamentu. Nakon toga je to predato pismono5i (telalu), kojije trebalo da pergament urudi nekom pismenom doveku, koji 6e ga proditati na nekom
trgu, gde se ljudi obidno okupljaju. Na putu od vladarevog dvorca do trga mogle su
se odekivati razne neprilike u vidu napada razbojnika, politickih neprijatelja, krade i
sl.I ovde postoje wi ielovi komunikacionog sistema. Vladar koji smislja proglas je
izvor. Pisar koji pi5e proglas po diktatu je koder. Pergament na kome je proglas i telalsu kanai. Pismen dovek koji Eita proglas je dekoder. Podanici koji slu5aju proglas su
primaoci informacija. Politicki neprijatelji, razbojnici i sl. koji mogu oteti, ukrastiili zameniti proglas predstavljaju smetnje (buku).
12
(^; '),*,,
greSke
k:2n+l:\-
/rk:n*1
totalna verovatnoda
'r-,LEISFr:=il
ilt
2 Entropija2.L Shannon-ova entropija
il:m:*l:X,:if .f*::o.g,":"ih probtema u reoriji informacija kako da::::T:','*'::,:,1::1?Llr"y*ri?1"1.ilffi;;;il:llff 1X?;fi
-#;da se matematidki iiu. H. Nyquist (1924) i R.H(1e28
biri
pri demu se prvida informacija koju nosi k .uturlj".ru od drru
odn iih signala.r rntormacija koje nose po;eaini-oa'-tt vihffi iH'.:ilJl jif, :::iT"?^'"toi"iu;;G;;J'il''"'#'lf ";l-y;tako da opisani zahtev glasi
Kako logaritamska funkcija ima osobinu log(ry): logr * logy , to se
,X1;ffi:i1'deja da se signalu koji se bira iz.ilp;'od -n-*signala
pridruZi
I(n):1sgr.
,.# se pridruzivanje moZe potkrepiti i sa dve sredeie pogodne osobine rogari_
1. logn ) 0 za svaki prirodan broj z;2. m < n =+ logrn^< logn (ako je o..rova ve6a od 1).::::ll=:l': #*,:fl"'informacija' u stvari, smatra * J" ""Zr'mliiina informacija otklanja ve6uneizvesnost u pogredu prijema-odrea"nog .ignal a. zaista, signal koji se primasa verovatnoiom 1 (znadi, ostari m r".oritroiom 0)
"" ,;;;;;kvu neizves_nosL tj.. njegov prijem ne donosi nove koliEine informacija.lakle' ako se dati signar bira iz ,e" taieir" signala, neizvesnost u pogredutoga da bas on bude primrjen-je ve6a.r"go ,rurrr"rnost da bude primljen signalizabran iz manjeg broja signala. ---o- -'
9*"U"a"statak Hartley_eve u tome Sto se sveuke rz skupa svSto nii ne)
.S
javljuje '. ,".;";;;;;;;il}ffi #"tf:'ij"r"n
uzeo da signalu koji se po-
tz
I(mn) : I(m) * I(n) ,
I(p):-bg1p
IJ(1) :6 .
H(pir,pr,. . . ,Pn) ne zavisi od permutacije verorratno6a p; ;
i :7r2r. . , )n .
H (Pr,Pz,.'',Pn,O) : H (Pr,Pz,''.''?n)(uz konvenciju da je 0log 0 : 0 ) 'H(*,*,..',*) : h(n)
3e rastu6a funkcija od n. € N.-H(p,t - p) : -plogp - (1 - p) log(1 - p) je neprekidna
funkcija za 0 1P <7 -
Akoje l3r<niqr : pr *pz+ "' * pr, Q2 : Pr*t * Pr*z*''' *pn onda je
H (pr,Pz, . . .,Pn) : H-(qt, qz)
*^i'(oi,*n,,. ff) **u(W,W, H")
L4
Alo ima n mogu6ih signala koji se pojavljuju sa verovatno6ama Pt
(Lpr: 1 ), onda je Jrednja (prosefna) koliiina koju nosi pojedini signal
H(pr,pz,. ..,pn) : -iorrtoi) : -innt sn, .
i=l i=l
odigledno je Hartley-eva definicija informacije specijalan sluraj Shannon-ove
definicije informacije, tz P4: lf n , ier ie
: -nlLog 1 : logn .
Kod shannon-ove definicije se, dakle, uzima u obzir dinjenica da se signali po-
javljuju u skladu sa odredentm raspodelom verovatnode (pt,Pz," ',p') ' tako
i, .r"arr;u informacija po signalu zavisi od te raspodele' a ne od nekih drugih
veHeina koje karakteriSu signale. Velidinu H(pt,pz, ' ' ' ,Pn) Shannon je nazvao
entropija konaEne r*pod.l" verovatnoda, bududi da se ona moze interpre-
tirati kao neizvesnost u pogledu slucajnog izbora jedne od mogu'6ih vrednosti
kojima su pridruZene redom verovatnoie P1,P2,''' ,Pn '" Pomeniroo da je H. Boltzman, mnogo ranije, koristio izraz
2. ENtRoPua
Iadnost za
H(!,!,...,'nn1):-i1.*1n' -n
na=l
g: -*lnilogpi ,
i:1pr.<0, l?r.:1,
i=1
gde je k Boltzman-ova konsfianta koji je nazvao entropija idealnog gasa, diji se
ilot"t t sa veronatnodom p ,,el,oi u i-tom delu faanog prostora' Za spontano
odvija.nje fizidkih prooesa hrakteristi'no je povecanje entropije-'
SlededeosobinekojepmedujeShannorrraentropijapotvrdujunjenuprik-
(
rafik funkcije y -- H(r,l, - r) dat je na
2. EntRopr;R I5
sI 2
Kako je prvih pet tvrdenja odigledno, pokaZimo samo da je i tvrdenje 6"tadno.
S obzirom na to da je:
H(qr,qz): -gr logqr - qzlogqz ,
qrn(PJ,q,...&)\9r Qr Qr /: -et}Xbr'; -;o,t.*r, - rogsr)
TTT
: - !u loEpr *logqrDrn : -DrJogpn + qrloEsr ti.=t i=l i=t
-H(x,1-x)
2. Exrnopue
\ 9z Qz Qzl
: - i piospr* Iog q2 f o,i=r*\ i:r*l
:- i prtogpt*q2togq2,i:r*l
Sabiranjem poslednje tri jednakosti dobija se jednakost u tvrdenju 6o.
Ova jednakost ima i jednostavnu interpretaciju. Oznaeimo sa, Y1 skup
{*t,*2,.,.,frr}, a sa Y2 skup {4"a1, ar*2t...,tn}, onda se ff(q1, q2) moZeshvatiti kao neizvesnost u pogledu izbora Y1 ili Y2. H(prlqr,...,p,lqr)pokazuje neizvesnost u pogledu izbora jednog od elemenata iz skupa Yr , dokH(p,+rlqz,.. .,p.lqz) to isto pokazuje za neki element iz Y2 .
Jednakost u tvrdenju 6" izraZava da je neizvesnost H(pt,pz,...,pn) upogledu izbora jednog od elemenata {rt,rz,...,firtfir*Lt...,rn} jednakaneizvesnosti u pogledu izbora jednog od skupova Y1 ili Y2 uvedanoj zazbir "ponderisanih" neizvesnosti izbora jednog elementa iz skupa Y1 odnosnoY2.
Postavlja se pitanje da li je Channon-ova entropija jedino mogu6a meraneizvesnosti. Odgovor na to daje tzv. teorema jedinstvenosti.
Oznadimo sa 2q skup svih raspodela verovatnoia na n-elementnom skupu,tj.
n
4:{( /6, /e,"', r\) €R"lPi(o;!nr:1}'\/ \/ \/ ' i=1
Ocigledno da je 21 C R' , pri demu je 2\ ograniien, konveksan i zatvorenskup za svako n € N, pa se entropija,Ff za svako n € N moZe tretirati kaoodredena funkcija iz 2q u R.
Teorema 2.1.1 (Teorema jedinstvenosti) Funkcija H kao funkcija od, n eN i (h,p2,.. .,pn) e Dn, koja ima napred, naaedene osobine 4", 5o i 6", nuZnoje oblika
ru
H(pr,pz,. . .,pn) : -CDprlogapt,i:L
gdew C>O i b>l proizuoljnirealn'i,brojeui.
Ako se pctavi zahtev da se defini5e "jediniina" ili "atomarna" neizves-
nost, tj- da se zahteva da je H(112,712) : h(2) : 1 , odnosno da jednidnu
neizve$xst imasituacija sa dva jednako verovatna stanja, dobija se veza izmedukonstarrti C i b:
-n*t*r*,: t * Clog62: I + log62c : 1 + b : 2c
16
r-l)
2. ENrnopr.ra IT
Ako se uzme da je C :1 dobija se najce5ii izraz zaentropiju
H(pt,pz,...,pn) : -irolrgzp, .
i:1Govorimo da je entropija izrazena u b i t i m a ilibinarnim jedinicama.
Jedan bit entropije odgovara situaciji sa dva jednako verovatna stanja.Ako se Zeli da se prirodnim rogaritmima ln r : rog" r in;azava entropija.onda velidinu
H(pr,pz,...,pn) : -f nohon ,
i=1kojaizra,ava entropiju.u prirodnim jedinicama iti n i t i, m a, trebapomnoZitisa konstantom C: L/ln2 da bi se dobila entropija irr"Z""r"* Uiti_r.Napomenimo da postoje tablice vrednosti za _plog2p za neke p , 0 <p< I . Jedna takva tablica je data na kraju ove knjige.-'
Funkcija v : H(:,r - r) , eiji je gradk na sl. "2]
dostiZe maksimum (i oniznosi jedan bit) ako je r - p : rlz. Drugim redima, maksimalnu entropiju
f:r;,:2 ) ima sistem sa jednakoverovatnim stanjima. To vaZi i za svako n ,
Teorema 2.1.2H(pr,pz,. . .,pn) ( logn ,
a.iednakost uaZi alco i samo ako je za suako i e {1,2,...,n} pt : l/n .
Za dokaz poslednjeg tvrdenja prvo dokazujemo lemu koja glasi:
Lemma 2.7.J Neka su za n e N dolz realni brojeui pt,pz,. . . ,p, ,Qr,Q2t...tQn, pt.)0, Qt)0 i.neka j" DT=rqn<D?=r'ir'. fo'aoi"
- io;os' P'' - i r,tos, qt,i=7 i:l
gde .jednakost uaZi ako ,i samo ako je za suako ,i e. {1,2, . . . ,n} pt : qt .
Dokaz Leme. Koristeii poznatu relaciju rnr I r- 1 (pri iemu jednakostvaZi ako i samo ako.ie r : l, kao i jednakost lr, : I"gr;i;, , dobija se ,ln2log2 r { r- 1 . Uvrstimo u poslednju nejednakost."ao*""ru ,i:1,2,...,nrt: qt/pt:
rrcrf,= #(#MnoZenjem ovih nejednakosti sa p; , e
dobija se
-1): 7,2,. . . ,n i sabiranjem po i
f,,o^r#= #(Dr,-2,,)
2. ENtnoprre
Po uslovu tvrdenja j" DL, o; Sli:rpi , pa je
18
. n:
-\'n,los"1(0. odnosnoZ_/, " "" D, -x:l
-f,o,tos, pr = -irrtos, qu .
i:1-
Sobziromnasmenu u:qt/pt.'i:1,2,...,h, r-1 znati daje qi -Pt. za
sve i : 1,2,. . . ,n , tj. pod tim uslovom vaZi ba.S jednakost. trDokaz. Polazati od Leme 2.1.1, uzimaju6i Q;. : lln 'i : \,2,...,fl ,
(brojevi pr,p2,. .. ,Pn su elementi raspodele) i kako je onda
n1n
5-qo:n!:l i )]pn:t dobijase./r '' n -'i:l x:l
nnln
lnrtosrnn < -Drntos i : togn Irt : losn '
i.=1 i=l -- i:l
Jednakost vaZi za pi : {li :lln 'i,: 1,2,. . . ,rL . trZrad-r daje entropija sistema maksimalna ako su stanja u koja moZe pre6i
taj sistem jednako verovatna.
2.2 Entropija beskonaEne i neprekidne distribucijeverovatno6e
Prirodno se name6e ideja za "merenje neizvesnosti" u pogledu stanja sistema
kad je skup svih mogu6ih stanja datog sistema beskonadan, prebrojiv skup, priiemu svakom stanju pripada odredena verovatnoia. Za opisivanje te situacijepogodno je posmatrati diskretnu sluoajnu promenljivu X sa skupom vrednosti
R(X) : {$oo,$e,...} g n i pripadnim verovatnoiama k: p(X : ni) ,
pt )_ 0, i € N , IE, pt : !. Pri tome se vrednosti 14 interpretiraju kao
stanja sistema, a pi kao verovatnode da sluiajna promenljiva poprimi vrednostri kaa verovatnoiu pojedinih stanja sistema.
Ako red -L[rn lnp6 konvergira njegova suma se zove entropija diskretneraspodele verovatnoie (pt,p2,...) e D*, gde je
D*:{( r-,,r,...)€ R- lpi 2 0,ir, : 1 }.YYi:1
PiSemo H(pt,p2,...) : - D}-rptlnpn - H(X) .
Obiino govorimo o entropiji diskretne sludajne promenljive X a pri tomese ilicli. narayno, na entropiju pripadne raspodele verovatno6a. Jasno je da se
ta&o mofu govwiti i kod diskretnih raspodela verovatno6a na konadnom skupu.
Red -LT.rplnfi moZe biti konvergentan, ali i divergentan. U dru-gom sluiaju Bomrimo da odgovarajudem sistemu pripada beskonadno velikaentropija
,')
2. ENrnopr.le
Primeri.L. Uzmimo da je pi:112i , i € N . Odigledno je
pt)o i iroi:1
H(x):ir,rnr,:
Ig
31 1 1-\L,i ,1 L?: I I
-i1,,1Z-t 2x 2xi=1
*:$1-1*2*3*...- 1-2t 2' 22 2s 'i:l
t23-I_I-I...2z'2s'2+' ,
- 1. Dalje je
rc1: ln2\- ! :2112.L22
i:1i:t
jer, ako je
onda je f,s
:
paie t-lt:odnosno
111--L--L-2'22'23t^ 1 1
,o: rr:a,odakle je S :2 .
Ako se entropija izrazi'o bitima dobija se H(112,714,118,...) :2 bita.Zna.ii da ako diskretna sludajna promenljiva ima dati geometrijski raspored,
onda je njena entropija 2 bita.
2. Poznato je da red DL, Ffu divergira, dok red Dn, il#T konvergira(pokazuje se to, npr. pomo6u Cauchy-evog integralnog kriterijuma). Ako jea:DZzE#T,onda, stavljaj,,tti pp: ;5J,;3.1E, k e {2,3,...} vidi se da jepx ) 0 i DL, px : |, pa se dobija dobro definisana sludajna promenljiva.
Ako se traZi njena entropija dobija se
H(x):-ir*trrok:2
_lnaS 1 1S 1 2fl1r11r,t'1
" LiRl*;!*kr,,/, + alAiffiKako je drugi dlan na desnoj strani poslednje jednakosti divergentan, to jeocigledno da odgovarajudem sistemu pripada beskonadno velika entropija.
Kako odredivati entropiju kod sistema sa neprebrojivo mnogo mogu6ih stanjaTako npr. stanje sistema sa desto defini5e pomodu vrednosti nekih fizickihvelidina (koordinate, vreme, temperatura, jadina struje i sl.) koje se korrtinuirano menjaju u nekom intervalu realnih brojeva, u skaldu sa nekom raspodelom verovatnoia.
!/
2. ENtRopun
Sada je pqodno uzeti sluiajnu velidinu X sa zadatim zakonom verovatno6e
r-mf(*),re f(r){[(r) <0,/ f(r)d,r:1).
Posmatra se niz Yn: *l"Xl ( [o] - j" ceo deo od a - najveii ceo broj kojinije veci od o ) pri cemu je odigledno lim,-- Y-: X kao i niz pridruZenihentropija H(Y.). MoZe se pokazati da je
H(Y.) 2 H(Yt) * Inn ,
Sto znadi da postojanje entropije H(Y) implicira i postojanje entropije zasvako n e N.
To se moZe i ovako interpretirati: Ako se pode od raspodele date sludajnepromenljive x mogu se konstruisati diskretne raspodele varovatno6e za odgo-varaju6 sludajne promenljive Yr,Yz,. . . ,Yn. . . koje u odredenom smislu aproksimi-raju datu raspodelu verovatnoie sludajne promenljive X (sve bolje sa poras-tom rz ). Otuda je prirodno da se entropija sludajne promenljive X dobijekao graniina vrednost niza entropija H(Y"). Egzistencija svake od entropijaje osigurana ukoliko postoji H(Yr) .
Niz entropija {H(Y")} moZe i divergirati.Problem odredivanja entropije za neprekidne sludajne promenljive moZe se
sagledati iz sledeie teoreme:
Teorema 2.2.L Neka je X neprekidnauerouatno1,e f (r) . Ako je
sluiajna promenlj,iua sa zakonom
H(X) < oo i f (r)ln f(r) dr konuergentan, tada
20
,l11# : 1 =+ ri- {r{(y,) -rnn} : - l:f@)tnf(r)dr .
Uobicajeno je da se H(X) : - /: /(r)ln f (r) d,r , ukoliko integral kon-vergira i H(YL) < oe , zove entropija neprekidne raspodele verovatno6e.
Primeri.1. Neka je X ravnomerno (uniformno) raspodena na intervalu (o, b)
a<b.tj.a1r1b,inace
Sada je
H(x) : -+ 6l fo o* -ln(b - o) ,o-a o-aJatj- entropija moze biti ma koji realan broj i ona zavisi samo od duZine b - aintervala" odnmo. sne uniformne raspodele nad intervalom iste duZine d -b - a imaju iste enrropije.
(tf(r): t oT'
2. ENrnopul 27
2. Neka je neprekidna raspodela verovatnode zadata zakonom verovatno6e
l@\: { '*t' ?u!> "'-/-I 0 inaee
Ovde jef@ r* dr 1l_:r.
J_*f(")o*: J" ;r7;: r,rrl"Medutim,
ll*"rat*: I.* #, l"* *:*,
f@ [* lnr * 2ln(lnr)- J__/(r)rn/(r)
o*: J" -ff0"
: I"* *- * I"* H a*, l.* *r,.:ln(rnr)l* : so ,
tj. ne postoji konaiua entropija.Primetimo da poSto je
tj. rec je o raspodeli sa beskonainim odekivanjem (a isto tako i disperzijom)izlazi da je i entropija beskonaina.
Za sludajne veliEine sa konaEnim matematidkim odekivanjem i disperzijommoZe se dokazati postoja,nje konaine entropije.
Teorema 2.2.2 Neka je X neprekidna sluiajna uelii'ina sa zakonom uero'uatno6,e f(*), * QF-. Tada:
a) Ako X i,ma konainu disperziju s2 , onda H(X) postoji i, uaZi H(X) <ln(2resz)L/2 , pri iemu znali ":" uaZi ako i samo ako je X: N(m,s2) .
b) Ako je X nenegat'iuna sluiajnaueliiina, tj. ako i, f("):0 ra r <0i ima konaino matemati,iko oi.ekiuanje EX : m , tada H(X) postoji, i, uaZi,
IJ(X) S lnme , pri iemu zne,k ":" uaZi ako 'i samo ako je X rasporedena po
eksponencijalnom zakonu sa oiekiuanjenx 'ffr .
c) Ako je X ograniiena sludajna ueliiina, tj. ako postoji i'nter"ual la,b) ,
(, < b) takau da j" f ("):0 za r <a ili, r)b, tada H(X) postojiiuaziH(X) S In(b - a) , pri iemu znak ":" uaZ'i ako i samo ako je X rasporedenaun'iformno nad'interualom la,b) .
Dokaz. Dokaz ove teoreme bi6e dat nakon dokaza slede6e leme:
Lemma 2.2.3 Neka su f i g : R --l R nenegat'iune funkcije takue do je
/i./(") d*: [l*s(r)dr: a] 0 . Ako i" - [i*f @)lns(r)dr konoion.
tada i - Ia f (") ln /(r) dr konuersira 'i aazi
r@ f@- I f@)tns(r)dr1 - I f@)tns(r)dr.J-* J-*
pri iemu znak ":" uaZi, ako i samo ako je f (x): g(r) zo skoro sue I € R -
2. Enr:Ropue
DolrazLeme. Naosnovupoznatenejednakosti lnr< r-1 za r>0 i
uslova leme proizilazt , s@) - s@)tnffi=frd-t'
dok znak ":" vazi ako i samo ako je f (*) :9(r) , pa je J@)lng(r) -/(c) ln /(z) < s@) - f (") odakle sledi tvrdenje leme' n
a) Ako se uzme da je
tada je
g(r): #*"*o{-@#} , rn € R,
l:f @)tns(r) d,r : - l* tr"l{-tns(2tr)2 - 9:4} a*
:rn(2ns2)L/'+ # - l* A -n')2f @)d.r:tn(2rs')'/'+i
: ln(2tr s2)r /2 + ln eL / 2 : ln(hres2)r /2,
odakle sledi
H(x) : - [* /(r) ln f (r) d'x 1rn(2res2)t/2 ,J-*
pri Eemu zrrak ":" vaZi ako i samo ako je
f (*): #"*r{-@#) , tj. X: N(m,s2) .
b) Stavimo
g(r):t **i-*, II3; paie
- f f @)tns(r) d^r - - [^* rt"l{-tnm - *} o.J-- Jo
1 roo:ftrm+ : I rf(r)dr :lnm* 1 : lnrn*lne : lnme .
rn Jo
Odavde je r@
H(X) : - J_*/(r)ln f (r) dt <'rnme ,
pri Eemu n*.n:" vaai ako i samo ako je /(r) : S@), tj. X je rasporedena
po elryonemcijalnom zakonu sa oiekivanjem 17 .
enabsd z.lrljuei se izvode i za c) uzimajudi
-1(
g(r):{ #r, ' :;:2; .'u'
332. ENrRoPr:n
"t*"ri1. Odrediti neodredenost pri izboru jedne od 32 karte u Spilu'
H(*,*, ., $) : h(32):rog232: 5 bita '
2. Odrediti neodreclenost izbora jednog para karata iz svakog od dva raz[dita
Spila sa Po 32 karte'
/ Xr X2 Xsz' \
H(Y): h$22) - 2losz32 : 10 bita '
3. Odrediti entropiju sistema opisanog tablicom
rrl rr 12 rJ 14 frs
H(X) : -4' O,01log 0, 01 - 0' 96log 0' 96 : 0' 3221 bita '
4. Odrediti entropiju fizickog sistema koji se sastoji o{ dv1 aviona (lovca i
bombardera), koji "a";l;il;"?'dos'o* uoSu' xao rezultat boja je jedno od '- ')
stanja sistema:a) oba su nepogodena, c) bombarder pogoden' Iovac ne'
uj tou." pogoa"rr' bombarder ne, d) oba su pogodena'
Verovatno6a a" f""* U"Ju pogoden je 0,4 , a za bombarder je 0' 5 '
x,( a b c' d \10,60,5 0'40'5 0'60'5 0'40'5)'
H(X): -2'0,2log0' 2-2' 0'3log0'3:1'971 bita'
5. Na6i maksimalno mogu6u entropiju poruke koja se sastoji od 5 sicra' pri
Eemu je broj slova aabuke 32'
H*o,(X) - Iogz 325 : 25 bita '
2. ENtaopr;e
6. Kolika je entropija "nepo5tene" kocke? (Kocka je pode5ena tako da naizvesnu stranu pada iesde).
Ima.mO Pt: ?Z: PB: p4: pS : p , p6: q: I - 5p ,
H(x) : -5plog2p - (1 - 5p)log2(1 - 5p) .
7. Pohebnoje u gradu od 800.000 stanovnika pronaii odredenu osobu kojaje shnovnik toga grada. Kolika je entropija tog problema?
H(x) : loez 800.000 - logz 80 + 21og, 100 : 6, 322 + 2 . 6,M4: 19,61 bita .
8. Usrojena je proizvodnja novog proizvoda. Pita.nje je da li ga plasiratina trZiEte A koje je snabdeveno sa 45To plasmana ili na trZi5te B koje jesnaMeveno sa 65% plasmana istog proizvoda.
H(A) : -0, 45log2 0,45 - 0, 55log2 0, 55 : 0,992 bita ,
H(B) : -0, 65 log 0, 65 - 0, 35log 0, 35 : 0, 934 bita .
KaeD jeneizvesnost ve6a na .4 treba proizvod plasirati aa B .
g- U prvoj kutiji je 10 belih, 5 crnih i 5 crvenih kuglica, a u drugoj je 8belih" 8 rtrih i 4 crvene kuglice. Izvladi se po jedna kuglica iz obe kutije. Gdeje neodreiknmt izbora veia?
E(I) : -0,5log 0, 5 - 0, 25log 0 ,25 - 0,25log 0, 25 : 0,4515 ,
H(II):0,4581 > H(I). 'i10- UoEiEo drra eksperimenta: A - unutar jednakostraniinog trougla se na a
shEajrn naiina bira taika koja se moZe na6i unuta,r ili vaa upisanog kruga; B- 'rrlrttr kqga m na sludajan nadin bira tadka koja se moZe nafi unutar ili vanupisanog ldnahmtraniEnog trougla.
Kone od ova dva eksperimenta odgovara veia neodredenost?
E(At:-r#-'* #- (r - lbl rog(1 - 7fo1: 0,e648.
E(B) : -+b}#- (r - #l rog(1 - *l:0,9765 > H(A) .
11. tzvodi * gadanje na dva cilja: na prvi su ispaljena 2 metka, a na drugi3. Verovahoiapogotkaprvogciljaje lf2,adrugog 7ll . Zakojicilj jerezultat gafinnja o&eateniji?
24
H(4 :-r1'* l*lu'j * ] r"* ]) :,,uoo,
H(rr): -(*roc 279 + f ros f * fr,"* 3. *",s*
2. EN'rnopr.le 25
: 1.7053 > H(I) .
12. Verovatnoia realizacije dogadaja u jednom opitu je p , a suprotnogQ : L - p . Za koju vrednost p rezultat elsperimenta ima najve6u vrednost?
H (p) : -(prosp + (r - p) log(1 - p)) , pa je
H'(p): -(togr* 1-log(1-p)+(l -p)+) : - bs*.Iz uslova H'(p) :0 sledi da je p : LlZ -
13. Odrediti entropiju slu6ajne promenljive X sa binomnom raspodelomverovatno6e, gde je p: q: l/2 . i uporediti je sa mopijom eksperimenta sa6 jednakoverovatnih ishoda-
X : {*o,nr1t2,l,3,r4,q};p(to): } ,f{rr) :5-# ;p@2): fO.} ;
11Ip(q) :r0...
s, ;p(r4) :5. i;p@s)
: i, H(X) :2,198 bita.
Y : {ao,ar,az,as,y+,as,aa};p(yi): * ,r: 1,2,...,6;
H(Y) :2,585 > H(X) .
14. Na6i entropiju ravnomerno rasporedene sludajne promenljive X dija jevarijansa o2 .
Varijansa sludajne promenljive X koja je ravnomerno rasporedena na in-tervalu (o,b) je (b- a)2ltZ, odakle se dobija, izjednadavanjem sa o2 , da jeb - a : ot/n . Kako je entropija ravnomerno rasporedene sludajne promenljivena (a, b) jednaka log(b - o) , to se dobija da ona iznosi logo1/72 .
15. Na6i entropiju slutajne promenljive X : ,n/(0, o) .
f (*): --"*"-r(-#) ,
H(x) :E(- Iog/(r)) : E( -rog -+ + 3 ros")\ o\/21T zo' /
:tog ot/2n *Lffe{*,) : tog oJzn +r-5;:log ot/2tr +f,ns":logJ2n*' .
16. Na6i entropiju sludajne promenljive koja ima funkciju raspodele
( o ,r<0,F@):l;, ,o.r.r, fO):{2: 'o<r<1''\*/
t 1 ,irr; I o 'inaie'
2. ENrRopuR
pa Je
fr trcH : E(- Iog/(r)) - E(-log2n): - Jo
2rlog2rdr:lo97-L .
17. Zaledenje bolesnika se koriste dve metode. Prva dovodi do ozdravljenja
u 95% slueajeva, a do znatnog poboljsanja u 5%'slucajeva. Druga dovodi do
ozdravljenja ,.s. 95To slu.ajeva, a do smrti u 5% sludajeva. Na6i entropiju kod
obe metode.Entropija je u oba sludaja ista, ali je jasno da je druga metoda losija. To
pokazuje da entropija nije potpuna karakteristika neodredenosti opita.
18. verovatno6a dogadaja A u opitu je p . opit se izvodi do prve
realizacije dogadaja -4 . Slucajna promenljiva je broj izvedenih opita. Na6i
njenu entropiju i objasniti karakter promene entropije pri promeni p '
H(x) :- i e*-'rtos ({-'p)- - IogP - 1'or, '&:r
Ako p opa.da od 1 do 0 onda I/(X) raste od 0 do oo '
19. Data zu dva larcta informacija sa porukarna
26
"'(;: ;:) 'v,( a, uz
\(r Qz
vr\%)
a) Pr: P2 ,Qt: Qz:Koji od ova dva izvora ima ve6u neodredenost ako je:
%; b) Pt:Qr,P2:q2+q3'a)Zbog Pr:P2 i h*Pz:1je Pt:Pz:ll2,Paie
11H(X) :2(-
,log ,) : los2 .
Analogno se dobija da je I/(Y) : log3 > H(X) .
b) Ovde imamo
H (X) : -p1 log p1 - pzlogpz : -Qt log q, - (qz + Si log(Sz + qa)
: q1 log q1 - qzlog(qz * qs) - qa log(sz * qr)
( qr log qr - qzlog qz - gs log g: : H (Y) ,
fier je q2>0, s3 > 0 ).
ft[
3 Informacija
3.1 Sopstvena informacija
Emitovanje i prenos informacija odvija se, kako je vei napomenuto, u sistemu
oblikauu,'NcL [t'"-l r' f]*"'l
.l J' ft"'alacl11,,
lsmetn:e I
Izvor emituje informacije, tj' signale fi.,fr2,''''fin (diskretan izvor) koje
moZemo shvatiti kao vrednosti sludajne promenljive X . Primalac prima
signaie Ut,Uz,. .. ,an kao mogu6e vrednosti sludajne promenljive Y ' koje
zavise od vrednosti strrOa3ne promenljive X i delovanja smetnji' Smetnje
takode imaju sludajan karakter i mogu se predstaviti sludajnom promenljivom
Z. Otlrila-ie Y funkcijapromenljivih X i Z,li' Y: f(X'Z) '
Zbog delovanja smetnji signali q i w ne6e biti pridruzeni jednoznadno'
tj. isti simbol ri moZe p.e6iu razlidite Ui , i obrnuto, Ui se moZe pojaviti
u sludaju emitovanja raznih ri . zato se govori o verovatno6i istovremene
fo;urr" puru (*o,ii) , ti. o verovatno6i p(u,a) ( *u na ulazu' ai na
izlazu). Na osnovu formule o proizvodu verovatno6a
p(rta) : p(r)P(Ylr)
mogu se odrediti verovatno6e p(rt,A) ako je poznat mehanizam dele
"*Jusmetnji,tj.mehanizamtransformacijesignalafi;usignalEj-To tbezbeduje odredivanje uslovnih verovatno6a p(Ailr;) ako su Poznafe
verovatno6 a zd, fri, a time i verovatno 6a p(ra,yi) odnosno raspodele dvodi-
menzionalne siudajne promenljive (X, Y) '
Otuda je prihva6erro du se definise poiam s o p s t v e n e informacije
I(*) ,kojrr.,,nosi,, signal X , kao i pojam uzajamne informacije I(X,Y) .
koju primalac dobija o X kada primi Y '
Problem definisanja mere za informaciju meze se u opstem sludaju post+
viti kao probiem definisanja parametra /(x) - sopstvena informacija'
odnosno I(X,Y) - uzajarnna informaciia,, za datu sludajnu promenljivn
X odnosno za dati sludajni vektor (X'Y) '
Neka je X diskretna sludajna promenljiva sa skupom vrednosti R(X) :
{*r,*r,.'..} iverovatno6ama pt:p(X:'u) 20 EErP;:l ' Signal &se emituje sa verovatnoiom pa i pri tome je generisana informacija f(r') -
28 Z. BnaNovri
Razumno je zahtevati da funkcija ri -* I(r;) , ni e R(X) ima slededasvojstva:
@ I(r) : C@,). tj- sopstvena informacija ne zavisi od vrednosti n,;signala, ve6 sarno od njegove verovatno6e fu I
(tt) p '-- G(p) ie neprekidna tunkcija za 0 < p < t ;(iii) p -. G(p) ie strogo opadajuia funkcija na [0,1] , tj. signali save6om verovatao6om treba da "nose,, manje informacija;
(ir) G(p+q): G@)+G(q) zasvako p € [0, 1] , sto zna1i d.ainformacijakoju "nose" drra stohastiEki nezavisna signala treba da bude jednaka zbiruinformacija koju "nmi' svaki od tih signala.
Na osnovu oyih zahtevul moie se dokazati slededa teorema:
Teorema 3.1-l Fw*cijo p--- G(p) , koja i,ma suojstua (i,i,)-(i,u), nuZno jeoblika G(p) : -clq6p, gde su c > 0 i b > I proi,zuoljni realni, brojeui.
uprimerimaseobidno uzima c: l i b:2, dok je uteorijskimrazmatranjirna pogodno uzeti C: 1 i b: e .
Signal z;, djajeverovatnoid pt , ',nosi,, informaciju I(r): lnp; takoda se v(ziuro za sludajnu promenljivu X moie posmatrati nova sludajnapromenljiva f(X) sa skupom vrednosti R(I(X)): {- lrpr, - lnp2, . . .} ipripadnom raspoaaom verovatno6e (h,pz,. . .) . I(x) zovemo sopstvenainformacija sluEajne promenljive X .
Matematiiko oiekivanje ove velidine je
E(I(X)): I l(ro)po: _\trtIosupr: H(X) .
i:1 i:l
znadt da je odekivana i1i srednja vrednost sopstvene informacije I(x)za sludajnu promemljivu X isto Sto i entropija te sludajne velidine. Sada semoze re6i da je H(x) mera neizvesnosti u pogledu emitovanja signala koddatog izvorz informacija, dok je E(I(x)) prosedna informacija koju nosijedan signel emitonan v t6,g izvora.
Intuitivno je jasno da se te dve velicine poklapaju, jer emitovanjem signala"nestaje neizvesnost" koja postoji pre emitovanja signala.
Jasno je da 6e se onda i sopstvena informacija meriti istim jedinicamakao i entropija.
Odigledno je da 1 bit sopstvene informacije nosi signal koji se emituje saverovatno6om l/2, dok 6e signal verovatno6e 1 nositi 0 bita informacije.
3. INpoRuncua
znadi da ako sa verovatno6om 1 odekujemo emitovanje odredenog signer-,neizvesnosti u vezi sa emitovanom porukom nema, entropija je nula. pa ikolicina informacije koju nosi taj signal je takode nula.
3.2 uzajarnna informacija za diskretnu raspodeluuzajamnom informacijom 6emo zvati informaciju koju izlaznisignal y dajeo ulaznom signalu X u tipidnom komunikacijskom kanalu sa smetnjama.
Pretpostavimo da su x i y diskretne slubajne promenljive i da jeodredena dvodimenzionalna raspodela verovatno6a na skupu R(x,y) :{ (ro,A) I i, j : 1,2, . .. } tako da .ie
2g
gde je p(X : ni,Y : A) : pti i yoDipti : lTime su odredene i marginalne raspodele:
p(y : A): ei:\ pri ) 0 ,
J
kao i uslovne raspodele:
Dpr: ti
Dqi: tj
p(X : ro) : k:l.p.ii ) 0 ,
Dr,/i:r, i:1,2.....x
Dqi/o:1 , i:1.2. -..j
p(X : *olY : gj) : pr/j : ?, O,
p(Y : ai/ X : *r) : qj/i : O* r- O,
Du lDp,' Dpn
30 Z. BnaNovrd
Dvodimenzionalni raspored se moZe zadati i tako Sto se zada marginalnaraspodela X-a (raspodela ulaznih signala) i familija uslovnih raspodela Y-a"(uticaj smetnji na svaki mogu6i ulazni signal).
Primetimo da je, zbog relacije pti : piqj/i t pti :0 ako je pt:0 .
Na osnovu gornjih relacija mogu se definisati i odgovaraju6e entropije:
H(X,Y): -DDpn,tnprj ,
L3
H(X): Ip,Inpn, H(Y): -D eilnq, ,
H(xlg1) : -Dp4,lnh/i, j :tr,r,...,i
H(Ylra): -D qipilneip, i : L,2,...,J
H(XIY): I qiH(X/a): -IDpn,rnpr/j,Jij
H(Ylx) :r piH(yld: - I \]p,, Lnqip, .
Naravno da ukoliko ,".u0, o diskretni* rf*u.i'oim promerljivama sa pre-brojivim beskonadnim skupom vrednosti R(X,Y) , onda se o upravo defin-isanim velidinama moie govoriti samo ukoliko odgovarajudi beskonadni redovikonvergiraju.
Velidine H(X) i H(Y) interpretiramo kao neizvesnost u vezi sa ulazomX kanala, odnosno izlazom Y .
H(X,Y) je neizvesnost u pogledu pojave uredenog para (X,y) (tiaz,rzlaz,).
H(xla) je neizvesnost u pogledu ulaza x kada se primi izlaznt signalai-
H(Y/r;) je neizvesnost u pogledurzlaza Y kada je poslat signal ri.H(xlY) je srednja neizvesnost ulaza x kada se zna izlaz y i analogno
vailza, H(YIX) .
Velicina H(Xl)') se zove uslovna entropija X-a u odnosu na y .
Mogu se dokazati slede6e relacije:
H(x) > H(xlY) , H(Y) > H(Ylx) ,
3. Ixponuncue
H(x,Y): H(X) + H(Ylx) :1/(Y) + H(xlY) .
H(X) + H(Y) > H(x,Y) ,
pri 6emu znak jednakosti kod ovih relacij a vaii ako i samo ako je Pu : P;Qj .(i,i:L,2,...).
Velicina I(X,Y) definisana na slededi nadin:
r(x.Y) : H(x) - H(xlY) : H(Y) - H(Yl x): H(X) + H(Y) - H(X,Y)
se zove srednja uzajamna informacija X-a t Y-a.Vidi se da je /(X,Y) :0 ako i samo ako su X i Y nezavisne sluEajne
velicine (poi : pta) . Takode se i srednja uzajamna informaciia izraiawaistim jedinicama kao i entropija i sopstvena informacija.
Ocigledno da I(X,Y) predstavlja smanjenje neizvesnosti u pogledu
ulaza X kada se primi Y (izlaz), tako da se moZe re6i da se jednim
signalom prenosi kanalom proseino I(X,Y) jedinica.
Ako su X i Y stohastidki nezavisni, onda se kanalom ne moZe prenositiinformacija, a ako je H(X,Y) : 0 , onda se kanalom prenosi potpunainformacija.
Izraz za srednju uzajamnu informaciju se moZe zapisati u obliku
I(X,Y) : -\arlnpu - I n, tn qj +DDmilrputijij
m
: - t Dpntlrp, - DLp4lnqi * t t ptihpr'ij zJ
Veli6inaI(rt,a) :lrP'i i.,i :L,2,...
ptQi
se naziva uzajamna informacija signala u i Ui i moZe se zapisati u obliku
I(ro,a) :lnprj -lrpo -lnej : I(r) + I(ai) - I((rr,ai)) .
To znadi da je uzajamna informaciaj uredenog para (rn,Ai) jednakr zbfoilsopstvenih informacija ulaznog i izlaznog signala, umanjenog za solxtvenuinformaciju I((rr,AiD uredenog para (ri,yi) .
ij
: tt p,;lnb .
T T PtQi
Z. BnnNovri
Kako su I(*u) , I(y) i l((ri,y)) vrednosti slucajnih promenijivih
I(X) , I(Y) \ I(X,Y) , moZemo Pisati
\x,Yl -- \x) + I(Y) - /((x, v)) ,
tako da sludajnu promenljivu I(X.Y) moZemo zvali tzaiamna informacija
slucajnih promenljir.ih x i Y . Njeno matematidko ocekivanje
E(IIX.Yl) : H(X) + H(Y) - H(X,Y) : I(X'Y)
jednako je srednjoj uzajamnoj informaciji X-a i Y-a'
3.3 uzajamna informacija za neprekidnu raspodelu
Pretpostavimo da je u pitanju neprekidna dvodimenzionalna raspodela, tj'takva da je funkcija raspodele (*,a) ' F(',il apsolutno neprekidna u
R, . Tada su i marginalne raspodele a --- F1(r) : F(2, oo) kao i A -+
Fr(d: F(oo, E) takode neprekidne funkcije na R ' To znadi da postoje
izvodia2F r, 0F1@) ,,,. 7Fz(a)
a.ay : f(t'il ; tr : ft(')' ff : f'@)
skoro svuda u R.Velidina
r(x,y): [* [* r( \ i 'f @'a), J -* J-*- .r,a)t" ofiffidr ds
je srednja uzajamna informacija za neprekidnu dvodimenzionalnu raspodelu
(ako integral konvergira).Izraz
r(*,a):r,ffh)d,rdy
za svako r I a za koje i" f @,y) > 0 zove se uzajamna informacija z-a i
a-4.Ako su X i Y stohastidki nezavisne velicine, tj' f @,a): flr)fr(A) ,
onda je I(*,A) - 0 . odnosno nezavisne slucajne velicine ne daju nikakve
informacije jedna o drugoj.
L I
3. INpoRuacr"le t0
Kako je
r (x,Y) : I: li, t,, rrr" ff% d,r d,s :
- E l]*'o'Y)tn f (r'Y) d'r d'Y
- /lrr r,@) l:r(*,y) d,y) d,r - /lt* h@) l* r@,a) d,r) d,y ,
a budu6i da je
l:f @,a) dy : f{r) , I* f @,y) d,r : fz(u) ,
to stavljaju6i
H(x) : - I:fi(r)rn f1(r) d,r ; H(y) : - I:fz@)t f,@) da ;
H (x,Y) : - l: l]*, t., y)rn f (r,,y) d,r d,y,
dobijamor(x,Y) : H(x) + H(Y) - H(x,Y) ,
Sto govori da je srednja uzajamna informacija zadri,ala isto znadenje i zaneprekidne raspodele.
Primer.Neka je dvodimenzionalna sludajna promenljiva zadatatako da je margi-
nalna funkcija verovatno6e promenljive X
1 r fr2t,fr(*): R4fr"*pl-#r) ,
dok je za svako , : R uslovna gustina verovatnode komponente Y
p*@):#*;@41 -
{34
MoZe se pokazati da je u tom sludaju
H(x):ln(2reo?)tt' ; H(Y):ln(2re(o + ol1)r/z ,
H(X,Y) : ln 2reoo1 ; I(X.Y) : h(t * (?)')'''Zakljucujemo da srednja uzajamna informacija zavisi samo od odnosa
01 i o Ta cinjenica ima jednu korisnu interpretaciju na primeru tzv,Gauss-ova kanala sa direktnim vremenom.
Ulazni signal je normalno rasporedena sludajna velidina X , dok je Sum
takode normalno rasporedena slutajna velidina Z , pri demu su X i Znezavisne promenljive. Izlazri signal Y nastaje sabiranjem ulaznog signalai Suma tako da je i Y normalno rasporedena sludajna promenljiva. Sematski
X : l/(0, a1) X+Z:,n/(0.o+or)
Parametar 01 karakteriSe "snagu" ulaznog signala, a parametar o"snagu" Suma. Vrednost srednje uzajamne informacije koju daje izlaz o
ulazu zavisi od odnosa o i o1 .
Primetimo da se mo1e odrediti i srednja uzajamna informacija za vi5edi-menzionalne sludajne velidine X : (Xt X2,..., X,) i Y : (Yt,Yr,. ..,Y.)(sludajne vektore).
MoZe se pokazati da je za svako n > 7
H(Xr,xz,...,Xn): H(xt)+ H(hlx2) + " ' + H(hlxt,x2,...,xn_l) ,
kaa i za$raki prirodan broj m > 7
Z : N(0,o)
H(y/ (xr, xz,. . ., X^) < H(y I (-x2, x3,. . ., x,.))
3. IxroRuacr"le
3.4 Prenos informacije i sistem upravljanjaDelovanje na objekat u cilju poboljsanja njegovog funkcionisanja se u kib€r-netici taziva upravljanje. Najjednostavnija sema sistema upravljanja irnaoblik
Ponasanje objekta se karakterise skupom izlaznih velidina (y) kojeimaju odredene verovatno6e javljanja (zadataje odredena raspodela na y ).jer je svaka izlazna velidina uslovljena smetnjama. Skup svih mogu6ih dej_stava na objekat odreduje promenljivu x sa odgovarajudom raspodelomverovatno6a.
Cilj upravljanja neka bude odrZavanje velidine y u nekom stalnomstanju Uo . U idealnom sluiaju to stanje je izvesno pa je H(y) : 0 ,tj p(ao) :1 . u opstem sludaju, jasno, postoji neodredenost izbora y ismanjenje te neodredenosti dejstvomiz skupa X opisuje se jednacinom
r(x,Y) : H(Y) _ H(Ylx) .
sada je I(x,Y) informacija u x o y koja karakterise smanjenjeneodredenosti izlaza Y ulaznom velidinom iz X .
Neodredenost H(X) se moZe interpretirati kao razrovrsnost upravljai-kih dejstava i ona mora biti takva da se moze delovati na objekai, q.-d.je
H(x) > I(x,Y) odakle je H(y/x) >_ H(x) _ H(y) .
zadnja nejednakost daje krajnje mogu6nosti upravljanja. Neodredenos.trzlaza se ne moZe smanjiti ispod navedene granice, a jednakost se postiZe akoi samo ako ulazni signal r e x jednoznacno odreduje izlaz a e y, jer jetada H(X): I(X,Y) .
Da bi se smanjila neizvesnos t izlaza H (y I x) treba poveiati raznovrsnwtupravljadkih dejstava H(X), jer je I(X,y) : H(X) _ H(X/y) , odnmoH(Ylx): H(Y) - H(x) + H(x/Y) .
Primer
t6
IGj"k t Ilupravljanjal
1
I'*"t"Fl
Z. BnaNovli
Pretpostavimo da je sistem upravljanja takav da entropij a H(ylx) nesme pre6i vrednost od 0,35 bita. Ako se smetnje u radu sistema opisuju sa4 razlidite vrste Suma i raspodelom
;l. Imronu
O.rde je
F-Ue
.ffilt.}-i : -l
.tri.L l
_{p +Primenit
foffimmtrij&ffirmrcija-
-tflm -r iz
Ue dmtieilem Ca Fl Mrymtruma fonrmllnfi da ir.X*'
m&*ffiumiilm
@fri flM mruu t&lffimmfu1fla u
,&wfl"fr_trflil:
f,Mdmrmiiidilffimlffi
IT\ TrL2 TrL3
0,2 0,3 0, 1 0,4
izradunati kolidinu informacije koju treba da unese upravljadki uredaj da bi sepostigao zahtevani kvalitet upravljanja. Kolika treba da bude raznovrsnostupravljaikih dejstava? Pretpostavlja se da je upravljaEki uredaj idealan, tj.H(xlY) :0 .
Vidimo da je bez upravijanja
H(Y) - -0,21og0, 2 - 0,31og0,3 - 0,11og0,1_ 0,41og0, 4: l,g5 bita.
Prema zadatom uslovu je H(ylX) < 0,35 bita. Otuda je
I(X,Y) : H(Y) - H(y/X) > 1,85 - 0,85 : 1,5 bita .
Raznovrsnost upravljaakih dejstava je
H(X) : I(X,Y) + H(X/y) tj H(X) : r(X,y) > 1,5 bita .
p(Y : 0lX :0) : t - e - p(y : t/X : L),
p(Y : L/X :0) : u : p(y :0/X - 1) .
Dvodimenzionalna raspodela glasi
0
p€q(l - e)
3.5 Primeri i zadaci1' Vratimo se na binarni simetridni kanal kod koga postoje dva ulazna signala0 i 1 sa pridruZenim verovatnodama p(X :0): p i pix _ 1) : q :i_pkao i uslovnim verovatno6ama za izlazre signale 0 i i ,
p(\ - e)
5r[3. INpoRuect"la
Ovde jep(Y:0) :p(1 -a) +q€:p+r(q-P),p(Y : 1) : pe+ q(1 - e) : q + e(P - q),
1(0.1) :lr . j1- :ln2e (0,r \", -./ --- p(q + e(p _ q))
1r1.0) : L-. -i1- : In2e ( o,r\r,v/ --- q(p+e(q_p))
pa jeH(X):-plnp-qlnq
H(Y) : -(p + e(q- p)) ln(p + r(q-p)) - (q + e(p- q)ln(q't'(p - q))'
H(X,Y) : -plnp - qlnq -elne - (1 - e)ln(l - e)'
I(X,Y):H(X)+H(Y)-H(X,Y):'lne*(1-t)ln(1-e)-(p+ e(q_p))1"(p +e(q-p)) - (q+e(p-q)ln(q +e(p -q))
Primetimo d'a je za e : 0 I(x'Y) : H(x) - kanalom se prenosi cela
informacija l aza e : ll2 je I(X'Y) : 0 ' tj' kanalom se ne moi'e prenositi
informacija.Ako se izabere p: q: Ll2 i e < 1/2 ' dobija se
1(o, o) : Inp(t - e) : In2(1 - 6) > 0 ,p(p+e(q-p))
I
t
I
j{
!
{
I
/(1, 1) : inq(1 - e) :ln2(1 -6) >0
q(q+e(p-q))Za dovoljno malo e (mala gre5ka u prenosu) je 1(0,0) : 1(0) : B2
tako da je uzajamna informacija koju izlaz 0 daje o ulazu 0 pribliZno kao
sopstvena informacija ulaza 0 . Istovremeno je onda 1(0,1) : -oo Sto
ziad d,a izlaz 1 pruZa potpune dezinformacije o ulazu 0 '
Medutim, ako je e: ll2, onda je /(0,0) : /(0,1) : 0 tako da ni 1
ni 0 kao \zlazi ne daiu skoro nikakvu informaciju o 0 kao ulazu.
Srednja uzajamna informacija u tom sludaju je
I(x,Y): elna+ (1 - e)ln(1 - s) + rn2 : ofl,f;l - H(',1 - e) > 0'
2. simboli Morse-ove abecede mogu se, po pretpostavci, pojaviti u nekoj
emisiji sa slededim verovatno6ama
38
simbol tadka crtaverovatno6a 0,51 0,31
Z. Bnervovr6
razmak medu znanima razmak medu redinra0,L2 0.06
Odrediti srednji sadrZaj informacija u vesti koja sadrzi 500 znakova Mor-se-ove abebcede ako nema statistidke veze u sledu imedu pojedinih znakova.Reienje:
skup znakova koji se pojavljuje sa odredenim verovatno6arna se moieokarakterisati prosednim sadrZajem informacije. Srednji sa.drzaj informacijekoji donosi jedan znakje
r(x):fdolr"-\
: o, 51h # + 0,31h# +0, l2h# . o,o6h #: 1,628 tfta po amku -
Skup od 5fi) takvih zmakova 6e imati seddi sadrZaj informacije I -500 . 1,628 : 815 bita.
3. Neka su 11 i 12 ulazni simboli a !b " gt i W izltzni simboli. Obatlazna signala se pojavljuju sa jednakim neror"atno6ama,. a nizs,njs znakovaje statistidki nezavisno. uslovne veronatno& dvrld zadatesu iablicom
a) Napraviti tablicu za funkciju raspodele sludajne,elidine I(ru,a) ;b) Naii srednju vrednost velidine I(rt,A)Reienje:
Izp(ri,yj) : p@i)p(ajl*r) : p(yj)p(ri/y) stedi
p(tr/a;) : p(ni)?(ai /ni)- pwil , odn.sas
p@j) :io@,,a) :io*"n)o(u,/*n) pa jei+1 i+l
12 | Ll32 L/64 GI/M
3. INponu.q.cI.ln
Otuda je
p(ai:0,5'#+0,5'rppfur):0,5'H*o'1
,+p(az):t-#-*^-aDalje je
r (r;, a i) -- 6 -?9t-!)- - brp@!)p-@ i I r) : 6p(a i I r)
"' p(ni)p(y) - * p(r,)e(d p(ai) )
pa je
I(*r,ao):,r# *:ln1:0,I(,,,a): t'H #,:r' !] = o'e77 = L
'
t64 1I(rr,Ar) : L 64' 31
: Iny = -b,
I(rr,Ad: rr#'f : O,
I(rz,at): ,, # ' 3t = -u ,
I(rr,A): ,t # 3t = ,
Znari- da sludajna velidina I(rt,A) moae da uzme tri vrednosti 0 ,
-5 sa verovatno6ama
p(I :-5) : p(rt,Az) I p(rz,A) :0, tt# * #) : h,,
p(I :0) : p(r1,yo) + p(*r,Ao)- O,tt# * *l : *,,p(I : l) -- p(*r,yo) + P(*r,A) - O, UtH * Hl
:#
t
_1_3?',- 64',
116156I(X,,Y) : -5 64*
0g, *, U: U:0,877 bita Po znaku .
3. IxpoRlvract.lR
6. Pretpostavimo da je u pitanju neBto sloZenija situacija nego u primeru
4; neka se prvo baca homogena ("po5tena") kocka. Ako je ishod paran broj-baca se nepravilan novdi6 kod koga su verovatnode ishoda ll4 (pismo) i3/4 (glava). Ako je ishod neparan broj baca se drugi nepravilan novdid kod
koga se navedeni ishodi (isti redom) 314 i ll4.Reienje:
Sada je
p@tlrp) :f, ,p@zlrr) :],p@rlr,) :l,nfurl*,) :i,,gde ro e. {2,4,8} , u rn e {1,3,5} .
Na osnovu relacije p(r*Ai): p(ri)p(Ajlr;) doblja se tablica
jer je
p(q,a) : p(rL)p(a'.lrt) :
p(rz,az) : p(r2)p(a2l*r) :
p(rz,a) : p(u)p(srlrt) :
Ovde je
H(x,Y) : -r(*ros ] + *^r*) :3,3e6 bita
H(X) : log 6 : 2,585 bita ; H(Y) : log2 : 1 bit .
H(X) + H(Y): 3,585 > 3,396 : H(X,Y) .
Dalje je, na osnovu formule za izradwavanje uslovnih verovatno6a,
2345
1
8'1
8'1
24'
13E41364116'4
itd.
Ut
Az
tl47lt2
1/12 7/4 rl12 114 1lt2114 1lt2 Ll4
r /at
rl8 tl24 118 1124 118 1
tl24 718 Ll24 tl8 7124 718
114 Ll12 p(r laz)
42 Z. BneNovri
63/4r/4
1143/4
3/4r/4
r/4314
3/4L/4
L/43/4a ln6)
Odavde je
H(x/a) : H(x/az) : -r(1.* i * *.* #) : 2,3s6 bita .
srednja uslovna neodredenost bacanja kocke (x) u odnosu na bacanjenovdiia (Y) je
H(x/Y) : lrr*,rl +)u6la,) :2,3e6 bita .
Slidno,zasve re X je
H(Y/r): -i.r i - i.- i : 0,8113 bita ,
H(Y/ x) : a[n1v1,,D) : o, 8113 bita .
7. Za poruku sludajno odabrane osobe: ',Dan65 mi je rodendan,, izra-dunati sopstvenu informaciju.Reienje:
I(r;) : -logpo: logz # = 8,51 bit .
Srednja informacija koju takva poruka nosi je
I(X) : logr 365 ry 8,51 bit .
srednja informacija za opit da li je gornja informacija tadna ili ne je
I(Y)= 1 1 364' 364= - 365 log
365 - 865 log
365 ry 0, 063 bita .
8- odrediti srednju sopstvenu informaciju izjave: ,,Moj rodendan je30.07.".Reienje:
3. INponrraecue
I(r) : -logpn ; i e {1,2,.- . ,365} ; c; nije 29 februar ;
4 godine:4.36.5*1.
I(x\:-365- 4 4-- I r 1"--4.365 + l lo8a.ms+t
4-365+ 1'og- .36t -9. Kolidina delova nekog proizrrcda se u zavisncti od tainosti izrade
rasporeduje na okrugle i ora,lne, a po tezini na lake i teske. U lake spada70% svih delova. Medu lakim je 80% okruglih. od ukupnog broja delovaposmatra se 64% . Koju koliiinu informacije u obliku dela moZemo dobitinjegovim merenjem.Reienje:
43
''(oiinr:;r) ' Y
Ptz :0, 08 , Pzt : 0,L4 , p22 : 0,22 , pa je
I(X,Y): D Dpn,bsYi i Piqi
: 0,56tog - il9- +... + 0,22tos:*- : 0,862s2 .0,64 . 0rT ' t v1a""t 0,36 . 0J -
10. cilj se moZe gadati n puta pri 6emu je verovatno6a pogadanja ciljau svakom pokusaju p. Posle k-tog gadanja (L < k < n) daje se izvestaj otome da li je cilj pogoden ili ne. Ako jeste gadanje se prekida. odrediti ktako da kolidina informacije u izveStaju bude maksimalna.Reienje:
, Pr - Pogoden ,pz - promaSen ,
-p)k, Pr:1-(1 -p)k,
(a, ?tz \\o,z os)'/Y --a),:0,7. 0,8 : 0,56 ,
P'i'i:P(Y:Y)P(X:riPtr: P(Y : A)p(X : qlY : a)
*r, (ii ;:)pz: (1
44
iz uslova Pr: Pz:112 dobiia se
Z. Bnemovri
" - -l,og2(1 - p) '
11. U kutiji su 3 bele i 4 crne kuglice. Izvudene su 4 kuglice i ustanovlienoje da su od njih 3 crne i 1 bela. Izradunati informaciju dobijenu posmatraniemovog dogada ja B za slededi dogadaj A : sledeia izvudena kuglica iz kutijeje bela.Reienje:
I(A,B): loB'#: log #: --o,TTs .
12. Pretpostavimo da je za neko mesto verovatno6a da 6e 15. juna pastiki5a 0. 4 , a za 15. septembar je ta verovatno6a 0,8 . Neka je meteorolo5kaprognoza za15. juni tadna u 60% sluEajeva ako predvida kiSu, a u 80%sludajeva ako predvida suvo, a za 15. septembar neka su ti procenti redoms0% i 50%.
Pitanje je za koji od tih dana prognoza daje vi5e informacije o vremenu.Reienje:
Neka je X1 sludajna promenljiva vezala za 15. jun sa vrednostima 11- kisa pada i 71 - ki5a ne pada. Za 15. septembar neka su analogne velicineredom Xz , rz i uz . Ocigledno je
H (Xr) - -0, 4log 0, 4 - O,6log 0, 6 : 0, 971 bita ,
H(Xr) - -0, 8log 0, 8 - 0, 2log 0, 2 : 0,722 bita
Neka je YL sludajna promenljiva cije su vrednosti h - "prognozira sekiSa" i Ut - "prognozira se da ki5e ne6e biti" za 15. jun, a odgovarajudevelidine za 15. septembar neka su redom Yz , Az i g, .
Kako je
p@t/yt): 0,6 , p(hlat) : 0,4 , p(7.1lat) :0,2 , p(hlat) : 0,8 ,
iz jedna,kosti
p(r): p(y)p(rr/a) + p(a)p@rlg) i p(a) :1 - p(a)
3. IupoRriaecr"r,q.
dobija se
p(yl) :0,5 , p(gL) :0,5 .
Slidno, iz
p(rzlaz):0,9, p(izlq) :0,1, p(r2lg2):0,5 , p(n2lA2) :0,b,
p(rz) : p(y2)p(rr/yz) + pfu2)p(r2l g) i p(gr) : t - p(az)
dobija se
p(uz) : o,75 , p(a2) :0,25 .
Otuda je
H(XrlY) - -0, 5(0, 6log0,6 - 0,41og0,4 - 0, 2log0, 2 - 0,81og0, g)
: 0,846 bita ,
H(X2/Y2): 0,602 bita .
I(Xr,Yr) : H(Xr) - H(hlYr) :0,125 bita ,
I(Xr,Yz) : H(Xz) - H(X2|Y2) : 0,120 bita .
Informativnija je znaii prognoza za \b. jun (iako je verovatno6a tadneprognoze za taj dan manja).
13. Raspodela verovatnode za (X,y) j" data tablicom
At Az Ut
45
fr1
t2T3
0,60,20,2
0,4 0,1 0,5
Odrediti entropije H(Y/X) i H(YIX) .
Reienje:
H(YlX): -Ip(X : r)p(Y : ajlX : *o)tosp(y : ailX : *r) .i,i
Deljenjem verovatnol,a pii sa marginalnim vrednostima za X odnmoY , dobijaju se dve nove tablice:
0,2 0 0,40,1 0 0,1
0,1 0,1 0
46 Z. BneNovri
At Az Asatr-T--rTtl4 0 1/5rl4 1
Na6i informaciju o X koja je sadrZana u y .
Reienje:Tablica uslovne raspodele X u odnosu na y ima oblik
01
1
1
1
0 2/30 tl2
112 0
/3l2l2
pa Je
H(y/x):0,u(-ir"**- 3.-3) +0,2(;r"*; - -i.-i)+0,2e;,"*; - i.- i) : b,e4 bita ,
H(xty) : o,nG;,"* * -,. f,rcri) * o, l rog 1
+0,5(-*,"* f - *.- *) : o, e6 bita
14. Dvodimenzionalna slu6ajna promenljiva ima raspored zad.at tablicom
r13 213
Kako jeH(X) - -0,3log0,3 - 0,Tlog0, T:0,8831 ,
H(x/a - -1) : -*r"r l 'r^r?: 0, e183 ,
DqQT)H(X/a - 0) : -i toe : -: log ' : 0, e210 ,)ooc
0,30,5012
0,3 0,7
0,1 0,20,2 0,30 0,2
3. INpoRrraecr;e ry
H(XIY: 1) :0,H(XIY) : p(Y : -L)H(X|Y : -1) + p(Y :o)H(xlY :0)+p(Y : I)H(XlY : l): 0,3 ' 0,9183 + 0,5 ' 0,9710 : 0,781 ,
I(X,Y): H(X) - H(XIY) :0, L22L .
15. Raspodela verovatnoia sistema dogadaja je data tablicom
fr1
fr2
frg
0,2
0,60,2
0,26 0,8
H(xlY) ,
0,56
Odrediti H(X) , H(Y),Reienje:
H(Ylx) i I(x,,Y)
H(X) - -0,21og0,2 - 0,61og0,6 - 0,21og0,2:7,371 ,
H(Y) - -0, 26log 0,26 - 0, 18log 0, 18 - -0, 56log 0, 56 : 1,4L9 .
Iz tablica uslovnih raspodela
T1
fr2
fr3
fr1
fr2
fr3
dobija se
H(XIY) - -0, 26(0, 38log0, 38 + 0, 46log0, 46 + 0, 15log0, 15)
-0, 18(0 + 0, 44log0, 44 + 0, 55 Iog0, 55)
-0, 56(0, 17log 0, 17 + 0, 71 log 0, 71 + 0, 1 log 0, 1)
: 1,1835 ,
H(Y I X) - -0, 2(0, 5 log0, 5 + 0 + 0, 5log 0, 5)
-0, 6(0, 2log 0, 2 + 0,13 tog 0, 13 + 0, 66log 0, 66)
-0, 2(0, 2log 0, 2 + 0,51og 0, 5 + 0, 3log 0,3)
0,1 0 0,1
0,L2 0,08 0,40,04 0,1 0,06
Ur Uz Az Ut Uz Uz
0 0,5
Z. BnaNovri
: L,2417 ,
I(X,Y) : H(X) - H(XlY) :0,1875 .
16. Raspodela verovatnoia sistema dogadaja (X,Y) data je tablicom
0,10,040,05
Nakon izradunavanja dobija se
H(X) : 1, 555 , H(Y) :2,293 , H(XIY) : 1, 388 ,
H(YlX) :2,L27 , I(X,Y) : 0,167 .
L7. Poznato je da od jedne bolesti oboleva 4% ljudi. Radi konstanto-vanja bolesti koristi se jedna reakcija koja je pozitivna kod svih bolesnih a ikod 20% zdravih ljudi.
a) Kolika je neodredenost u konstantorranju bolesti?b) Kotika je neodredenmt u korstantormnju bolesti ako se znaju rezultati
reakcije?o - opit da li je 6ovek bolestan ime d'na ishoda: 81 - bolestan i Bz
nije bolestan; opit B - rezultat reakcije takode sa dva ishoda : Ar - reakcijaje pozitivnai A2 - nije pozitivna.Reienje:
a)
H (P) - -0, 04 log 0, 04 - 0, 96log 0, 96 : 9(0, 04) + 9(0, 96) ,
gde je g(r) : -plogp .
b)
p(A) : p(B)p(ArlBr): 0,04' 1 + 0,96'0,20 :0,232 ,
P(Az): 0' 768 '
n (0 I Ar) : - p(tu I A) tos p(h I A) - p(8, I Ar) ros p(82 I A1)
_ _0,04. 1,^_0,04. 1 0,96. 0,2 r^*0,96.0,2 _^ ctna0,222
Iog oJ32 - o7n Log o,2zz : u' oo/ /
'
H(BlA2) : 0 ; H(gl") : 0,232' 0,6577 - 0,768' 0 : 0, 1526'
r, | 0,L2 0,08 0,05 0,03
0,L2 0,04 0,02
0,08 0,1 0,L2
ts
I
4 Izvor informacije
4.L Diskretni izvor informacijeZamislimo sistem koji se sastoji od doveka i pisa6e masine a proces koji tede jekucanje nekog teksta. U odredenom vremenu nakuca se tekst od n zna.kova.Proces kucanja je ograniden skupom znakova koje ima doticna masina kao izahtevom da "proizvedeni" niz bude tekst sa smislom.
Taj se sistem moZe posmatrati kao odredeni izvor informacije, a kucanje ka.o" generisanje" informacija.
Neposredan cilj je da se izgradi matematidki moder koji "pokriva,, sustinskeosobine generisanja informacija u realnim sistemima.
Generisanje informacija se sastoji u emitovanju niza znakova (simbola) iznekog nepraznog skupa A od svih moguiih znakova. Ako je A konadan skupi ako se, recimo, svake sekunde emituje jedan znak. onda ie se za n sekund.iemitovati poruka od n znakova, koja se moZe zapisati u obliku n-clanog niza
r : (at,a2r...,an), aa € A r,i:L,2,,..rn,Jasno je da r € An: {(at,(12t...tan) lqe A, i:1,2,...,n}.Kao Sto je poznato broj elemenata Kartezijevog proizvoda An skupa A
sa c, dlanova iznosi o' .
Poruke koje se sastoje od niza znakova razlikuju se po verovatnoii sa kojomse emituju. Tako npr. medu porukama od b znakova AAAAA . NAA,IAS .DANAS najverovatnije je da ie se emitovati poslednja od njih.
Diskretan izvor informacije se, zbog toga, matematidki definise tako da seodredi neprazan skup A : {or,az,...,o,a} - azbuka izvora i raspodelaverovatno6a na skupu An za svako n € N.
svakoj poruci r e An pripada odredena verovatnoia p(d > 0. pri demuie D,e.t* p@) - 1 . KaZemo da je rei o rlisfos6ns* izyoru-informaci;a (a,p)sa konadnom azbukom ,4, i merom p.
Kako je emitovanje znakova u datom izvoru informacije odreden proces kojise zbiva tokom vremena na sludajan naiin, pogodno je definisati dis}retni izvorinformacije ka.o odredeni stohastidki proces {x1 : t e ?} sa diskretnim param-etarskim skupom T : {7,2,. . .} i skupom vrednosti ,4, .
Oznaka
P(Xt : at,X2 : a2,...,Xn :arr) ) 0, (or,a2,..,,an) e An
ukazuje na verovatnodu da izvor emituje simbol o,1 u rnorn€ntu t : 1 , simbol02 umomentu t:2 itd. Akozasvako n€N vaZi
p(XX+t : at, Xk+2 : azt.,,, X*+n : an)
: p(Xt : dL, X2 : a2t . . . , Xn : an) : p(at, a2, . . . ,an) ,
kaZe se da je izvor informacije stacionaran. To znadi da probabilistiike osobinetog izvora ne zavise od vremena. Verovatno6a emitovanja odredene poruke isaje u bilo kom vremenu.
5[4. IzvoR lNroRlvllcur
jednaka je bezuslovnoj verovatnodi p(a',,) simbola an e A ' Zbogtoga se tah\rrr, ,ou" izvor bez memorije - jer je emitovanje signala u sadasnjem mo-
mentu stohastiiki nezavisno od prethodno emitovanih simbola'
Za ovakve izvore je
1 --.-- 1
H.: !gt1x) + H(X) + "'+ H(x*D: :nH(xr)
: H(X): -irnlospr ;
i=l
hn: H(X*) : H(X) : Hn ' n:7'2' "'
Entropija izvora bez memorije je, dakle
H - -irotosn, .
i:r
Primetimodaje,zbogstacionarnosti,sopstvenainformacija'I'(r)poruker e A , T : (atr&2r. , ' r&n) '
I.(r):-lnp(r): -f mP1,,) 'i=l
Stavimoli /(a;) :-lnp(a;) , aeA' i:!'2'"''n'tada 1(aa) moZemo
interpretirati ka,o sopstvenu informaciju simbola a1 € A ' Yaii
In(r):itton) ,
i=l
tj. sopstvena informacija 1,(z) koju nosi poruka r emitovana iz datog izvora
#, memo.i3e jednaka j" ,rir,r-ropstvenih informacija koje nose pojedina slora
te poruke. Kako su i*(*) i i(a) odredene diskretne sludajne veriine pri
demu. za izvor bez memorije, one imaju istu raspodelu' imamo
D(I(a.t)): - t p(a)rnp(a11 : -lntrnpi - H'at€A
Isto tako i disPerzija
oz(I(a)):\nr\n'po - H2 : K2 .
i=l
Dalje se dobija
E(l.(r)):iu1r1on)): nH ' odnmoi=l
i=7
4. IzvoR lNroRlracr.lp
To znaci da je
Ako se na nizdobija se
o21t.1r17 :\o21t(ai)): nK2 .
i:1
_H:
52
u(*'"at) *(!,"a0 : #I"(r) primeni Cebisevljera nejednakost za
,(l*r"r,ri ,o)=#,gde je 6 > 0 proizvoljan realan fusj.
Odavde sledi
"ry*r(l*t @) - Hl, r) : o, rj
(1) I ')t.1r1;*u.
7'naij dzfiz r-(z|/n konvergira u verovatnoi i ka H , odnosno da za velikoz sopstrena iuformacija Irc srovu poruke priblizno je kao entropija fr datogizvora informacije
.SSvimo li l?lnd: € to, s obzirom na to da je I.(r) : _lnp(z) ,nejednahst GUSesa poprima oblik
p[l"p(")+nill>n6)<e,odakle -akUucujemo da relacija
(2)wfur*uooaotuwcorn"-n(H*6)
< p@) < "-n(H-6)
n : 1,2,...
l-e.F-ddazaproizvoljne d>0 i e>0 mozesenaiibroj n takavdase skup svih z-.lanih poruka moze podeliti na dva disjunktna podskupa M1 iIfiz ta,ka da za srrako ! € M, va,i:i (2), dok je p(r e"Mz) :i6nl .,Grubo reteno. svaki element iz M1 louiiro "" )iu";;;i" verovatnaporuka") im* verovatnoiu emitovanjr probiizrro
"-lnu-, -aor.'ll'
verovatno6aemitovanja bilo koje poruke iz Mz friUliZno jednaka nuli.KaZemo da izvor ko]i i3a svojstva (1) i (2) i*,,"o;.i_ AEp (AsymproticEquipartition Prooerry). primetimo d,a'je M1 * a i da u M1 ima najvise
"n(H+6) poruka. ioa ia moZe biti i p.rr*, sto se dobija zaizvorbez memorijegdeje p; : L/a, i : L,2,...,a.
4. IzvoR rNpoRuecr.lp
4.3 Markovljev izvorOvde se pretpostavlja da diskretan izvor (A,p) poseduje odredenu ,,memoriju,,.
Jednostavan tip te memorije je da verovatnoda emitorranja pojedinog signalazavisi od prethodno emitovanih signala-
Pretpostavimo da verovatno6a emitovanja simbola aa u trenutku f > 1
zavisi samo od neposrednog prethodnike a1-1 . Proe emitolanja informacija6e biti odreden ako se zna poietna ra.spodela p vexolatn&" po : p(X1 :a1) >0) , i:1,2,...,a,imatrica tI prelaaihverovatnoda p;i--p(Xp:,i lX*-t : o,r) 2 o , (ILr p;: l) .
Izraz peti interpretiramo kao veronatnodu da se u po-etnom momentuemituje ai i da se nakon toga emituje ai , ti. da se dobije ureden par(at,*j). PiSemo
p(di,aj) : pipij ,
Velicinaaa
\n@*o) :Lpnpij : pji=l i=l
predstavlja verovatno6u emitovanja simbola ai , bez obzira na to sta mu jeprethodilo. Da bi izvor informacija bio stacionaran mora biti py : Fj , j --lr2,...,a,odnosno
f,rrrnni : ni , j :1,2,... )e, .
i:1
Poslednji sistem jednadina zapisan u matriinom obliku ima oblik
TI'p : p ( n' - transponovana matrica od II ) .
Verovatnota p(a1,a2,...,an) dase emituje n-Elani niz (or,or,...,an) eAn moZe se dobiti u obliku
p(at, oz,. . ., c,n) : p(a)p(a2l a) . . . p(a*f a._)za svaki (ar,azr...,an) e An .
Tako opisani diskretni izvor informacija zove se jednostavni Markovljevizvor informacija.
Ako je n > 2 dobijarno, prema zadnjoj formuli,
p(a* I @1, a2, . . .,o,-, ) ) : o(?r':"':'''' an- 1, an)
P\at,or,.ffi : P(an/an-t) '
To znadi da verovatnoda emitovanja nekog simbola an zavisi samo odprethodno emitovanog simbola an-! t a ne i od ranije emitovanih simbolaar, a2, . . . t an-2 . KaZe se da ovakav izvor ima memoriju prvog reda, dok se zaizvor bez memorije kaZe da ima memoriju nultog reda.
Napomenimo da se moZe dokazati da i jednostavni Markoder- iapr tu*osvojstvo AEP.
53
54
5 Kodovi uz izvor informacije5.1 Kodovi sa fiksiranom duZinomDetaljnija Sema komunikacijskog sistema ima oblik:
@+m +m-+ @ +H+m+Fr*,"qT
F.."jqZa uodavanje uloge kodera i dekodera iztrorainformacije vratimo se jos jed-
nom na primer doveka i pisace masine. pretpostavimo dL tekst koji je roveknakucao na maSini treba poslati kao telegrem do odredenog prima,oca. poznatoje da se u telegrafskom sa.obra6aju primenjuje Morseov k ip"r".n koga se slovaazbuke, kao i jos neki znaci, zamenjuju l[odiraiu) "i^"i*" ,*tavljenim od"crta" i "taaaka". Takode se upotrebljavaju i drugi kodovi (Baudotov i Mur_rayev) u kojima se kodiranje vrsi petodlanim nizovima sustaitie.rim od nula ijedinica (iridi tablicu u prilogu).
- odredeni tekst, pre nego sto ude u komunikacioni kanar, prvo se kodira najedan od navedenih naiina a zatim se moZe ponovo kodirati u cilju prenosenjaputem kanala.osnovni cilj kodiraaja informacija koje generise odredeni izvor informacijaje.u tome da se osigura sto brZi i pouzdaniji prenos informacija od izvora doprimaoca. PoZeljno je da se poruka.ma kodiranjem pridruZe sto je mogu6e kraiinizovi kodnih simbola, a da istowemeno verovatnoia ta.6nog dekodiranja (ko-rektnog primanja poruka) bude Sto je moguie veia.Formalni opis navedene problematike pretpostavrja da je zadat diskretanizvor informacija sa konainom aabukom A _ {or",o2,..".,""1 i konafanneprazan skup B : {0r,92,. . .,B6} , koji eemo ,vati azbuka koda a brojb baza koda.obicno se kao ,4 pojavrjuje skup u kome se naraze znaci slova, znaci inter_punkcije, znaci cifara i osnovnih raiunskih operacija i st. zaskup B se desto
yzima dvodlani skup. Tako je npr. Morseov t oa ru aru ,rrut r-gd'" duZina nizakojr_se pridruZuje datom simbolu nije fiksirana (kre6e se oa f aZ a;.Pretpostavimo da se kodiraju rn-erani (zn e N) tukstovi koje generise datiizvor.informacije u nizove elemenata iz skupa B , odnosno da se erementux € A* pridruZuje element y e Bn ka.o njegova kodna zamena.Nekaje U+g , UgA* i l:(J-Bn injektivnopreslikavanje. Tadase l*ze da je uz dati izvor informacije {A,p) zaait k"d ft;;;;iuzine od nkodnih znakorra-Svakoj poruci u e (J
_pridruzena je kort.a ziunena f (u) eB, , pri demu jef (u) n-elani niz aiji su elementi A E , t1-
u: (at,o2,.--,a-), rli e A, i :1,2,...,rn,
l@) :(br,b,...,bn), bi e B, j :L,2,...,Tt .
5. Kooovr uzrzvoe" TNFoRMAcTJE
Neka je
f(U) : {ulu e Bn,'u : f(u),u e U } .
Zbog pretpostavljene injektivnosti preslikavanja / moguie je svakom a €.
/(I/) pridruZiti jeda.n i samo jedan u eU zakoji je f(u) :o . PiSemo
u:f-r(r), aef(U)
i kaZemo da je o dekodirano l<ao u .
Ako uzmemo neki r € A* i r /U, onda zanjega nije definisana kodnazamenal pa se moZe uzeti bilo koji element y e B" kao kodna zamena, Sto
moZe imati za posledicu nekorektno dekodiranje. To znaci da 6e sve poruke izskupa [/ C A* blti kodirane i dekodirane, dok se to ne moZe tvrditi za porukeiz skupa A* \U .
Ako je definisan broj p : p(r € U) : p(U) kaZe se da je p pouzdanostzadatog skupa.
Sigurno daje poZeljno da se odredi skup [/ tako daje p Sto bliZe broju 1 ,
a da ima Sto manje elemenata, tj. da U ukljueuje sve najverovatnije poruke.Ako se uzme da je U : A^ onda je potreban i dovoljan uslov za egzistenciju
koda pouzdanosti 1 sa bazom b i fiksiranom duZinom od n kodnih zamenada bude
a* lbn odnosno
Kako se nf m moZe interpretirati ka,o broj kodnih simbola na jedan simbolporuke, emitovane iz izvora informacije, moZe se reii da taj broj ne moZe bitimanji od lnalhb. Sigurno ja da ie brzina prenosa zavisiti od nf rn. tako daie manjoj vrednosti kolitnika nfm odgowarati ve'ca brzina prenos:L
Ako izvor informacije ima napred opisano wojstvo AEP, tada pri kodiranju,uz dosta veliko rn , ne treba obra6ati painju nztztr. "rna.loiv€r€vatne" mtlaneporuke, ve6 je dovoljno konstruisati talav kod koji 6e omuguC{ti kodiranje ikorektno dekodiranje za tw. "visokoveronatne" m-Elane poruke.
5.2 Kodovi sa promenljivom duZinom kodnih zarnena
Polaza6i od aabuke B : {0r,02,.. .,B6} koda moZe se konstruisati skup Cna slede6i nadin
C : Bt-t 82 uB3 u...Elementi ovog skupa su svijednoclani, dvodlani, troilani i td. nizovi sastav-
ljeni od elemenata skupa B .
Akoje A:{or,d21...,o,a} azbukaizvorai f :A--C injektivnopreslikavanje, kaZe se da je zadat kod (a, b, /) , tako da svakom 9 € .4 pripadakodnazamer,a f(U)e C.
U daljem 6e se, bez posebnog naglasavanja, pretpostavljati da je o > b -
55
n lna_>_n1, InD
5. Kooovr uz rzvoR rNpoRuecue
Prirner.Neka je A: {or,az,o;} i B : {0, 1} i posmatrajmo slede6a tri koda
zad.ata tablicom
p(ai) kod I kod II kod IIIqlA2
Ag
Ako npr. izvor emituje niz simbola ata2a3 , onda primenom koda I sedobija niz 0101, koji se moZe dekodirati kao a7e2a,, ali i kao o,r",2",t",2 ,odnosno a3o3 ili l<ao a3a1a2. To znadi da kod I ne omogu6ava jednoznadnodekodiranje svakog niza koji moZe emitovati dati izvor informacije.
Kod II omoguduje jednozna.dno dekodiranje pod usrovom da je zavrsen proceskomuniciranja. Ako je, recimo, potrebno dekodirati niz 110, orria, ako se zna daje proces komuniciranja zavrsen, taj niz se dekodira putem koda II l<aa a1a2 .
Ako komuniciranje nije zavrseno, onda je mogu6e da se taj niz produzi nulom- tada se dekodira u kodu II sa o'ro,t Ako bi se navedeni niz produZio sajedinicom, onda bi se dekodirao kaa a1a2a1 . To predstavlja i nedostatak kodovog koda.
Kod koda III se ma koji niz sastavljen od nula i jedinica moZe dekodirati ilitakav niz nije uopite u tom kodu (npr. 111).
56
0,50,30,2
1
10
100
1
01
10
11
odigledno ja da je neophodno postaviti problem utvrdivanja potrebnih ifovoljnih uslo-va da zadati kod (o,b, f) omoguiuje jednoznaint dekodiranje,koje je moguie jo5 prilikom procesa komuniciranja.
Drugi problem koji se ovde postavlja jeste tzv. problem optimalnosti.Posmatrajmo to prvo na prethodno datom primeru. simbol o, ," emituje saverovatnoiom p(CIr) : 0,5 i u kodu I se zamenjuje sa /(a1) : 0, tj. ia nizomod jednogelementaizskupa B. Takode je p(az):0,3 a f(az):1 (duZinaniza je opet 1 ), dok je za simbol o3 .f (as) : 01 (duZina niza je 2 ). buzinakodnih zamena kod koda II i koda III tekode je razlidita.
Broj D : r,t-pt * nzpz * nzps moZe se interpretirati ka,o ,,prosedna duZina,,kodnih zamena u zadata tri koda. Iz tabele
proiztlazi da bi kod I bio najpovoljniji jer daje najmanju prosednu duZinukodnih zatnena.
odigledno je da se problem optimalnosti sastoji u tome da nade takav kodkoji omogu6uje jednoznaino dekodiranje i ima najmanju prosednu duZinu kodnihzamena.
57
Da bi se mogao formulisati stav o potrebnim i dovoljnim uslovima za kon'
strukciju koda koji omoguiuje jednoznadno dekodiranje neophodno je uvesti jod
neke oznake.Uredenom paru (c1,c2) e C2 pridruZimo element c: crc2 € C koji se
dobija tako dase niz c1 € c "produi'i" nizom c2 € c . Kaze se da je c1
prefiks od c a c2 sufiks od c 'Defini5imo slededi niz podskupovaskupa C: Bu82UB3 u"':
So: f(A):{ce Cl.: /(at) ; i:!,2,'..,o}(skup svih kodnih zamena);
St : { c1 € C I c6c1 € So ; co €,90}(skup svih sufiksa elemenata iz 56 sa prefiksima iz So );Sz: SLI) 5" 2 , gde je
SL : {c!, e C l"o"L eSr i co € So},Sl', : {c"z e C lcl|'2€ Ss ; c1 e,Sr } .
Uop3te, za svaki prirodan broj k ) 1 se defini5e:
Sr : S[ U,S"r gde je
SL : {Ck e C lcsclk€ St-r ; co €,So },d; p : {c" 1, e C l cpa|'t € So ; ck-L e'St-r }'
Primetimo da u nizu So,Sr,52,... ima samo konaino mnogo razlicitih
skupova. Skupovi St,Sz,'.. su sastavljeni od sufiksa elemenata iz skupa Ss
t<o3i.ie konaian i njegovi su elementi kodne zamene konadne duzine. Ako kodna
,u*"ttu /(oa) ima duZinu n.; ' onda postoji na,jviSe nt - 7 sufirksa te kodne
zamene tako da ukupan broj ne prelazi broj !i=r(u - 1) '
Toznadidapostojeprirodnibrojevi n)! \ m (7<* (n) takodajeispunjeno
Sa46:Sm1t k:0,1,2,-..
5. Kooovt uz tzvoR INPoRURCI;n
Tada jeS: Sr U Sz U -. - - 51U.9z U..'U S*-r
Skup ,S zovemo skuP svih sufuksa.
Teorema 5,2.L Kod (o,b, f) ornogu'uje jed,nomaEno ilekodironje oko i samo
ako je ,So O ,S prazan skup, tj. ako ne postoii sufilcs koji je uiedno i kodna
zarnena.
Ako je ,Sr prazan skup. tj. ako nijedna kodna za,irlerla nije prefiks neke
kodne ,u^"n", onda se kaZe da kod (o,b, f) ima svojstvo prefiksa' On
omoguiuje sukcesivno dekodiranje, pa se zato jo5 zove i trenutni kod'Tad je ,s prazan skup pa su ispunjeni svi uslovi iz upravo navedenog stava,
Sto zna6i da svaki trenutni kod omoguiuje jednoznadno dekodiranje.
Za napred navedene kodove imamo:Zakod.I je So: {0,1,01}, Sr: {1} , 52:A: Ss- 54: "', pa je
,S : Sr i otuda S lt ,90 : {l} * 0 Sto znadi da kod ne omogu6uje jednoznaino
dekodiranje.Zakod.IIje So - {1,10,100}, 51 : {0,00}, 52 :A : Sz- Sr :'""
S: Sr , So o S:0 pa on omoguiuje jednoznadno dekodiranje'
Za-kod,III je Ss: {0,10,11}, Sr :A: Sz -,S3: "' (trenutni kod,}-
5. Kooovr uz lzvoR lNroRuecr;B
5.3 Problem optirnahosliAko diskretni izvor (A,p) emituje simbol c1 sa verovatno tom p(a6) : po(i:1,2,...,o) iakoukodu (c,b,/) kodnazamena /(a;) imaduZinu n6( q - b.oj dlanova ntz'a l@) € c ), tada, kao sto je napomenuto, veridina
^:f,nro,i:l
se zove proseena duZina kodne zamene u kodu (o,b, f) .
Postavlja se zadatak konstrukcije kodova koji obezbeduju iednoznadno kodi-ranje kod kojih 6e D imati minimalnu vrednost.
Kod ima svojstvo prefiksa (kaZemo da je kod prefiksni) ako nijedna njegovakodna zamena nije prefiks neke druge njegove kodne zamene. svi kodovi sa fik-siranom duZinom kodnih zarnena su odigledno prefi.ksni. Ima i drugih prefiksnihkodova. Takav je recimo kod
{01, 11, 000, 0011, 0010} .
On se moZe predstaviti putem tzv. kodnog drveta, koje ima oblik
l_tl
58
ooo
0010 001 1
Iv{orseov kod nije prefiksni kao sto se to moze videti i sa kodnog drveta togkoda
5. KooovI uz IzvoR lNpoRlrecl:P 59
M
0
HVFLPJBXCYZAAko kod (o,b, f) ima svojstvo prefiksa' onda se moZe sprovesti sledeie
razmatranje:--ilk ji n :max{n1, fl2,..',n',} i posmatrajmo skup B'' Defini5imo niz
skupova
Bin : {rlr e 8", f(o)je preflks odr} ; i : l'2' "''a'
Za date skupove vaZi
B;n.lBin:0 (i.+ i) i Ul:rbi, c B" '
tj. radi se o nizu disjunktnih podskupova tz B" '
Kakokodnazarnena /(al) imadu/rnu ni<n,toskup B;n irn4 $t-n;
elemenata, tako da vaZi
iu,-,, . r, .
frNakon deljenja sa b" dobija se tzv' Kraftova nejednakost
*u-', .,.3Sprovedeno razmatranje pokazuje da vaZi i obrnuto' tj' da za date prirod-
ne brojeve ?LL,TL2,...,n, i b , 'u koje vaZi Kraftova nejednakost' uvek je
moguie konstiuisati kod sa svojstvom prefiksa u kome kodne zamene imaju
duZine TtL,'172,. , . rfra .
Kraftova nejednakost vaLi zasvekodove koji obezbeduju jednoznaino dekodi-
ranje.MoZe se dokazati sledeia teorema:
60
Teorema 5'3'1 Neka je (A,p) d,iskretn'i stacionami izuor i,nformacija u reomese znak ar € A em,ituje sa ulroaatnolom fil 0,, : 1,2,...,o, Di:rpt. :7 . Tada postoji, trenutni kod, (a,O, g )a'*oii i"
!.^.!'rno- -lo6*r'gde je H1: Il=r prlnpt
To znaii da je H1/lnb minimatnavrednst koja se moZe dosti6i za n .Ako je (A,p) izvor_bez memorij.,.nL j. arr-: fl, g;;l; II enrropijaizvora. Takode je H(x1,{2, ,x:l:;E zasvaki prirodni tro; r. Ako r_torke slova azbuke ,4 .tretiramo u"
"r".," (pojeainacne simbore) u novoj azbuciA' , moze se konstr,lsati trenutni * -rJ-,ar)
u kome je prosecna duZinakodnih zarnena fi., . Tada waii
rH -_ rEIoD:rl'.ET*1, ili
fl=?=#.1Broj r+/r moiamo fut.rprc.Eti ho prwecaa broj kodnih simbola kojiotpada na jedan simbol izrora rzuoron aotuino nelikog broja r veridina D,se moZe po volji priblEiti k" h,"j" f,lh.b - Relacija
poznata je ka,o Shannon_Fanova teorema-
5.4 Konstrukcija optimalnog kodaPostoji algoritarn (tzv. Huffmanov argoritam) koji omogucuje da se za fiksiranea i b i zadateverovatnoie pr ) oit : t,i,..'.,o. tar;;: 1 konstruiSepridruZivanje
ai*, f(a), ,i:1,2,...,a, eieA, f(ai)eC,sa svojstvom da dobijeni kod (o,b,/) ima svojstvo prefiksa i da prosednaduZina A(g) kodnih zamenau svakom drugom trenutnom kodu (o, b,g) nije*'"iir::n::;lXXi,,tl1*" a(/) kodnih )u*o^u kodu @,;, i '
(I) Azbuka A izvora-informacije se uredi po opadajuiim verovatno6amaemitovanja simbola. tj. tako-da.vaUi ,, >"ir, ... ) pa .
o.#') Akosu brojevi a i b 1, > ai'tur.li aupoJo.;iprirodan broj r rakav
(1)t ada s ea zbuci.d.odaryn of i k o f i ktia ni h s I ou ak o j
,-t*E :r+@ r hb
a:r(b-1)+b,
5. Kooovr uz rzvoR rNroRuecrrp 6r
Ocigledno da se broj dodatih fiktivnih slova a' dobija tako da se na&ostatak pri deljenju a-b sa b-1, pa se zatim taj ostatak (oznaiimogasac)oduzmeod b-1,tj.
(2) a':b-L-c.
Ako je b : 2 (binarni kod) oiigledno je da uvek postoji prirodni broj rtakav da vani (l),jer se tada (1) svodi na a : r*b , pa nije potrebno proSirivatiazbuku ,4 fiktivnim slovima.
(III) Formira se nova azbuka AL tako da se zdruZi poslednjih b slovaazbuke A u jedno slovo, kome se pridruZi verovatnoia dobijena sabiranjemverovatno6a koje odgovaraju zdruZenim slovima. Redukovana azbuka ima o1 :a * at - b+ 1 : a -c slova. Svakom od b zdruZenih slova pridruZi se nabijektivan nadin jedan od simbola azbuke B .
(IV) Ponavlja se prethodni postupak sve dok se nova azbuka ne redukujena b slova. Kodna oznaka za slovo o; formira se tako da se redom, polaze6iod kraja prema podetku postupka, uzimaju svi simboli azbuke B koji su sepojavili uz indeks i .
Oiigledno je da se nakon r * 1 koraka dolazi do redukovane azbuke Ar11kojaima &r*r:a,-(b-1): a-c-r(b-l) slova. Kako je c definisanopomoiu jednakosti a-b: r(6- 1)*c, tj. c:a-b-r(b- 1) vidi se da jeAr+L: b ,
azi,(7).
5. Kooovr uz rzvoR rNpoRrrlacr.lp
Proizilazi da su kodne zamene
/(o,): tf (oz) : oo
/(or) : orf (on) : oz
Takode je
f (o") : zo Tts :2f (oa) : zt n6 :2f(az) : zzo TLz : S
f(or):zzt 71s:3
62
Primer.Nekaje a:8, b:3 i B:{0.1,2}.
_ Kakosedeljenjem-o--b saD-t aoUilaostatak 1,toje a,:b_1 _c:3 - 1 - 1 : 1 . pa se dodajejedno fiktivno slovo.
Procedura Huftnanovog algoritma prikazana je sledeiom tabricom, u kojojsu date i verorratno6e emitovanja pojedinih slora date azbuke.
T\:1TL2 :2fl3:2fL4:2
6
O : D : 1 . 0, 30 + 2. 0, 20 + . . . + S .0,02 : t,Tb .i=1
. ..u l*'?ku se daje i primer postupka za konstrukciju jednog prefiksnog koda\oji .mj-e
obavezno optimalan ,e6 "brirak optimarnom;,. Tom"konstrukcijom sedobija binaran kod koji se zove Shannon_Fanov kod.Ako jedat izvor (A,p), A : {at, c,2t.. ., ao}, slova se urede po nerastu6imverovatnoiama emitovanja, tj. pr ) pz > ... ) poodredimo i (1 <z<o) takoaur" pr*pz+...*pt i pr.+t*pa'2a...*po
pribliZno isti bro.ievi.
skupa Az: {ai+r,oti+2t. . . ,ao} simUot 't
.
Ponovimo postupak posebno za svaki od lkupova A1 i A2, deleii ih na podr"a, po verovatnodi uravnoteZena, podskupa kojima se ,edom ioau5rr;,, simboli0 i 1.
0,300,200, 15
0, 10
0, 10
0,080,05 o
0,02 I2
0,300,200, 15
0, 10
0,10 o
0,09 r0,07 2
0,45 0
0,30 1
0,25 2
5. Kooovt uz lzvoR NroRraectls 63
Postupak se ponavlja dok se ne dobiju jednoclani skupovi. Za svako di
azbuke A , kodne zamene f (a) 6ine redom simboli dodeljeni tom slovu u
svakom koraku.
Primeri.L. Odrediti kod Senon-Fanoa z,z;zwr (4p) , Sde je l: {a1,o2,' ' ' ,a?},
d pr :0,27 , P2: 0,21 , ?3:0,15 , Pr:0,15, ft : O'12 ' P6: 0'06 '
pz :0,04 Pi : P(oa) .
Postupak je ilustrovan slededom tablicom
at e; [\q,) !o.rO?Z00020
02 0,21 1 01- ?oB 0,15
-
o 1oo 30
aa 0,15 1 101 3
1
d5 0'12 0 110 3
1
a6 0,08 0 1110 4
1
otz 0,04 1 1111 4
Primetimo da je ovde
H : -0,271og 0, 27 - 0,21 log 0, 2l - 2' 0, 15 log 0, 15
-0, 06log 0, 06 - 0, 04log 0, 04 : 2,6002 ;
n : 2(0,27 + 0,21) + 3(0' 15 + 0, 15 + 0, 12) + 4(0,06 + 0,04) :2,62 '
Dakle, entropija izvora i prosedna duZina kodnih zarnena se kod ovako dobijenog koda malo razlikuju.
Kodno drvo u ovom sludaju ima oblik
5. Kooovl uz rzvoR wr.oRrraact.le
Zapravo, postupak konstrukcije koda jeste i formiranje ,,drveta,,, pri iemusu kodne zamene pridruZene bas zavr5nim crtrrovirut.
2. U sledeioj tablici su dva binama koda.,1f i g w izvor (A,p), gde jeA:{or,Q2t...,oz} i pt:p2:0,2, p3:0, ]lg, ps:0,12, p5:0, 11 ,P6:P7:0,09'
a1 0,20 00 2 tO za2 0,20 010 3 11 2a3 0,19 011 3 000 3a4 0,72 100 3 010 305 0,11 101 3 011 Ba6 0,09 110 3 0010 4az 0,09 111 3 0011 4
Ovde je / kod Senon-Fanoa i za njega je n(/) : 2,g0 , dok za kod 9imamo n(g):2,78. Kod / dakle nije optimalan kod.
64
.a
65
6 Komunikacioni kanal
6.1 Diskretni kanal
Razmotri6emo problem modelovanja dislretnog komunikacionog kanala uz
pretpostavke da postoje smetnje l kanalu'- Da bi se poruke, generisaneizizvorainformacije i eventualno ve6 kodirane
na neki nadin, p..ooril" putem kanala u obliku niza o&edenih signala, nuzno
je pretpostavjati da postoii odredeni nepraz.ni skup svih mogu6ih signala
po,,oA, kojih se po.i* izrtra prevodi (kodira) u obli]ru niza signala (obicno
Ll"ktrierrihlmpulsa koje karakteriSu odredene velidine kao Sto su jadina struje,
napon struje, frekvencija i s1.)'
Na svom su "putu'; signali izloZe,,i uticajima smetnji Sto moZe rezulti-
rati time d.a izlazri signal nije obavezno ka,o ulazni, Sto znaii da se moie
posmatrati i skup mogu6ih \zlaznth signala'
Delovanje smetnji se takotle podvrgava odredenim statistidkim zakoni-
tostima tako da opisivanje komunikacioirog kanala mora po6i od pretpostavke
da postoji odreiteni skup u ulaznih signala, skup v izlaznih signala i
odrld"rru familija funkcija raspodele koje odraZavaju statistidku zavisnost
uiaznih i izLazn\h nizova signala.
Ako je t : (at,a2t...,an) € (J" i A : (br,b,,"',bn) € Vn ondS' se
moZe govoriti i o ,rriorrroj verovatno t:i p(y lr) da se na izlaz:u iz kanala dobije
niz g- akoje ulazni bio niz z . Jasno je da ta uslovna verovatnoia zavisi
i od ;stanjai' kanala koji se menja tokom vlemena u zavisnosti od prenetih
signaia ili nekih drugih uticaja.
zako seu opSternsludaju uvodi i skup s svih mogu6ih stanja komunika-
cionog kanala iulo au ima smisla govoriti o uslovnoj verovatno6\ p(y l@, s))
da setobij e izlazni niz y e V" ako je ulazni niz r e U" i ako je kanai u
stanju s € S.Formalno:Diskretni komunikacioni kanal ((I,p,s,v) sa ulaznom azbukom u -
{€r,€r,...,€,} ,lzlaznom azbukom V : {'ll,',rlz'"''\') i skupom stania
s oa..a..rjeakozasvaki n €N,svako s€s isvaki te u" zaaata
raspodela verovatnoie p('l@,s)) tako da je
p@l@,s)) > 0 za svaki a QV", D e@l(r,s)) : 1 .
gevn
66 Z. Bnarvovri
Ako je stanje lanala odredeno samo na osrovu prethodno prenosenihsignala, onda se kaze da kanal ima odredenu memoriju. Stanje kanala mozezavisiti na odredeni nadin i od signala koji 6e tek biti preno5eni i tada se kaZeda kanal ima odredenu anticipaciju.
Za analizu su svakako jednostavniji kanali bez memorije i bez anticipaciie.To znadi da se moZe uzeti da je S jednodlani skup i da uslovna verovatnodapfulr) ne zavisi od stanja kanala. Na takvim kanalima 6emo se kratkozadri,ati.
Neka su U i V konadni skupovi i
II : {pni > 01, : L,2,... ),tL ; j : 1,2,...,u i
zadata stohastidka matrica, pri demu je pu : p(qj lt) - uslovna verovatnoiada je izlazni signal \i ako je ulazni signal $ .
Akozasvaki n€N isvake xe Un i UeVn vaZi
p(Alr) : p((h,bz,. ..,b.)l(ar,@.,...,an)) : p(brla)p(bzlaz). . .p(b,la,) ,
onda se dobijeni diskretni komunikacioni kanal taziva stacionarni kanalbez memorija i oznadava sa (U,fI, y) , a n se zove matrica kanala.
zna1i da je takav lenal (}race 6emo ga zuati: kanal bez memorije) pot-puno odreden ulaznom i izlazrLom matricom, kao i matricom prelaznih vero-vatno6a fI.
Ako matrica II ima specifican oblik onda se dobijaju i razlidite vrstekanala bez memorije.
Tako, recimo, ako je rI kvadratna matrica i ima za elemente samo 0 i1 i ako ima rang u , tada svakom ulaznom signalu pripada, sa verovatnodom1 , odgovarajudi izlazri signal, pa se takav kanal naziva kanal bez smetnji.
Druga krajnost je tzv. beskoristan kanal koji ima matricu fI sastavljenuod identicnih vrsti. To znadi da svaka kolona te matrice ima isti elementna svakom mestu, tako da je p4 : Qi , j : 1,2,...,n , odnosno uslovnaverovatnoia p(qj l€) ne zavisi od ulaznog signala, pa je jasno da se ne moiekomunicirati pomodu takvog kanala, jer izlazni signal "nema nikakve veze"sa ulaznim signalom.
f,pni : tji:t
6?
Primeri.l.Akoje
[o 1o.lII: | 1 o o | ,
L0 0 1J
dobija se kanal bez smetnji, gde {1 prelazi u Tlz t tz t rh, a €s u 4s sa
verovatno6om I i\zla.zntsignal se sa verovatnoiom 1 odreduje na osnoYu
ulaznog signala.
2' za I o, zs 0,5 0,25 I
": I o,zs 0,5 0,25 lse dobija beskoristni k".nal, jer primaju6i bilo koji od signala 41 , 7lz , rlz
nemamo moguriosti da preferiramo ulazni signal (r ili (z '
3'Akoje n:1-9'5 o'5 ol
LU 0 1lvidi se da moZemo ulazni signal sa verovatnodom 1 odrediti na osnovu
izlaznogsignala, jer su izlaznisignali ry i qz dobijeni sarno od ulaznog (1 .
dok je izlaz r1s dobijen samo od ulaza (2 .
6. KorrauNrx.AcIoNI rAN.q'l
Navedeni primeri ukaauju na potrebu da se definiSe odredeni parametar
koji bi karakterisao odredeni komunikacini kanal u smislu njegove priklad-
nosti za prenos informacije.
6.2 Kapacitet diskretnog kanala bez memorije
Pretpostavimo da ie p(€,) verovatno6a da se na ulaau kanala pojavi signal
(a . Stavimo n
pt -- p(€t) ; i,:1,2,. .. ,n i Dru: L .
i:L
F\rnkcionisanje diskretnog kanala bez memorije se mole zemisliti i na
slede6i nadin: Izlaarisignal 4i se mole dobiti tako da se na izlazu pojavi Hb
68 Z. BneNovrd
koji odsignala €r,€r,...,€, izatimdase, zbogsmetnji, $ (ti : 1, 2,...,u)primi naizlazulao r1i. Ako je qi:p(q) U:L,2,...,u) verovatnoiadaizlazni signal bude 4r. na osnovu teoreme o totalnoj verovatno(i dobijamo
(1) qi :f;P'P'i i : l'Z'"''a 'i:L
Odmah se vidi da je
in,:ir,i*:r,j:l i:l i:l
tako da se moZe govoriti o raspodeli verovatnode na skupu izlaznih signala.Znaii da se ulaz diskretnog kanalafu,memorije moZe tretirati kao odre-
dena diskretna sludajna velidina x sa skupom vrednosti R(x) : ryi raspodelom verovatno6e p, : (pt,h,.--,pr) , dok se izraz kanaia mozetakode tretirati kao diskretna sluEajna prommlji\ra y sa skupom wednostiR(Y):V i raspodelom verovatnoie pc: (qr,h,- -.,e,) .
Kako su p, i pu matrice-vrste, to se sistem (1) moze zapisati u oblikumatridne jednadine
PY: PgfI 'gde je fI matrica datog kanala bez memorij e. Iz wejednacine proizilazi dase izlaznaraspodela py dobija,, delovanjem" (matridnim -roZenjem) kanala(matrice tI ) sa ulaznom raspodelom p, .
Primer.Neka se na ulazu u kanal pojavljuju siguali €r i €z , tako da je p((1) :
0,2 , p(€r): 0,8 . Kanal (stacionaran bez memorije)-odreden;" *uiri"o-
II- I o,n 0,6 I1,0,2 0,9 I '
6. KorrauNrKAcroNr KANAL
Na izlazu se javljaju simboli iz dvoelementnog skupa V : {rlr,qz} . Naosnovu gornje matridne jednadine je
ln@) n(n)l: [0,2 o,8l Iti 3;3]: lo,z+ 0,76 l
I (x, Y) :,r-F-or€t, q ) ^ m odnosno
Ako je er.j : p(€ulrt) verovatnoia da je ulazni signal €o ako se kaoizlazni signal primi \j , onda je prema Bayesovoj formuli
^ - PtPtiqii - -
zasvako i:1,2,...,ui isvako j :1,2,...,u-qj
za koji je qi > 0 ; pri demu je
.a ^ -D,!:rPtPti - Qj - -,
k'ot- q, -n,-''Ocigledno je da se za svaki uredeni par (ti,q) . (i : 1,2,. . . ,u) , (j :
1,2, . . . ,u) moi,e govoriti o njegovoj verovatno6i p(€,,4i) i pri tome je
P(€r,q) : PrPri : QiQti' i D,pGn,Ti) : L -
i:r j:r
Jasno je da se mogu posmatrati za navedene sludajne velidine i velidineH(X), H(Y) - entropije; H(Yl X), H(XIY) - srednje uslovne entropije;H(X,Y) - entropija uredenih parova, kao i srednja uzajamna informacija
I (x,Y) : H (x) + H (Y) - H (x,Y) : H (X) - H (x I Y) : H (Y) - H (Y I x) .
Velidina I(X,Y) se moZe interpretirati i kao srednja kolicina informacijekoja se prenosi datim kanalom bez memorije pomodu jednog signala. MoZe sere6i da ulazni signal "nosi" prosednu sopstvenu informaciju H(X) i da zboguticaja smetnji u kanalu izgubi prosedno H(X,Y) sopstvene informacije posignalu, tako da I(X,Y) postaje prosedno prenesena kolidina informacijepo signalu.
Ocigledno je da se za I(X,Y) moze dobiti i oblik
70 Z. BneNovri
I(X,Y): t Dprprih =#-i:1j:l L*tP*PnjAko se sa Du oznadi skup svih funkcija raspodele verovatnoie na datom
skupu [/ , onda se moZe dobiti para.metar koji opisuje osobine diskretnogkanala bez memorije u smislu njegove pogodnosti ru p.eoos informacija rrcza-visno od ulazne raspodele verovatnoda p, _ Velidina
': t#'I(x'Y)zove se kapacitet ili propusna mo6 datog diskretnog kanala bez memorije.
Ako se koriste binarni logaritmi dobija se kapacitet C izrai,enu bitima.Velidina C oznadavamaksimalan prose-can broj bita koji prenosi jedan signalkroz dati kanal bez memorije.
Vratimo li se na pomenuti beskorisni kenal (poi : ei ii : 1,2,. . . ,u) ,onda je I(x,Y) : g tako da je c : 0. tj. iovori se o kanalu nulakapaciteta.
Iz definicije je ocigledno da je c > 0. pri iemu znak jednakosti vaziako i samo ako je pU : Qj ;,i : 1,2,,...0u, tj- ako zu ulaz X i izlaz ynezavisne slucajne velidine.
Kanal bez gubitka informacije se msZe defoisati kao diskretni kanal bezmemorije zakoji je H(X/Y) :0 , tj. H(Xiyi\:0 za j __ 1,2,...,r.r . Toznadi da za bilo koji izlazni signal rlj sz veronatno6om 1 se moZe odreditipripadni ulazni signal.
Tada je kapacitet
C : max H(X\P,€D- \ / : H(!
\21
1 1,._l' r.r,' t u)
Primer.Diskretni kanal bez memorije, cija stohastidka matrica ima vrste sastavl-
jene od istih brojeva (vrste se eventualno mogu razlikovati sarno u permutacijidlanova), a isto tako i kolone, zove se simetridan kanal. Neka su vrste sas_tavljene od brojeva
^r1,r2,...,r.,. @i 2 0,Dr;: l) , a kolone od brojevas1,s2,...,s2 (r, > 0,Ds;: ulu).Uzimajuii u obzir napred date izraze dobija se
I(x,Y) :ipnfrinrj -Deibqi, odnosnoi:L j:r j:L
6. KouuNrxlcloNr xeNer, ,n
I(X,Y) : H(qt,,ez,. . .,Qo) - H(rr,rz,. . .,ro) .
Drugi 6lan u zadnjoj jednakosti ne zavisi od ulazne raspodele verovatno6ep, , tako da je
, : #ff"H(qr,ez,...,Qu) - H(rr,rz,,. .. ,r,) .
Na osnovu svojstva entropije dobija se
#&H'(q''Qz' "''Qo) : '(:':' '*) :
""i maksimum se postide za
p,:u(!,1,".,'),\uu u/jer ako je h: I/u (i :1,2,. . . , u) , onda je
ti :f-o,o,i: *I", : *, i :1,2,...,u .
Otuda je kapacitet simetridnog kanala -
c : r(:,:,..,, i) - H(,,,r2,...,ro)
ili, ako se Zeli izraziti u bitima
C :Iogzt +ir;log2r6.i,=L
Za u:1) :2 matrica kanala ima oblik
rI:|.l-u e II e 1-uJi govori se o binarnom simetridnom kanalu (BSK). Tada je kapacitet
c(e) : u (;,i) - rr, - €,€): 1 * (1 - e) logr(1 - €) + elogre bita.
72 Z. Bnnxovri
Lako je videti da se za e : 0 lli E : 1 dobija BSK bez smetnji, a za
e : L12 je dati BSK nula kapaciteta.
Da bi se stekla informacija o kolidini informacije koju mogu da prerade
neki realni sistemi, navodimo nekoliko primera: Propusna moi ljudskih uSiju
(za zvtbne informacije) j" = 5. 104 bita/sec, a kapacitet ljudskih odiju iznosi
= 5. 106 bita/sec.Obradi (u jedinici vremena) informacija u ljudskom mozgu odgovara znat-
no manja propusna mo6. Tako rtpr- zacitanje (sa razumevanjem smisla) i tozalS do 40 slova u sec. potrebno je 20 do 50 bita/sec, dok razgovor "nosi"oko 50 bita/sec.
73
TKoderidekodet:rtzkomunikacionikanalAkosezadrLimonadeiukomunikacionogkanalapredstavljenomnanarednojSemi
sh-11 t--+ fri t'-+ zt
dekoderkanalawkoderkanal
Wr""lt
C*64moZe se provesti slede6e rasudivanje'
-1
Zaodredenovlemeizvorgeneri5eodredeninizporukakojeseukoderu\zvotakodiraju * oJs""u*: 'tini'simbola kodne azbuke B ' tako da u koder
kanala dolazi zn-cl# riz "z
e B* koji se kodira- u n-dlani Iiiz r €. u" '
Niz fr ulaziukanal iizlaz\kao g €Vn 'k9*?.seudekoderukanalapridruZuje niz z' e B* . Procesi koiiranja i dekodiranja se mogu opisati
odredenim funkcijama'Funkcijahsedefinisetakodabudeinjektivnopreslikavanjeizskupa
B^tskupU,.Kakose,uop5temsludaju,nemorajuutroSitisvielementitz B* za kodiranje svih mogu6ih poruka-izvora' moZe se uzeti da odrecleni
skupDCB*sak(k3U")elernenatasadrZisvemogu6eulaznenizove.O;;, je mogu6e definisati injektivno preslikavanj e h : D '' Un '
ti
h(21):au' 'i:!'2'"''k; zteD; ri€U" -
Tada je od'reden i skup M : h(D) : {rt'n2t "'':F} ' i
Kako u kanalu deluju smetnje mole se pretpostaviti da se kao tzlazri nrz
moilejavitibilokojielementskupaV"iondajepotrebnodonositiodlukekakodasedekodiru;,,tuk,iiz|azninizoviaevn.Zalosedefini5efunkcijag:Vn_,Mr.o3u,"zovesemaodluEivanjaipritomesepazidaSeotraldredi tako da se Sto vi5e smanji uticaj smetnji'
Primetimo au 3" tort "ijom I : v" - M zadalo i odredeno particioni-
ranje skuPa V" , tako da je
S,: { a e Vnlg(a):*'}; i_- l'2'"''k : St^lSi:A 'l'+ i'
To znaci da se svaki izlazni niz Ul, € S dekodira kao r; € ]I{ . pri
6emuje,naravno,*os"e"dajedekodiranjepogre5no'tj'dajeizla-niniz
74
U e Sr dobijen od nekog ulaznog nizabijekcija, to 6e se i dekodirana porukaporuke z: h-L(r) .
Z. BnarvovK
r*U. Kakoje h-r:M--+Dz: h-l(r) razlikovati od ulazne
Kod konstrukcije kodera i dekodera kanala moZe se birati proizvoljan brojn , funkcije g i h , pa 6e se oni izabirati tako da pogresnog dekodiranjabude Sto manje.
Kako su greske u prenosu signala datim kanalom opisane pomo6u odrede-nih funkcija raspodeie verovatno6a, moze se govoriti o uslovnoj raspodelip(a e Sol*), (i:1,2,...,k) - dase rratzlazu dobije niz y koii pripadaskupu St, e V" , ako je ulazni tiz ri (r; e M g tl") . Tada, uz primenudekodiranja pomo6u date funkclie g , imamo prenos poruke z; bez greske,pa je
p@ / Srlro) - 1- p(y e Srlq):p(Elz); i,:1,2,...,kverovatno6a greSke pri prenosu poruke zi .
Stavimot:'?'-%P(El"')
i tada nam parametar € (0 < 6 < 1) karakterise dati koder i dekoderu smislu pouzdanosti prenosa informacija. Odmah je jasno da konstruktorikodera i dekodera nastoje da postignu sto je mogu6e manju vrednost za € .
Uobidajeno je da se odredeni n-dlani nizovi simbola, koji se podvrgavajuprocesu kodiranja i dekodiranja, zovu blok-kodovi. Tako se govori o blok-kodu duZine n . S tim u vezi se defini5e velidina
R:lnk ,ngde je sa k oznaden broj svih moguiih poruka koje dolaze u koder kanala.Kada bi sve poruke bile jednako verovatne, onda bi svaka od njih ,,nosila,,
informaciju I :lnk nita, tako da se R moie tumaditi kao maksimalnakolidina informacije koja otpada na jedan signal u n-dlanom nint r € [Jn .
velidina E se obidno zove koeficijent prenosa ili brzina prenosa datogblok-koda. Drugim redima. u datom kodu je svaki signal n-dlanog niza r"prosedno optere6en" najvise sa R nita informacije emitovane iz datogizvora, koju treba da "prenese" kroz dati kanal.
PoZeljno je da ,B bude sto je moguie ve6e, jer se tada informacija brZeprenosi.
7. KoopR r ppxoonR uz xotuuNrx.q.cIoxI xeNel
Osnovni problem je u tome da se nadu uslovi koje moraju zadovoljavatikoder i dekoder pa da signal prenese kroz kanal svu mogu6u informaciju kojuje preuzeo od izvora i to sa verovatno6om bliskom jedinici.
U cilju formulisanja osnovnog stava o re5enju tog problema uvodimo
slede6e oznake:1. Ako su dati prirodni brojevi k i n > Inkllnz i ako je izabrano k
razlicitih elemenata rt,tz, - -.,rk e Un , kaZemo da je zadat koder kanala
ili blok-kod duZine n , u oa.aci (r, k) .
2. Svaka funkcija g:Vn -'+ M: {rr,:r2,...)rk) zove se dekoderkanala ili Sema odluEivanja.
Da bi se do5lo do najpogodniieg oblika funkcije g : Vn -- M sledi se
ideja da se medusobno pridruiuju "najverovatniji" ulazni i izlazni nizovi.Neka je
E
p(r) : p(zi) (Dp(r,) : r)i:1
verovatnoda i-tog ulaznog niza,
p@lrr) (D pfu1",;) :1)aevn
uslovna verovatno6a da se dobije izlazni niz y Q V" ako je ulazni nizri€ M ,
k
p(u,a) : p(ni) lp(a lr) (I I p@*a) : L)i:L geVn
verovatnoia uredenog p x a :ulaz-izlaz,
kp(il:\n@.,il (Ip(s) :t)i:l s€Vn
verovatnoda da se naizlazra, dobije niz y e V* ik
p(ulil: p(rtillp@) (D,e@rla) : 1)i:L
uslovna verovatno6a da je rlazni niz ri e M ako je dobijen izlaznt ntz
a evn
75
76Z. BnaNovrd
Ako je r, : g(A) odreden tako da je
p(r'/d: ,_?gr(, o/il ,
onda se g zove sema odludivanja sa minimarnom verovatno6om greske.ZtaEi da svakom izlazt A e V" ,pridruzuje or,ul ,rtu, r e M kojimaksimizira uslovnu verovatno6" p(*o/i) ou*";;{i rruu takvih nizova uskupu M , ond,a se proizvoljro ,rirrru jedan oa n;ifr.
lF\rndamentalna je slede6a teorema:
Teorema T.o.L Ako je d,at d,'iskretni, kanar bez memorije kapac,iteta c > 0i realan broj R (g . E < C) , ond,a postoji, Otoinoa @, k) ,i iemaodluii,uanja g tako d,a je
e:ms;5(1 -p(&/n))s1.,2-^" i klenR,gd,esu l>0 i
^>0 ptarametrinezauisniod, n.
To znadi da je mogu6e konstruisati koder i dekoder tako da n teiibeskonadnosti, a da e - maksima.lna gre.ka pri prenosu pojedinog n_dlanogniza signala, eksponencijano teZi ka nuli.
il
t
I
I
I
I
I
77
8 Linearni kodovi
8.1 Idealna Sema odluEivanja za BSK
Ve6 smo definisali BSK kao komunikacioni l€nat kod koga ie U : y : {0, 1} ,
dok je matrica ptelaza
(r) ,:i':',.'-lI e I-61Zaovaj kanalje dobijen kaPacitet
C(e) : H(ll2,t12) - H(t - e,e) :1 + (1 - e)log2(1 - €) +elogre bita'
Grafik funkcije 6 '-- C(e) je oblika
s]. 3
Uslov za s (0 < e < tl2) je postavljen da bi kapacitet bio pozitivan.
u daljem ie se pretpostavljati da je raspodela verovatno6a na skupu M c{0, 1}' uniformna, tako da je za svako x : {ar,a2, - -.,an} e M p(t) : llk,gde je /c broj elemenata u skupu M svih mogu6ih ulaznih nizova'
Ako je
ypr@lr):P(Ylr'), a € {0,1}'
i ako stavim o s@) : r, , onda je time definisana tzv. idealna Sema odluEivanjaza dati BSK.
Da bi se elakFalo konstruisanje takve idealne Seme, deinise se funkcija rasto-
janja na skupu {0, 1}, svih n-ehnih binarnih nizova na. slededi naiin: Za dva
8. LrxpeRur xooovr
niza r €{0,1}, i ye{0,1},broj koordinata u kojima se r i
78
defini5e se njihovo ,,rastojanje,, d(*,y) kaogr razlikuju, tj.
r: (ar,a2t...,a,.), y: (bt,b,,...,bn) + d(r,U):ilon_Ur1 .
i:1Tako recimo za n:5 i nizove r: fi)110 i y: t010t je d,(r,y) : S , ierse ova dva niza razlikuju u prvoj. etvrtoj i petoj koordinati.Lako se proveravaju sledeia svojsbrra n "l"l:. d@,y) :
(") d(r,y))o,(b) d(r,y):0<+ z:!,(") d@,y): d(a,t) ,(d.) d(x,z) < d(r,y) + d(y,z) .
ovako definisana funkcija d na skupu s: {0, L}n zove se Hammingovorastojanje i govori se q Farnmingrryoj udaljencci bin;ih nizova r i y .Buduii dasu r eM i y€.S, houlaziizlazRsK, takodeelementi skupa{0,11:,,
T1ry6".j" izmeriti;udaljcne. --r^^nog niza y od ulaznog niza r .vazr sledeca teoremfr
Teorema 8.L.1 Nekr je dd, BSK * soojonr natri@m (1). Tada aaZi:
p{c I zi > p{ol q) + d{q,s) < d(rz, u)
za sa&i ! e S i dpwuiufu z,r,tz € M -
Dokaz. Neb je dlr,g):* (0 < ,z ( z) , pa kako je
p(y / r) : ((U.,h, . - -,h) I (ot @2, . - ., oo)) : p(br / aip@z / az) . . . p(b. / a^),gde ai,6y e {0, l} , (j : l,Z, -- - , z) , to je
p(y/z):eP(t - e),t-m; (0 < *. r) .
MoZe se, znafi, pisati
p(y/ql: e-'(l - e)n-n' , gde ie mr - d(q,u) ,
p(y/q) : *(t- e)t-mr, Bde je m2 : d(*z,A) .
Sada vaZi
p(y/q) e-'(1 - e)n-m, 17 - cxn2-n\M:;4_F,,,,:\_;/tr
Kakoje 0 < e < 1f2,to ie (r-e)/e) 1 i zbog (2) sredi navedeno tvrdenje.
odigledno je kako treba konstruisati idealnu semu odrudi vanja zadati skupM g {0,1}* ulaznih nizova i dati BSK. T}eba ,u svaki izlazni niz a e s
(2)
lit.:
I
I
t!*
8. LrNpeRNl xooovr
na6i onaj r' e M za koji je Hammingovo rastojanje minimalno. Ako ima vi5etakvih r' e M moZe se uzeti bilo koji od njih.
Znaii, 9(y) : t' (s e S) , gde je r' odreden iz uslova
pip{d(r,a)} : d(r',y) ,
defini5e idealnu Semu odlucivanja za dati binarni simetridni kanal.Osnovni problem koji treba re5iti je u tome da za dati broj k mogudih
poruka odredi minimalan broj n (duZina kodnih zamena), tako da uz ide-alnu Semu dekodiranja i odgovaraju6e ulazno kodiranje imamo korektan prenosporukaiakosedopu5tadapostoji r (0<r<n) greSaka(promena 0 u 1
ili 1 u 0 ) u prenosu n-dlane binarne kodne reii.Nekaje M : {rt,rz,...,nx} i nekaje r takav daje d(ri,ri) > 2r *1,
i' + i , (i'i : 1,2,.. ., k) , tako da su svaka dva razlidita niza iz M udaljenabar 2r * L jedinica Hammingovog rastojanja. Tada je moguie konstruisatiidealnu Semu odludivanja tako da tz r ili manje gre5aka u prenosu n-elanogbinarnog niza imamo korektan prijem ulazne poruke.
Naime, za svaki r; € M formirajmo skup & svih g € {0, 1}' za koje jed(A,A)(r,takodaje
(3) &-{y€{0,1}"ld(*n,a)(r}, ('i:7,2,...,k).
Stavimo S@) : ni za ! e Si , (i, :7,2,. . .,k) .
Prema tome, ako je ulazna poruka ri e M , moie nastupiti r ili manjegre5aka u prenosu ulaznog n-dlanog niza pa da pripadni izlazni n-dlani binarniniz g pripada skupu .9i i tada ie se primljeni izlazni niz dekodirati l<ao ra- imamo korektan prijem. Ako nastupi vi5e od r gre5aka u prenosu ulaznogniza 14 , izlazni niz y pila izlan skupa Sl i tada nemarno korektan prijemporuke.
Skup 51. definisan sa (3) moZe se interpretirati ka,o kugla radijusa r sacentrom u taiki ni u prostoru S : {0, U' svih n-dlanih binarnih nizova saHammingovom funkcijom rastojanja.
VaZi slede6a teorema:
Teorema 8.1.2 Da bi se rnogla konshru,isati idealna iema odlui,iaanja za k jed,-nako uerouatnih ulaznih poraka koje treba prenositi d,atim binarnim simetriinimkanalom, pa d,a'imamo korektan prijem uz r ili manje od r pogreino prenetihbinarnih cifara, mora b,iti,ispunjen (Hammingou) uslou
79
(4) #m=rDokaz. Utvrdimo koliko elemenata sadrZi skup S,i definisan sa (3). U
njemu je svakako u l<aa sredi5te kugle ^9i . Na udaljenosti 1 od centra kugleirna n elemenata. Na udaljenosti 2 od centra kugle ima (;) elemenata ito su svi oni koji se od z6 raalikuju u dve koordinate (na udaljenosti 1 su
8. LtrupaRNI xooovl
:il|fi'j se razlikuju samo u jednoj koorrlin3li), itd.. znaiida u skupu ,sa ima
odakle sledi tvrdenje teoreme- trDa bi se dobio uvid u odnme rerieina t, r i t navod.imo srediu tabelu
elemenata. Da bi se za^dovoljili uslovi teoremeauZno je da je SrO Si: 0 akoie i*i, (i.,j:1,2,..::t)-,.t:._d"*;;; * i S, nepresecaju. Dakle, zakonstrukciju k rakvih.disj*"+ t"+-fiLU": je bar kD;=o C) n_dlanihbinarnih nizova. Kako js
"t"pu" U-iill"I*in nizova 22 , mora biti
80
L*n, (;). .0 :f ()
-f (, {2*'
ozb24 165 xJ,2 6 32lt ry 2.95 163=5,3 T t?ff8x4,46 647 xg,t a ZSO3Zc O,O7 76 g Wr 11,1!__ J56n = 28,S l0 1287 ry 18.8
^^^.Yi9',?",d1 *o je k:2,arinepostoji blok-kod sa viSe od k:2 kodne r=a * koje bi r"-*ogr. konstruisatiidealna Sema odludi",u"i.u :? t o.igoro[m svih jednctrukih (r : 1) greSakapri prenosu detvoroilanih binarnil
"iro*Iz tablice se vidi da z.a konstrukciju ,rLog koda, kada imarno recimo k :10 mogu6ih poruka i kada zelimo d"i;, d"" grle u prenosu imamo korektanprijem' mora se uzeti ,n : g . oa ,"rsrreih 29 uiir*il*rilru za ovakvosigurnosno kodiranje ulaznih poruka * "3 -.* iskoristiti viSe od 11 .Kada ne bi zeleli sigurno kodiranje iad a bi za to J-^i poruka bilodovoljno :uzeti n - 4 , jer postoji /
"lr"**fanih binarnih nizova.Jasno je da porast /c dovodi i ao po.urtu broja n , pa je onda broj 2nveliki; .to prouzrokuje praktidne teskoii uiehniekoj rearizaciji kodera.
8.2 Linearni blok_kodPosmatrajmo prvo slededi.p:r:g., Neka je y2.: {g,0), (0, 1), (1,0), (1, 1)}skup ulaznih nizova za aatiBSK. af."
"irlo* Saljemo kako su dati, onda svakacreska u prenosu neke, cifre dovodi ao-fog."sr,og prijema. Zato svakom nizudopisimo jednu cifru tako da ruir "ir*u uli! rq* broj. onda u darom primerudobijamo skup ulaza y --{(r,o,o), fo, i, ,1, (1,0, 1;, (1, 1,0)} Na iztazu semoZe dobiti bito koji od 23-: 8' i."ri."il';il;ii,;;LZt, outestiranjem
8. LrNpaRNl xooovr81
izraza u.odlosu na parnost zbira cifara u izraanom nizu moZemo otkriti svakineparni (1 ili 3) zbir gresaka uprenosu. Odigledno au orur*., toJir" o*oguiu*korigovanje grasaka vei samo korrrtut*r;" iu je nastupila jedna ili tri greske uprenosu troilanog binarnog tizaiz M .
Generalizacija ove idejesa-proverom parnosti zbira cifara neke poruke moZese obezbediti uvodenjem odredenog aogo-r* o racunanju (sabiranju i mnoZenju)sa binarnim ciframa. To je sabiranje i irnozenje po modulu 2 definisano slede.imtablicama.
Skup {0, 1} sa ovako definisanim operacijama ,, +,, i ,, . ,, j" Galoisovopolje reda 2 , GF(2) .
U posmatranom primeru za svaki (at,az,a3) e Mje ispunjeno aL + a2 +o3 : 0 , tako da se testiranje parnosti moZe svesti na proveru da li je ta jednadinazadovoljena u GF(2)Posmatrajmo opStiji sl.unaj. Neka je F _ { lti ll : I,2,...,m}
; j :7'2'"''n;n) vnl matrica ei;i * elementi 0 ili 1 i posmatrajmo sistemlinearnih .iednadina sa koeficijeni ima iz Ci1z1: - rvv..^uvr
hpt*lpaz*...*fnanfzrat * fzzaz + ...* fznan
: 0,: 0,
fmrar* fmzazl... * f*nan : 0.svako re.enje ovog sistema je u Gp(2) neka n-torka binarnih cifara, takoda je skup M svih re5enja ovog sistemaidretieni podskup od {0,1}, . Idejaje da se elementi skupa M iskJste
"u ul*nokodiranje p;;; ri datom BSK,a da se svaki izlazni niz testira da li zadovdava gornji sistem.Matrica
I ll In frnF: I fzt lzz lzot:
l- f*, f^z !*nzove se matrica pariteta ili kontrolna matrica. Ako je rangp, : f (1 < t <rn) , onda postoji t linearno nezaisnih kolona u matrici F , pa se za preostalihs : rn - f nepoznatih u sistemu mogu izabrati proizvoljne vrednosti na osnovukojih sa dobija.ru odredene .,rr"aoorii^ 1- nepoznatih. zato tebiti upravo2s binarnih n-torki kgje su resenja ,i"t"*. i koje se mogu upotrebljavati zakodiranje ulaznih poruka BSK.
8. LrNpaRNr rooovr82
Primer.Neka je
Ir o o I 1 ol':l? ; I I B l], rang,F': 3 .
Prva' druga i treia kolona su, -recimo, Iinearno nezavisne. sada je s :n-t:6-3:8, pa imamo 2z resenjaodgovarajuieg sistela linearnihjednaiina. Ta re5enja zapisana u vidu tablice su
iL1
fr2
frB
t4I5I6t7Sg
At Q,t at
cifre cifre
- svako resenje (sestocrani binarni niz) sastoji se od 3 proizvoljno izabranecifre. koje se zovu informacione cifre i r "n" dobijene resavanjem sistemaFr :0, gde je z vektor-kolona a 0 nula_vektor.
U opstem sludaju za kornji sistem ie biti ukupno s informacionih i t -n - s kontrolnih cifara. Informacione cifre su dovoljne ,, k"J;;;j" infbrmacijesadrZane u porukama, dok se kontrone cifre koriste za redukovan;e gresaka uprenosu informacije putem datog BSK.Tako dobijeni kod (n, &) , gde je k : 2" , zovese linearni kod sa kontrol_nom matricom F ' Veliiina R: sln se zove koeficijent p"*". koja, kaoi ranije, predstavlja prosednu kolicinu informacije 1o"a" " tiii*uj1".i, ,,preuz-
ima" pojedini signal.
Primeri.1. Neka je kontrolna matrica
F:111... 1].Njenrangje, : 1 i s : tu- 7,paje koeficijent prenosa R: I _ l/n.Jednaiina Fr :0 ima oblik
Aq
0
0
0
0
1
1
1
1
AS
0
0
1
1
0
0
1
1
A6
0-1
0
1
0
1
01
000000111110110111001000
at * az +...+ &n:0 ,
8. LtttpeRNl xooovt
tako da se dobijeni linearni kod sastoji od k - 2n-r
b1 : (0,0,0,0,0,0) ,
b2 : (L,0, 1,0,0, 1) ,
b3 : (0, 1, 1,0, 1, 1) ,
ba: (L,1, 1, l,0,0) .
83
kodnih zamena, od kojihsvaka zadovoljava uslov parnosti zbira cifara.
Primetimo da se tada izborom dovoljnokoeficijent rB po volji pribliZiti ka jedinici.
velikog prirodnog broja n moZe
Dobijeni kod, ocigledno, omoguiuje velike brzine prenosa informacije, ali sumoguinosti otklanjanja gre5aka male jer je minimalno Hammingovo rastojanjeizmedu kodnih redi jednako dva.
2. Ako je potrebno prenositi samo k : 2 poruke, onda je, s aspektapouzdanosti prenosa najbolje .ozeti 11: (0,0,...,0) i rz: (L,1,...,1) , kojise dobijaju resavanjem jednadine Fr :0 tn izbor sledeie kontrolne matrice
F_ (nx (n - 1)) .
000Ovdeje rangF: 1, paje s: n-t : n- (n- 1) : 1, odnosno R:m/n-lf n , pa se vidi da dobijeni kod ima, za veliko n , vrlo mali koeficijent prenosa.
Navedena dva koda su ekstremni slutajevi pa se postavlja zadatak konstru-isanja takvog linearnog koda koji osigurava dovoljno visok koeficijent prenosauz dovoljno malu verovatnodu gre5ke pri prenosu.
Jasnoje da se skup s : {0, r}n moze tretirati ka.o konadan vektorski prostornad poljem GF(2), gde se sabiranje vektora definise na uobidajeni nadin kaosaviranje uredenih dvojki po modulu 2 , a slidno se definise i mnoZenje skalarimaiz GF(2).
Tadaje skup M , kao skup svih resenjajednaiine Fr : o, odreden konaianpotprostor od s . znaii skup M e ,s je i skup svih kodnih redi (zamena)Iinearnog blok-koda (n,2*). MoZe se dokazati i obrnuto twdenje koje glasi:
Teorema 8.2.L za suak'i potprostor M c ,g : {0, 1}" postoji, matri,ca A san kolona tako da za suaki, r € M uai,i Ar : 0 . suako resenje jednaiineAr :0 je element skupa M .
Primer.Neka je n:6 i neka potprostor M C {0,1}" ima sledeie elemente:
bs : (0,1,0, 1,0, 1) ,
b6 : (0,0, 1, 1, 1,0) ,
b7 : (1,0,0, 1, 1,0) ,
000100010
111010:
10
0 0l0 0l0 ol,,,J
8. LrueeRNr xooovr
Matrica B formira.na od ovih elemenata kao vrsta ima rang 3 i moZe sevideti da su recimo br , b2 i bt linearno nezavisni vektori. Tri poslednjekolone matrice
su takode linearno nezavisne, pa se mogu zapisati sledeia tri sistema jednadina
I i ] :^,,
I i ] *^-
[; ] .,,
I i ] *^,, -,zz:1,\23-0,
I i ] :^,,I
i ] *^*
f: ].^" I i ] *^,,:,33:1,\32:Q
Otudamatrica A tipa 3x6 imeoblik
tako daje F: A kontrolna matrica za,dztikod (n:6,k: g) .
8.3 Idealna Sema odluEivanja za linearni blok-kodNekaje F matricatipa mxn (mln,rangF:rn) inekajesanjomdefinisan blok-kod sa skupm M kodnih reii.
Za bilo koji izlazni niz y €.9 : {0, 1}, , opStem slutaju je Fa: c , gdec e {0, 1}" . vektor c je n-dimenzionalni vektor-kolona i ror" ," korektorvektora y.
U skupuS.:{UeSlFy:s}
se odigledno nalaze svi y €,S koji imaju zajednidki korektor.Ako uzmemo odredeni Uo € S" i posmatrarno linearnu mnogostrukost
ao* M : {y e Sly:ao*r ,r e M} e ,S, onda je
S":Uo*M, AoeS..
Zaista, ako y €,S., odnosto Fy: FAo: c, tada je F(U-Ao): Fy_ Fys:c-c:0,tj. postojitakav reM daje e:U-yo,odnosno y:yo+x),Stozna.di da je ye ao+M,pajedakle S"gyo*M. Takocle,iz ye ao+rn
t[]:Ii ii?iB]""
Ii] :^,,Ii]*^,,
li].^,,f i] *^,,-],2:,'g:1,
Ir o o 1 1 rlA: I o I o I I o I
lo o r 1o rl
8. LTNpRnNI xooovt
sledi gr : ao * m, gde r € M, pa je Fy : F(yo * r) : Fyo + Fr : Fao : c,tj. A e S, , Sto znadi da je yo + M g 5", odakle sledi navedeno tvrdenje'
Da bi opisali konstrukciju idealne seme odluiivanja za linearni blok-kod
pogodno je za svaki U : (br,b2,.. . ,b,) definisati velidinu
T(y) :irn: d(o,a) ,
i:1
koia se moZe interpretirati kao "udaljenost vektora g od koordinatnog potetka"
u vektorskom prostoru {0, 1}' : S ' Velidina f @) se zove i tezina binarnog
niza y ili norma vektora y i ima sledece osobine
(u) "(y)
)0 zasvaki y€S;(U) r(y) :0 + Y:0 e S;@) r@ + v) : d(*,Y) < T(") +T(Y) , r,Y e S 'Lako se dobija da iz Ha.mmingovog rastojanja d(r,g) sledi
d(v - vo,d : T(vo) .
Uzmemo li takav y' e S da je T(y') > "(yo)
, onda je i
d(v - ad < d(v - v',a) .
To znaii da se idealna Sema odludivanja za linearni blok-kod sa kontrolnom
matricom tr, i skupom M kodnih redi moZe konstruisati tako da se izlaznom
niztt y € S pridruZi onaj ulaz no: g(A) € M koji se dobije tako da se prvo
nade skup ,s. , a zatim odredi c/o e s" koji ima minimalnu teZinu. Tada
x)o : A- y0 ima osobinu da je d(rs, A) < d(t,A), n € M, jer dok y' varirapo
^9. , A - A' varira pb M .
Prirner.Neka je kontrolna matrica
F_
Kakoje rangF:4 imarno s:rt,-t:6-4- 2 informacionei4kontrolne cifre. Jednadina Fr: 0 ima 4 re5enja i ona su
rr : (0,0,0,0,0,0) , fiz : (7,1, 1,0, 1,0) ,
fi3 : (1,0,1,1,0,1) , ca : (0,1,0,1,1, 1) .
Za m:4 postoji 2a :76 razliditih korektora, pa se za svaki od njih moZe
formirati pripadni skup s" izlaznih nizova koji su dati u slede6oj tablici
85
l-r o o o 1 1llo r o o l ollo o r o 11l'lo o o 1 o 1l
8. LTNpIRNI xooovr
c S"-E*m T(ao)Ko 0000 mun0 [11010 101101 010111 0
K1
lu(ru01000010000111101011
1UXn001uno001ofi)0001m000010000001
011010101010110010111110111m0111011
001101111101
100101
101001
101111101100
110111
000111011111010011010101010110
1
1
1
1
1
1
Kz
1 100
10101001
0110001101011111
101000100100100010100001010100010001
100001 0010100100100111100110m011010101110101011
011101000101m1001m1l11001100u1001111lm
100111
111111
110011
110101
1 101 10
000011000110
2
22
2
2
2
2
K3 11000111
110100110001
001110001011
01lm10111m
1
10011010001 3
3
6/
DODATAK A
I Interakcijsko-komunikacioni aspekt
obrazovanja i vasPitanja
9.1 Uvod
U cilju jasnijeg sagledavanja sistema obrazovanja i vaspitanja-potrebno je isti'
putem misaone analize, 'ugt"dutl
sa vise usp"ku'ia' Obi.no se ti aspekti grupiSu
u:- dru5tveno-generacijski;- individualni aspekt tazvoia licnosti;
- interacij sko-komunikacij ski'
Sa prvog ," *p"fttu t'u oUt-o'*j" gleda kao na pojavu' sa drugog kao na
pro."", a sa tre6eg ka'o na delatnost'Sa dru6tvenog aspekta obrazovanje se moZe definisati ka'o prenos iskustva'
znariai opsteg d."s;;;; ;;i"dt sa starije generacije na mladu' s tim da je
zadatak obrazovanja da u procesu prenosen;a i usvajanja znanja osposobi nove
generacije zarazvoj i boga6enje tog iskustva'
Sa drugog po '"a"-iu'"a""og aspekta
3blazov.anJe t-"
-T:i" shvatiti kao
Svesnoinamernodelovanje,odnosnosamodelovanjenarazvojflzickihipsi-hiakih osobina liCnosti pojedinca'
Savremene t"rra"t'"i]" ' proudavanju vaspitno-obrazovne delatnosti sve vise
naglaSavaju l.rt"r*."f'tto komunikacioni,uspltt iija se vrednost nalazi u prida-
vanju znadaju ,Iog""t'*tavnika i uienika' Naime' taj pristup re5ava dilemu
otomekojeodnjihvaZnijiuobrazovnomprocesuiucentarpaZnjestavljameduljudskiodnosnadijimseosnovalnagradislozenazgradaobrazovno-vaspitnedelatnosti.
Sagledano sa ovog aspekta obrazovanje je usko vezano i'primarno odrede-
no kvalitetorn *"dr5-rrJriit, oarroru.,*pitur - vaspitanik, odnosno nastavnik -
uienik (studenr). Ki;;6 "d"os
nije izolovan ve6 deo opsteljudskih odnosa u
jednoj drustvenoj sredini, io ,e, jrs.ro, uodava veza sa druStveno -generacijskim
'*p"f.i"-. NaveJeno se moZe predstaviti Semom na Si' 4'
Pitanja koja se name6u u vezi sa ovim aspektom su: o-d Eega zavisi uspeSan
meduljudski odnos,;;ii;;" faktori na njih otie,., *ogu li se upoznati zakoni-
tosti u procesu ,r.po'-#5u"3a i odrZavanja jednog meduljudskog odnosa i kako
budu6e nastavnike osposobljavati za to'
889. INToRexcr:sxo-xonuNxn'cloNl I'sppxt "'
dru-5tvo
roditelji natawnik
meduljudskiodnosi
interakcija i
komunikaclja
sl. 4
Sa interacijsko-komunikacionog aspekta se vrsi operacionalizaci:aikonkretizacija
obrazovnih zidataka ka,o odrettenih s*erdca za obrazovno vaspitne sadr2aje'
pri to*" je veoma bitna komponenta - kreativnmt nastavnika (vaspitaca) kao
i respektovanje individualnos; s\rakog u6enika (studenta) i podsticanje njihove
kreativnosti.Bitna karakteristika obrazovanja sa interacijskokomunikacionog aspekta je
daseodvijaumeduljudskomodnosu,dase^i*nasaradnji'dazavisiodkvaliteta interakcije i komunkacije u odnosu loo i da sarn proces obrazovanja
treba da usavr5&va Iidnost i nastavnika i u6enika'
Ako se Zeli da se obrazovanje odvija u celokupnosti meduljudskog odnosa'
to znadi da i vaspitai i vaspitanik u njemu uiestvujy ka,o celovita biia, da se
u njega ukljucuju kao bi6a ioia re samo da misle vei ose6aju i aktivno deluju.
obrazovanje se na taj nadi odrazava na promene u dubljim sferama ljudske psihe
i pri tome vrSi integiiraju6u i aktualiziraju6u funkciju ljudskog biia'
obrazovanjesezapravozasnivanastvaralaikojsaradnjisubjekatauprocesu.Ta saradnja nije samo zajedni.ki rad ve6 znatno vise od toga, kada doprinos
,*Los pojedninca da3e kvhitet rezultatima rada. Rezultat saradnje nije jednak
zbiru rezultata srrakog pojedinca u saradnji, vei vise od tog zbira' u kvalitetu
tog rezultata se odraZava i kvalitet saradnje'
ostvarivanjetakvestvaraladkesaradnjeukazujenatodajeobrazovanjekreativan cin koji se ne moze u potpunosti racionalizovati. odlu6uju6i je uticaj
onih komponenti koSe izmidu racionalizaci.li i verbalizaciji (intuicija, nadahnu6e
i drugi iracionalni momenti koji nisu dovoljno proudeni)'
l
It
9. INrpRexcusr<o-xouuNrxlcroNr aspnxr ... 89
9.2 Meduljudski odnos - temelj obrazovnog procesa
Meduljudski odnos je veoma sloZen proces koji sa ne moZe u potpunosti racional-izovati i do kraja objasniti. U njemu postoje dva nivoa nesvesnog: intraperson-alno nesvesno (u pojedincu) i interpersona,lno nesvesno (medu pojedincima).Koliko god da prihvatamo obrazovanje kao svesnu aktivnost, ostaje dinjenica danjegova uspe5nost (posmatrano u globalu ostvarivanja ciljeva) zavisi od nesves-
nih, iracionalnih snaga koje deluju u polju meduljudskog odnosa.Upoznati meduljudski odnos jo5 ne znadi i njime ovladati. Nastavniku nije
dovoljno samo znanje o tome ve6 se radi o ve5tini uspostavljanja i odrZavanjameduljudskog odnosa.
Meduljudski odnos je sloZen i dinamiian proces koji uslovljava meduzavis-nost pona5anja osoba u njemu. Bilo kog pojedinca u odredenom odnosu moZemo
razumeti samo ako ga sagledamo u njegovoj interakciji sa drugom osobom uodnosu.
U obrazovanju meduljudski odnos je proces koji se uspostavlja izmedu vaspitadai vaspitanika, udenika ili grupe udenika (razreda, godine studija) kao celine. Utom procesu nastavnik svojim ponaianjem utide na uCenika (studenta) ali imamoi uticaie u obrnutom smeru. Obrazovanja i nema izvan meduljudskog odnosa.U obrazovanju su zapravo najbiinije ljudske relacije.
Svaki odnos pretpostavlja bar minima,lnu interakciju i od stepena i kvalite-ta uspostavljene interakcije zavisi uspeSnost maduljudskog odnosa. Kako iese neka osoba pona5ati u odnosu zavisi od toga kako ta osoba doZivljava sebei kako doZivljava drugu osobu. DoZivljaj nje same ie uticati na percepiranjedruge osobe i na njeno pona5anje prema drugoj osobi. Druga osoba u skladu sadoZivljavanjem sebe doZiveie i proceniti ponaSanje osobe sa kojom je u odnosui adekvatno svom doZivljaju i proceni reagovati. Ako su se osobe adekvatnoprocenile uspostaviie se medu njima prirodna interakcija. Medutim, ako je iznekog razloga doSlo do neadekvatne procene bilo sa jedne bilo sa druge strane,bi6e prirodna interakcija onemogu6ena.
Graficki prikaz meduljudskog odnosa dat je slede6om Semom (Sl. 5):
9. INrpRexcr.lsxo-xotrruivrxecloNl espBxr . .. 90
doiivljaj..,. A(A)
"doii vljajA(B)
PonasanJe stim ulan s" doiivljaj
B(B)
doZivlja..l
B(A)
(reakcija)
sl. 5
U meduljudskom odnmu pstoji cirkularna, a ne linearna stimulacija. Vaspitacdeluje na vaspitenike, ali ime.mo i povratno delovanje vaspitanika na vaspitada.Otuda je nastavnik duzan da u sebi razvija stav i spremnost za poimanjepodsticaja koje prima od svojih uinila (studenata). Potrebno je da budeneprestano otvoren duhu generacije koju odgaja. da sebe usavrsava i da budeprimer mladima koje obrazuje.
Odnosi medu ljudima se mogu podeliti na dve kategorije i to:- lidni odnosi;- profesionalno.druSveni odnosi.U prvu vrstu bi spadali odnosi medu supruZnicima. ili prijateljima i sl. Na-
jvaZnije karakteristike ovih odnosa su:- oni su bez svesne namere i praktidnog cilja,- subjektivni su - zasnovani na emocijama,- trajnost odnosa zavisi od medusobne privlainosti,- odnosi su li5eni hijerarhidnosti,- rezultat su lidnog izbora i izrazito se privatni.Za r azlik:u od ovih, profesionalno-dru5tvene odnose karakteri5e:- namera i cilj su jasno odredeni,- objektivni su i zasnovani na racionalnom,- trajnost odnosa ne zavisi od promena u privladnosti,- hijerarhiini su,- ispunjeni su latentnom energijom,- rezultat su sticaja okolnosti.Takvi su recimo odnosi izmedu lekara i pacijenta, advokata i klijenta, nas-
tavnika i ucenika. Medutim, svaki takav odnos u kojem su ljudi u medusobnojvezi, ne moZe biti li5en nekih elemenata lidnog odnosa. To, iz vise razloga,
9. INtBRaxcttst<o-xoltuNtxectotlt RspBt<t'..
vazi i za odnos nastavnika i udenika. zapravo, bitna je specificnost obrazo-
vanja kao delatnosti da se tu proZimaju i prepli6u profesionalno- drustveni i
iidni momenti u odnosu nastavnik - udenik. Druga specifidnost obrazovanja je
neravnoplavnost partnera u odnosu, zbog eega nikada ne moZe biti uspostavl-
jena potpuna reciprodnost. Ta je neravnopravnost razlidita po razliiitim fazamaj"i"oi*") obrazovanja i ogleda se u mnogim faktorima kao sto su uzrast, znanje.
psihidka i firi"t u zrelost, iskustvo. Ako se obrazovanje shvati kao saradnja onda
se javlja problem kako da se medu neravnopravnim partnerima uspostavi Sto
ravnopravniji odnos.
Specificnost obrazovanja je kako uspostaviti reciprocitet u odnosu nastavnik
- udenik. Zna(aja]r element za uspostavljanje reciprociteta je naizmenidno za-
uzimanje pozicije subjekta i objekta u odnosu. Pri tome, pod subjektom po-
drazumevamo onog partnera koji je vise aktivan, dok je objekat vise pasivan.
Medutim, dobro je poznato koliko je tesko staviti u.enika u ulogu subjekta,
tj. uspostaviti proces osposobljavanja u.enika za samostalniji rad, za aktivni
poloZaj i ulogu u procesu udenja i saznavanja.- Druga karakteristika reciprociteta je mogudnost konfrotacije, sudeljavanja
misljenja. za ovo treba osposobljavati nastavnika, budu6i da on u odnosu sa
ueenikom ima privilegovani polozaj i teSko mu je da prizna uteniku da je upravu kada to situacija zahteva.
slede6a karakteristika reciprocitetaje uspostavljanje saradnje. Dijalogje na-
jhumaniji oblik komuniciranja medu ljudima i za njegovo uspostavljanje moraju
titi ostvareni i subjektivni i objektivni uslovi. Bez njega nema uspeSne obra-
zovne komunikacije.uodeno je da odredeni tipovi nastavnika odgovaraju odredenom tipu ueenika'
Poznataje slede6a klasifikacija nastavnika i udenika:
91
nastavnici1. akademski tip2. savetnidki tip3. kreativni tip
llcentclf. intelektualni tip2. emocionalni tip3. kreativni tip
Akademski tip nastarmika u prvi plan stavlja znanie i intelektualne spo-
sobnosti. Njemu najvise odgovara intelektualni tip udenika, koji takode u prviplan stavlja znanje, koji je racionala,n i koji na isti naci dozivljava i svog nas-
tavnika.savetniiki tip nastavnika brine u prvom redu da zadovolji emocionalne, a
zatim intelektualne potrebe udenika. Njemu odgovara emocionalni tip uienika
kome je najvaZnije da zadovolji svoje emocionalne potrebe kao $to su potreba
za naklonost i sigurnost da bi u obavljanju svojih obaveza mogao biti uspe5an.
Kreativan tip nastavnika je kombinacija dvaju prethodnih sa izrazitom teZnjom
da budi i podstide kreativnost udenika time Sto svom radu pristupa na kreativan
nadin. Njemu najvije odgovara kreativan tip uienika, koji kod svog nastavnika
ceni i vrednuje kreativan pristup kao i podsticanje njegove licne kreativnosti u
nastavnom radu.Kako se, medutim, odnos izmedu nastavnika i ucenika ne uspostavlja putem
naklonosti i sopstvenim izborom, ved na manje-viSe sluiajan nadin' neophodno
:lffi|Pn*
9. INrpRa.xcr:sxo-xorvruNrxecroNr asppxt ...
je da nastavnik upozna svoje udenike kako bi bio u mogu6nosti da ostvaruje Sto
optimalnije uslove za uspostavljanje tog odnosa.
9.3 Faktori uspe5nosti meduljudskog odnosa
Poznato je da merluijudski odnosi zavise od viSe faktora. Izdvojidemo i bliZeobjasniti slededa tri:
- socijalna percepcija,- emocionalni stavovi,- empatija.
9.3.1 Socijalua percepcija
Termin "socijalna percepcija" se upotrebljava da bi se naznaiilo da se radi o
percepciji u kontekstu moduljudskog odnosa. Iz psihologije je poznato da jepercepcija celovit i jedinstven doZivljaj, da je to aktivan psihicki proces. Kako6e se ne5to opaZati (percepirati) u datom trenutku ne zavisi samo od fiziolo5kihnadraZaja ve6 i od prethodnog iskustva, stavova, trenutnog raspoloZenja ka,o istava pri posmatranju.
Za r:ar,likt od percepcije predmeta koji je statidan kod percepiranja osobe
ona reaguje i uzvratno deluje na nas. Zbog toga i termin "socijalna percepcija"ukazuje na meduzavisno percepiranje osoba u socijalnoj situaciji.
U percepiranju druge osobe se moZe poii sa dva gledi5ta. Prvo je da i drugiposmatraju i doZivljavaju svet ka,o ja. To je dosta egoistidno glediSte i javlja se unajranijim danima dovekova Zivota. A upravo proces socijalizacije ima zadatakda dovede zrelu socijalnu osobu do toga da posmatra svet i ljude ne sarno sa svojetaike gledi5ta nego da nastoji da sagleda i gledi5ta drugih. To je posebno vaZno
u odnosima nastavnik-udenik. Kada udenici traie da se nastavnik "spusti nanjihov nivo" to ne znaii da postane ka,o oni, vei da posmatra njihove problemei njih same sa njihove tadke glediSta.
Drugo, blaZe glediSte od prethodnog, jeste da su drugi slidni meni, dakle neisti, ve6 sliini. Oni imaju sliino mi3ljenje o svetu oko mene.
I jedno i drugo glediSte se temelje na racionalnom pristupu, ali se moraukazati na to da u stvarnim Zivotnim situacijama deluju i nesvesni procesi, kojisu nekada kodnica uspostavljanja humanih i adekvatnih meduljudskih odnosa.Kako se tada radi o nesvesnim funkcijama psihe, nismo u stanju da upravljamonjima, vei one upravljaju nama.
Za nastavnika, koji treba da upravlja obrazovnim procesom, znaeajno je daupozna i u sebi razotkrije te nesvesne mehanizme, kako bi onemogu6io njihovodelovanje u svom pona,Sanju prema uienicima.
Osnovnu zakonitost socijalne percepcije je jednostavno formulisao F. Heider:"Osoba A percepira psihidke procese osobe B kroz psihiike procese u samojsebi". Na osnovu poznavanja sebe, dakle, prosudujemo druge. Sto smo objekitivniji prema sebi, Sto smo vi5e raare5ili unutraSnje konflikte i spoznali nesvesnou narna to smo sposobniji da objektivnije prosudujemo o drugima.
92
93
zahtev za objektivnim procenjivanjem i prosudivanjem licnosti drugog naosnovu percepiranogje posebno vaian za nastavnika. Ako nastavnik ni;e obijek_tivan prema sebi nede biti u moguinosti da bude objektivan ni prema uceniku.Ako nastavnikovo pona^Sanje determiniSu neki nesvesni iracionalni motivi moZese dogoditi da ih on pripisuje uEeniku, a da toga ni sam nije svestan. Jedna takvanesvesna funkcija psihe, koju je p. Diel nazyaa projekcijska introspekcija,sasto.ii se u tome da se u meduljudskom odnosu tude p."onxanje objasnjavana osnovi nesvesne funkcije psihe, da se drugoj osobi pripisuju neke tsobine,stavovi, motivi ponasanja koji su zapravo u nama samima, a kojih nismo svesnii ne Zelimo ih priznati, pa ih se resavamo tako da ih pripisujemt drugima.
Ako je pri tome rei o pozitivnoj motivaciji tu i nerna problema. Medutim,ako se drugoj lidnosti i njenom ponasanju zeli pripisati neki negativni motiv,koji objektivno ne postoji u njoj ve6 je rezultat-nesvesnog ..,"t *rrir-, u osobikoja obja5njava pona5anje druge, onda tu moZe biti problema.
osetljivo pitanje medurjudskog odnosa kod koga narocito dolazi do izrazajamehanizam projekcijske introspekcije je pitanje poverenja.
Poverenje je kamen temeljac svakog istinskog, humanog i pravog medu-ljudskog odnosa. Ako nastavnik nema loverenja u sebe ,ru -oz" ga imati niu svog udenika, a ako ga nema u uienika, onda se ne moze prihvatiti ni da gaudenik ima prema nastavniku.
- Pitanje poverenja u odnosu nastavnik - uienik ima dalekoseZne posledice.
T\r se radi o tome da odnos graden na poverenju sruZi udeniku kao moder zanjegove buduie odnose u Zivotu.
Postoji nekoliko pristupa prema poverenju. optimisticki pristup prema pov-erenju ogleda se u poverenju prema svakom; pesimisti.ki u nepostojanju pov-erenja prema bilo kom, dok je realni pristup;,imati poreren;, u onog koji tozasluZuje".
za razliku od raanih Zivotnih situacija, ne moze se zamisliti nastavnik kojinema poverenja u svog uienika i u tom sludaju optimisticki stav ne znadi ne_realan stav (u opstem sludaju, naravno). Tlenutna manifestacla nepoverenjaprem? uceniku koji je to zasluZio ne sme narusiti opsti stav poverenla koji nas_tavnik mora u sebi izgra.diti kao bitnu komponentu na kojoj on gradi svoj odnosprema mladoj generaciji.
od prvog utiska, koji je uvek emocionalno obojen, zavisi stav koji utiie nainterakciju i komunikaciju i od njega desto zavisi i t<vatitet meduljudskog odnosakoji treba da se uspostavi. prvo medusobno percepiranje dovodi i do prvihpro:ela licnosti drugog i do prosudivanja njihovih osobina i kvaliteta. Akoje doslo do medusobne adekvatn" p.o"".r" uspostaviie se prirodna i spontanainterakcija i komunikacija, a u protivnom ie isto biti otezano, pa u od.edero*smislu nekada i onemoguieno.
svi ljudi nisu.iednako sposobni da na osnovu percepiranja drugog objek-tivno procenjuju njegovu licnost. Ta se sposob.rori ,rrrrilr. "iutoje bitno dase u procesu osposobljavanja nastavnika putem posebnih veZbi utice na razvojsposobosti percepiranja, prosudivanja i procenjivanja licnosti ucenika.
Zakljudimo time da nije dovorjno da nastavnik tadno i adekvatno percepirai proceni lidnost ubenika, vei je njegov zadatak da pomogne uee.riku da sam is_
94
I
l'
I
ttI
tsw
Fl
i
9. INtBRexcnsxo-xouuNrxecroxr asppxt ...
pravno percepira i procenjuje i da ga tako osposobljava za uspesnije meduljudkeodnose izvan Skole i kasnije u Zivotu.
9.3.2 Emocionalni stavovi
zatzimanje medusobnih stavova u odnosu je znacajna odrednica za uspostav-ljanje interakcije. odnosa nema bez interakcije, a ona se ogleda u medusobnomdelovanju osoba koje zauzimajtt stavove i time odreduju svoje mesto u odnosu.
Pitanje stavova je posebno znadajno za nastavnika jer od kvaliteta njegovihstavova zavisi njegovo ponaianje prema uieniku, koje reciproeno utide na stavoveuienika prema nastavniku.
G. Alport je prouiavanjem literature doSao do dvadeset razliiitih odrede-nja stava. Izdvojio je ono Sto je zajedniiko i za stav dao odredenje da je totendencija koja usmerava naSe ponaSrnje.
stav kao slozena psihidka pojata povezan je sa saznajnom, emocionalnom imotivacijskom sferom liinosti. Saznajni elementi stala odnose se na znanje onetemu ili nekome; emocionalni za ono Sto mecamo prema nekome ili neiemu,dok je motivacijski aspekt stara vezan sa podsticajirna za pona5anje premanekome ili nedemu.
Emocionalna komponenta je sv'aloko najlaznija jer odreduje vrednost, jaiinui kvalitet stava i bitno uti6e na motivacionu komponentu.
Emocija se u stavu polarizuje na dva osnovna pola: pozitivni i negativni i tosvaki sa svojim modalitetima, kao Sto je pokazano na semi na slede6oj strani.
Humani ljudski odnos se moze zasnilati samo na pozitivrrim emocionalnimstavovima. Negativni emocionalni stavovi onemogucalaju i blokiraju uspostavl-janje meduljudskog odnosa i predstavljaju barijeru za uspesnu zajedniiku akciju.
Na pozitivnim, odnosno negativnim stavovima gradi se medusobna naklo-nost, odnosno neneklonost izmedu ucenika i nastavnika. u slucaju uzajamnenenaklonosti postupci se mogu iak i zlona.merno doZivljarati i obiasnlavati,tako da je tu zapravo red ne samo o intenciji osobe koja salje poruku, ve6 i odoZivljaju i tumadenju osobe koja tu poruku prima-
Nastavnik mora biti svestan toga da su njegovo i uienikovo ponasanje u inter-aktivnom odnosu i da je tesko odvojiti dije je ponasanje uzrok. a dije posledica.Isto tako, nastavnik mora biti svestan svoje uloge i shratiti da je on po prirodipolozaja u odnosu sa udenikom odgovorniji i da to kako 6e se ucenik ponasatii kako 6e dozivljavati njihov odnos mnogo zavisi od njegove lidnosti, njegovihstavova i njegovog ponasanja.
{ry
q({
,{,{
{((
I,{
qdroli
d
9. INrpRexcr:sxo-xolruNmectoNt .tsppxt ... 95
strahopoitoranje
zloba
zavist
divljenje
poBtovanje
antlpatUa simpatija
omaioraiavanje
prezir
uialjenje
9.3.3 Empatija
Upotreba ovog termina (engl. "empathy") datira iz 1897, a dolazi od grikihredi "empaso" i "pathe", Sto otprilike znadi "utkivati se u doZivljaj drugog".U enciklopdijskom recniku iz pedagogije iz 1963. taj je termin objaSnjen kao
"uZivljavanje, akt projektovanja samog sebe u nediji poloZaj, oblik identifiko-vania sa nekim".
Slikovito obja5njenje daje R.R Carkhuff da je to zavladenje pod tudu koZu,
koje nam omogu6uje da sagledamo svet odima druge osobe.
U obja5njenju empatije iz Reinika sociologije i socijalne psihologije naglaSava
se veza koja se ostvaruje na kognitivnom planu, koja nam pomaZe da shvatimoemocionalno stanje drugog, ali bez emocionalne identifikacije.
Jednostavno se moZe reii da je empatija saznajno emocionalna sposobnostuZivljavanja u poloZaj druge osobe i sagledavanje sveta njenim odima.
M. Kalliopuska smatra da je empatija skladan, koherentan proces u orga-
nizmu koji uskladuje fiziolo5ke. afektivne i kognitivne aspekte. NajceSie se
paZnja obra6a na kognitivni i afektivni aspekt.U kognitivne komponente empatije spadaju:- posmatranje druge osobe sa njene taike gledi5ta;- preuzimanje uloge druge osobe u odredenoj socijalnoj situaciji.Kod posmatranja druge osobe sa njene tadke gledi5ta odigrava se proces da
se prvo mora"iza(i" iz vlastite koZe, da bi se mogli "uvu6i" pod koZu drugog.ZnaLi dasmo sposobni da posmatramo svet ocima druge osobe, da se postavimou njen poloZaj, da se shvati njen nadin miSljenja i gledanja, ali bez napuStanjavlastitog miSljenja i vlastitog stajaliSta. To nikako ne znadi gubitak vlastitog
9. IxtpRaxcr.rsxo-xolruNIx.e,ctoNt esppxr ...
identiteta, a jo5 manje iskori5davanje nevedene sposobnosti da bi se manipulisalodrugima.
Empatidko razumevanje se ogleda u tome da se iz trenutka u trenutak uhvationo Sto druga osoba doZivljava u svom unutraSnjem svetu.
U afektivno emocionalne karakteristike spadaju:- osetljivost prema ose6anjima druge osobe;
- sposobnost suoseianja (ueestvovanja u osedanjima drugog).Biti osetljiv na ose6anja drugih ne znadi i sam ih proZivljavati ili pasti pod
uticaj onog Sto druga osoba ose6a. To znaii biti sposoban na osnovu spolja5njih,vidliivih simptoma ponasanja osobe tumaditi onako kako ih tumaii druga osoba,
Sta ti simptomi za nju znale, a ne za nas. Da bi bili otvoreni za ose6anja drugog,
da bi razvili senzibilitet prema osedanjima d*Sih moramo u nama samim imatirazvijen pozitivan emocionalni stav prema ljudima u Zivotu, biti oslobodeni svihunutraSnjih konflikata. nemira, negati'rmih emocija. jer bi nam to moglo blokiratiotvoren put prema drugoj osobi. "Sva.ka mala mrZnja truje sve moje ljubavi"(Unamuno).
Poznate su dve teorije empatije. Pn"a. psiholoSki usmerena teorija, polaziod toga da je za razvoj empatije bitna koncepcija vlastitog "ja" koju svako
ima o sebi i koja ukljuduje sposobnost samoposmatrania: zauzimarrja distanceu odnosu na sebe i svoje ponaianje i formiranje pojma o sebi.
Svaka osoba najbolje poznaje sebe i na osnovu poznavanja sebe, posma-
tra i drugu osobu. U unutra.Snji svet druge mobe se ne moZe "direktno uii"vei o njemu zakljudujemo na osnovu onog Sto moZemo da neposredno uobimo,odnosno na osnovu spolja5njih simptoma ponaSanja druge osobe. Vezu izmecluunutra5njeg doZivljaja i spoljainjeg ponaSanja prvo stvaramo kod sebe i na os-
novu toga tu vezu prenosimo na prosudivanje druge osobe.
Ako druga osoba na slidan nadin reaguje kao mi. manifestuje svoje unutra5njedoZivljaje istim ili slidnim simptomima, tada 6emo je lak5e razumeti. Primetimoda su razlike u takvom manifestovanju desto posledica sredine i kulture, ali itemperamenta, prilika u kojima osoba Zivi, Zivotnog iskustva i sl.
Sposobnost samoposmatranja, koja se ogleda u Sto objektivnijem uoiava-nju veze izmedu unutraBnjih doZivljaja i spolja5njih simptoma pona5anja, pret-postavlja i razotkrivanje nesvesnih mehanizama i motiva koji mogu upravljatina5im pona5anjem.
Druga, socioloSki usmerena, teorija empatije ne negira potrebu da je za
razvoj empatije potrebna koncepcija u vlastitom "ja", da je potreban oseiajvlastitog identiteta, ali vi5e ulazi u proces razvoja te sposobnosti. Tako. izmeduostalog, naglaSava da se empatlja razvija u komunikaciji s drugima, u preuzi-manju razlicitih socijalnih uloga. Primetno je da se ove dve teorije empatije ne
iskljuduju, vei se medusobno dopunjuju.VaZnost empatije u obrazovno-vaspitnom procesu proizllazi iz slede6ih nuZno
postojeiih aktivnosti u ovoj delatnosti:- otkrivanje ose6anja koja prate ponasanje udenika,- prihvatanje udenika onakvog kakav on zapravo jeste,
- otkrivanj e emocionalno-motivacionih faktora,- shvatanje vaspitanika u njegovom totalitetu,
96
9. INrnRaxct.lsxo-xo\auNxncloNt aspsxr ...
- biranje adekvatnih obrazovnih sredstava i postupaka,
- prilagodavanje komunikacije udenicima.
Sprovedena istraZivanja u nastavi ukazuju da ako se Zeli da se deluje na
razvoi empatije kod udenika, posetrno kod studenata koji se pripremaju za nas-
tavnidki poziv, onda se to ne moZe postiii samo predavanjima, ve6 se moraju
stvarati situacije u kojima 6e empatija biti doZivljena kao neposredno iskustvo.
9.4 Interakcija i komunikacija u obrazovanju
Pojmovi interakcije i komunikacije su zapravo pojmovni konstrukti koji omo-
guiavaju da se shvati sustina obrazovno-vaspitnog procesa. Oni se mogu for-
malno definisati kao posebni pojmovi koji u sebi nose znaeenja stvarnih pfocesa.
Medutim, zarazvmevanje obrazovanja kao interakcijsko-komunikacionog procesa
veoma je znadajno da se sagleda njihov odnos i paZljivo prodre u njihovu
medusobnu povezanost. N. Rot deflni$e interakciju kao "aktivan odnos izmedu
dve ili vise jedinki, pri kome jedna jedinka utice na ponaSanje drugih", dok
komunikaciju shvata ka "odnos medu jedinkama pomoiu znakova". S aspekta
obrazovnog procesa moZe se prihvatiti definicija da je komunikacija proces stvaranja
znadenja izmedu dve ili viSe osoba.
U komunikacionom odnosu imamo osobu koja Salje poruku i osobu koja tuporuku prima. Ako je prenos poruka jednosmeran, onda je to informisanje, za
razliku od sludaja kada poruka teie u oba smera Sto nazivamo komunikacija.
s aspekta meduljudskog odnosa nuZan uslov koji mora biti zadovoljen da bikomunikacija bila uspe5na, jeste maksimalno ispoljavanje kooperativnog duha,
saradnje i poverenja, buduii da postoji niz faktora koji spredavaju uspe5nost
komuniciranja kao Sto je prikazano na Semi na SI. 6.
oblici komunikacije se mogu razvrstati po razliditim kriterijumima. Prema
broju osoba i'nadinu komuniciranja razlikuju se:
- komunikacije izmedu dve osobe;
- komunikacije u maloj grupi;- organizovana komunikacija;- javna konunikacija;- komunikaciia masmedijumima.Naravno da se u obrazovanju sreiu svi od navedenih oblika i pored toga
jto kod svih ne postoje jednake mogudnosti za uspostavljanje interakcije medu
osobama koje komuniciraju.Najpogodniji oblik za uspostavljanje interakcije je komunikacija u paru,
izmedu dve osobe koje mogu u veioj ili manjoj meri zauzimati empaticke stavovejedna prema drugoj i postiii vi5i nivo interakcijske povezanosti.
Watzlawick je 1967. sa saradnicima razradio elemente komunikacije koja, po
njemu, ima slededi oblik:- ioveka je neophodno Posmatrati
drugima;- meduljudski odnos je neophodno
komunikaciji;
u odnosu sa drugima, u interakciji sa
proudavati u izmeni informacija, tj. u
97
9. INtgRRxct.Isxo-KoN{uwIxRCtoM esppxt ...
- povratna informacija je bitna za ponasanje, odnosno uzroini faktori odredenog
pona$anja ne traZe se ni u pojedincu ni u njegovoj okolini, vei u interakcijskom
trouglu Sto ga tine pojedinac - okolina - pojedinac;
- postoje razliditi stepeni svesnosti o sopstvenom pona^Sanju;
- medusobno uticanje je uslovljeno situacijom i nemogu6e je zahvatiti celokup-
nost interpersonalnog zbivanja ukoliko se ne uzme u obzir sistem povratne in-
formacije i fenomen medusobnog stricanja;
- komunikacija je ditavo pona.5anje i utide na pona5anje'
Isti autor je, takode, postavio i pet osnovnih aksioma komunikacije:
1. Nije mogu6e ne komunicirati (dak i odbijanje komunikacije je takode ko-
munikacija, odnosno pojedini pokusaji nekomuniciranja su zaptavo oblici porerneienog
ponasanja);
sl. 6
2. svaka komunikacija ima sadrzajni aspekt odnosa. Ekstremni pozitivni
sludaj je kada se partneri slaZu Sto se tide sadrZaja komunikacije i definicije svog
odnosa u njoj. Ekstremni negativni sluEaj je kada se pa.rtneri ne slaZu ni upogledu sadrZaja ni u pogledu odnosa. Izmedu ta dva ekstrema postoji viSe
varijanti;3. odnos je ustrovljen interpretacijorn ponasanja, odnosno priroda odnosa je
uslovljena redosledom komunikacionih tokova;
4. Komunikacija se sluzi digitalnim i analognim modalitetima. Komunikacija
tede na dva nivoa: jedan je verbalni - digitalni, a drugi neverbalni - analogni.
Ova dva dela komunikacionog procesa je nemogu6e deliti i odvajati, jer uz ver-
balnu paralelno teie i neverbalna komunikacija. Verbalno'digitalnim delom se
preteZno prenose sadrZaji, a neverbalno-analognim iztaZavamo i odredujemo naiodnos prema drugom.
98
strutni termini intelige ncij a
PoJmovrkoncentnclja
reti
999. IN:rBRaxcI.tsxo-xotvtuNtx.q'ctoNt e.sppxt ...
5. Tok meduijudskih odnosa je ili simetridan ili komplementaran. U simetrid-
nim odnosima teZi se za siiinosiu, a izbegava se razliditost, dok se komplemen-
tarni od.nosi dopunjavaju razli.itostima. Pri tome moZe postojati superiorna iliprimarna i inferiorna ili sekundarna pozicija'
Jasno je da simetriinost i komplementarnost u interpersonalnim odnosima
moraju Uiii Ret<sifitne kategorije i moraju odgovarati odredenim sposobnostima
i karakteristikama pojedninca u odredenoj situaciji. Tako, recimo, ako je neko u
odredenoj situaciji superioran po svojim sposobnostima za resavanje odredenog
problema, orrd. je logidna komplementarnost prema nekom drugom koji tih
sposobnosti u vezi s tim problemom nema'
verbalna i neverbalna poruka mogu biti u razliaitim odnosima i to:
- neverbalna poruka ^ri" ru "niti
verbalnu (klimanje glavom umsto "da")'
Gestovi i znaci imaju ponekad razlidito znadenje u raznim kulturama;
- neverbalna porr.L moZe dati ve6u snagu verbainoj poruci (sme5ak pri
izrazavaniu veselja); ip nrotivreriti drusoi ( lovoljstvo, ali- jedna poruka moZe protivreiiti drugoj (recima izrai'avamo zac
nam izgled to ne Potvrduje).verbalna komunikacija je vise pod kontrolom svesti od neverbalne; never-
balni znaci su pod kontrolom niZih centara i vise su pod uticajem nesvesnog
dela na5e lidnosti'Funkcije neverbalne komunikacije su:
- izraZavanje emocija'- izraLavanje uzajamnih stavova'
- prezentiranje vlastitih osobina,
- praienje, dopuna i podrika verbalne komunikacije'
- zamena za verbalnu komunikaciju,- konvencionalno izraZavanje.Tako npr. za otkrivanje emocija i unutrasnjeg raspoloZenja bitni su sledeii
znaci (rangirani po znaiaju):- autonomni znaci,- znaci nogom i stoPalom,- znaci truPom,- neidentifikovani gestovi,
- identifikovani gestovi,
- izraz\ lica,- izraLavanje redima.verbalna komunikacija se sluZi govorom. ovom komunikacijom, koja moZe
biti pismena ili usmena, informisemo o objektivnom stanju, o zbivanjirna i pred-
metima oko nas i o subjektivnim stanjima i idejama. Ova je komunikacija pod
naSom svesnom kontrolom i u literaturi je daleko vi$e izueavana od neverbalne
komunikacije.s.L. Tutbs i s. Moss navode podatak da u komunikaciji licem u lice never-
balni znaci sadrZe 65% celokupnog socijalnog znaienja, dok verbalni podraZaji
dine samo 35% .
Neverbalno komunikacijski znaci sa dele na paralingvistidke i ekstralingvisticke.
U prve od njih spadaju:
100
- svi propratni gestovi i Sumovi koje dujemo uz izgovor reii,- otvorenije ili zatvorenije izgovaranje samoglasnika,- karakteristike u brzini i intenzitetu izgovaranja u emocionalnom stanju,- intonacija izgovaranja redenica,- nagla5avanje odredenih redi u redenici,- duZe ili kraie pauze medu redima.Drugu grupu dine kinezidki i proksemidki znaci. Kinezicki su vezani za razrre
vrste pokreta i poloZaja tela (razlidite vrste pozdravljanja kod raznih naroda,kontakti oiima i sl.).
Proksemiiki znaci se zasnivaju na udarjenosti i na prostornim odnosimamedu udesnicima u komunikaciji Sto. recimo, obuhvata:
- fiziiku blizinu odnosno udaljenost medu osobama u komunikacijskoj inter_akciji,
- prostorni raspored uiesnika u komunikaciji,- teritorijalno ponasanje koje se odnosi na drZanje i postupke kojima jedna
osoba stavlja do znanja drugima pravo na odredeni p.orto..smatra se da neverbalna komunikacija kod doveka zavisi od nasleda i uienja,
odnosno da se ona razvija u6enjem. Zbog toga je od znadaja da nastavnik ovladaneverbalnom komunikacijom.
M. Argule navodi da ima pet razloga za koris6enje neverbalne komunikacije:1. neverbalnim znacima je nekada mogu6e borje izraziti neku pojavu nego
verbalnim znacima,2. neverbalno izraiavmje je desto snaZnije sredstvo izrazavanja,3. neverbalni znari su menje kontrolisani, pa otvorenij" gorror" o osobi koja
ih manifestuje,4. neverbalni znarci omogudavaju da se stavovi ne izraze tako eksplicitno kao
kada ih izraZavamo redima,5' neverbalna komunikacija osim verbalne predstavlja jos jedan dopunski
kanal uzajamnog informisanja.Primetimo da su u komunikaciji nastavnika i uienika vaZne ne samo verbalne
vei i neverbalne komunikacije.U medusobnoj komunikaciji ljudi mogu uticati jedni na druge na razliditim
stepenima interakcijskog odnosa. od nivoa unutrasnje povezanosti medu os-obama koje komuniciraju zavisi stupanj njihove interakcijske povezanosti. Zaobrazovni proces, u kome se ne prenose samo informacije, vec doLzi i do medusobnihuticaja, vrlo je vaZno na kom se stupnju interakcijske povezanosti komunikacijaodvija. svakako da sto-se komunikacija u procesu vaspitnog delovanja sprovodina viSem stupnju interakcijske povezanosti, to ie i vaspitno d-elovanje Liti uspesnije.
Primera radi, dim se nastavnik pojavi na vratima razreda, on taia na odredeninadin stupa u interakciju i komunikaciju sa udenicima. sama prisutnost nas-tavnika deluje da udenici na odredeni nadin reaguju. Kod jednog nastavnikauienici bez redi zauzimaju svoja mesta, a kod J.rgog to iine uz upozorenjai, ponekada, i svadu. Isti uienici se razlidito pona.saju prema razliiitim nas_tavnicima, a, takode, i isti nastavnik moZe izazvati,urlieli" reakcije kod raznihudenika i odeljenja.
9. IwrnRRxcusxo-xouuNrxlcIoNl esppxt ...
Svakako da je vi5i stupanj akcijsko-reakcijskog komuniciranja empatijsko ko-
municiranje. U ovrazovno-vaspitnom procesu otuda nastavnik mora dobro poz-
navati svoje udenike i mora empatijski prilagodavati na.din komuniciranja sa
njima.Kod osoba koje u odnosu empatijski medusobno komuniciraju moZe se ost-
variti najviSi stepen interakcijske povezanosti u komunikaciji. Empatijsko ko"
municiranje podrazumeva da se u odnosu naizmenidno i reciprobno preuzimajuuloge; da se sagovornici medusobno uZivljavaju u poloZaj druge strane; da
medusobno uvaZavaju stavove i mi$ljenja drugih i u procesu komuniciranja prob-
Iem sagledavaju i oiima drugih, a ne samo svojim vlastitim. Na tom stupnjukomuniciranja ostvaruje se zapravo ideal ljudske komunikacije, a to je dijalog.Dijaloga u Ijudskoj komunikaciji zapravo i nema bez medusobnog empatijskogkomuniciranja.
Uslovi koji omoguiuju empatijsko komuniciranje i dijalog su:
1. komunicirati sa malim brojem osoba,
2. dobro poznavati osobe sa kojima se komunicira,3. biti osetljiv za ljudsko ponaSanje,
4. imati razvijenu empatiju,5. biti motivisan za uzajamnu povazanost.
Na kraju, primetimo da u nastavi od posledica uspe5ne komunikacije najlak5eje ostvariti razumevanje sadrZaja, odnosno postiii da na5a poruka bude nekom
razumljiva. TeZe je posti6i da se osoba sa naSom porukom sloZi, a najteZe dapostupa u skladu sa njom. Mnogo je lak5e uticati na razumevanje nego delovatina stavove, oplemenjivanje odnosa i izazivanje akcije u procesu komunikacije.
101
t02 Z. BnnNovri
DODATAK B
Morseov kod
UVWXYZ+
KLMI\/o
ABCDEFG
J
0
1
PaR,s
T
HI
j
J
I{dl
,i
'{
cifraBCDkod
Grayovkod
kodplus 3
Stibitz-Grayovkod
Aikenovkod
0
1
2
3
4
5
6
7
8
I
000000010010
001101000101011001111000
1001
0000
000100110010
011001110101
010011001101
001101000101
0110011110001001
1010
1011
1100
001001100111
01010100
11001 101
1111
1110
1010
0000
00010010
00110100101 1
1100
1101
1110
11 11
TReLIcp
I II III N Vprelazna slovaprelazna znakeABCDEFGHIJKLMIToPaRsTUVWXYZ
11110
111010111111001
0100100001101 t110001101010010110011
01101
01100001001010010000
00011
0000001000110001101001010
010110001010010
10110
11001
00110
111 11
11011
1100010011
0111010010100001011001011
00101011001101011110
0100100111
0011000011
0110111101
0101010100
0000111100
0111111001
10111
10101
10001
100000110000101000011
100010010001011000110100011110010001001001
100101010010111001100
10011011001110
100111110100001010001101001010100111010100
10101011010110
10101111011000
1011001
1011010
11000001
11000010110000111100010011000101110001101 10001 1 1
1100100011001001
110100011101001011010011
1101010011010101
11010110110101 11
110110001 101 1001
111000101 110001 1
1110010011100101
111001101110011111101000
1 1 101001
I
t04 Z. BneNovri
I II III IV V+
0
1
2DJ
4
5
6
7
8
9
00100110001011011010
00001
0111110111
11011
01011000110110110101
11001
01001
10001
11000
00110001110110111101
11001
10000
010100000110101
111000110000011
010101101011010101100010111001100000110001
01100100110011011010001101010110110011011101110000111001
0100111001 101 101
011111010100101111110000
111100011 1 1 10010111100111 1 1 101001 11 10101
111101101111011111111000I 1 1 11001
u koloni I navedene su kodne zamere Medunarodnog koda br. 1 (Baudo-tov kod), u koloni II Medunarodnog koda br. 2 (Murrayev kod), u koloni IIIASCII koda, u koloni ry EBCDIC koda i u koloni V , na uobibajeni nadinzapisane, kodne zamene Morseovog koda. Tablice su nepotpune, tj. nisunavedene kodne zamene za sve mogu6e znake, kao na primer zd,:t ", !, (, ),:, ? itd, koje su inade sadrzane u nekim od navedenih kodova. NajopseZnijije EBCDIC kod, koji sadrzi kodne zamene za 86 razliditih znaka, pri cemuvelika i mala slova alfabeta imaju razlilite kodne zamene.
TesLrcp 105
p -logzp -plogzp -logrp -plogzp0,01 6,6439 0,06640,02 5,6439 0,L1290,03 5,0599 0, 15190,04 4,6439 0,19590,05 4,3219 0,27610,06 4,0599 0,24350,07 3,9365 0,26960,08 3,6439 0,29150,09 3,4739 0,31270,10 3,3219 0,33220,11 3,L944 0,35030,12 3,0599 0,36710,13 2,3434 0,39260,L4 2,9365 0,39710,15 2,7370 0,41050,16 2,6439 0,42300,17 2,5564 0,43460,18 2,4739 0,44530,19 2,3959 0,45520,20 2,3279 0,46390,21 2,2515 0,47290,22 2,1844 0,49060,23 2,1203 0,49770,24 2,0599 0,49410,25 2,0000 0,50000,26 1,9434 0,50530,27 1, ggg0 0,51000,29 1,9365 0,51420,29 1,7959 0,51790,30 L,7370 0,5211
0,51 0,9714 0,49540,52 0,9434 0,49060,53 0,3159 0,48540,54 0, ggg0 0,49000,55 0,9625 0,47440,56 0,8365 0,46940,57 0,8110 0,46230,58 0,7959 0,45590,59 0,76L2 0,44910,60 0,7370 0,44220,61 0,7131 0,43500,62 0,6997 0,42760,63 0,6666 0,41990,64 0,6439 0,41210,65 0,6215 0,40400,66 0,5995 0,39560,67 0,5779 0,39710,68 0,5564 0,37930,69 0,5353 0,36940,70 0,5146 0,36020,71 0,4941 0,35080,72 0,4739 0,34120,73 0,4540 0,33140,74 0,4344 0,32L50,75 0,4150 0,31130,76 0,3959 0,30090,77 0,3771 0,29030,79 0,3595 0,27960,79 0,3301 0,26970,80 0,3213 0,2575
106 Z. Bnexovr6
-logrp -plogzp -logrp -plogzp0,31 1,68970,32 1,64390,33 1,59950,34 1,55640,35 1,51460,36 1,47350,37 1,43440,38 1,39590,39 1,35850,40 t,32L90,41 1,28630,42 L.24150,43 L,21760,44 1,78440,45 L,L5200,46 1,12030,47 1,08930,48 1,05890,49 1,02910,59 1,0000
0,52380,52600,52780,52920,53010,53060,53070,53050,52980,52880,52740,52560,52360,52110,51840,51530,51200,50830,50430,5000
0,810,820,830,840,850,860,870,880,890,900,910,920,930,940,950,960,970,980,991,00
0,30400,28630,26880,25150,23450,21760,20090,18440, 1681
0,15200,13610, 1203
0,10470,08930,07400,05890,04390,02910,01450,0000
0,24620,23480,22310,21130, 1992
0,19710,17480, 1623
0,14960,13680,12380, 1107
0,09740,08400,07030,05650,04260,02860,01440,0000