information und kommunikation hartmut klauck universität frankfurt ss 07 11.5

Information und Kommunikation

Hartmut KlauckUniversität Frankfurt

SS 0711.5.

Information & Kommunikation 8

2

Berechnung des Fehlers

• Der Fehler setzt sich zusammen aus zwei Ereignissen:– W‘ ist falsch– W‘ ist nicht eindeutig

• Wir berechnen den erwarteten Fehler über alle Codes

• E sei das Ereignis, dass bei zufälligem Code und zufälligem W ein Fehler entsteht

• Pe(K) sei die Fehlerws. auf Code K bei typical-set-decoding, Prob(K) die Wahrscheinlichkeit, Code K zu ziehenW(K) ist die Fehlerwahrscheinlichkeit für festes W,K (abhängig vom Kanal)


3


• Es gilt


4


• Denn: aufgrund der Symmetrie bei der Konstruktion des Codes K hängt der Fehler nicht von W ab, daher betrachten wir nur W=1

• D.h. im folgenden betrachten wir die Situation W=1, K(1) wird über den Kanal geschickt für denn zufälligen Code K, Y1,…,Yn ist die Ausgabe des Kanals


5


• K(i) sei der Code von Nachricht i• Wir definieren Ereignisse

– Ei={i: K(i),Y1,…,Yn liegt in A}

• Ein Fehler geschieht wenn– E1 nicht eintritt (Ausgabe ist nicht

gemeinsam typisch mit K(1), das heißt wir dekodieren nicht zu 1)

– E2[…[ E2nR geschieht (ein anderes W‘‘ erfüllt, dass K(W‘‘), Y1,…,Yn in A liegt)


6


• Damit gilt:

• Aber:


7


• Gemäß der Codekonstruktion sind K(1) und K(j) paarweise unabhängig

• Daher sind auch Y1,…,Yn und K(i) paarweise unabhängig für i>1

• Die Wahrscheinlichkeit, dass K(i) und Y1,…,Yn gemeinsam typisch sind, ist daher durch 2-n(I (X:Y)-3) beschränkt


8


• Daher gilt:

– für genügend gr. n, wenn R<C-3


9

Zusammenfassung• Wir erhalten, dass im Durchschnitt über alle Codes der

Fehler klein ist• D.h. es gibt mindestens eines Code K*, der kleinen

erwarteten Fehler hat• Pe(K*)· 2• K* kann im Prinzip durch Suchen bestimmt werden

• Es gilt nun, dass höchstens die Hälfte aller Codeworte in K* zu i2{1,…,2nR} mit Fehler i (K*) ¸ 4 gehören

• Wenn wir die schlechten Codeworte entfernen, erhalten wir einen Code mit Fehler 4 im worst case

• Die Rate sinkt dadurch von R auf R-1/n• Wir erhalten einen Code mit maximalem Fehler 4 und Rate

C-3n


10

Zusammenfassung

• Da wir beliebig klein wählen können, gilt, dass jedes R<C erreichbar ist.

• Zufallscodes sind sehr effektiv was die Rate angeht, aber Sie können im wesentlichen nur durch eine Liste ihrer Codeworte beschrieben werden

• Zufallscodes sind schwer zu dekodieren: Maximum-Likelihood Decoding ist langsam für solche Codes


11

Der zweite Teil

• Wir wollen nun zeigen, dass alle Raten > C nicht erreichbar sind.

• Genauer gesagt, zeigen wir folgendes:– Gegeben eine Folge von (2Rn,n)-Codes

für einen Kanal mit Kapazität C– Wenn der (worst case) Fehler gegen 0

geht, gilt R· C


12

Codes ohne Fehler

• Wir betrachten zuerst den Fall von Codes mit Fehler 0, d.h. Pe=0

• Die Ausgabe des Dekodierers ist immer gleich der Nachricht W

• Dann gilt H(W|Y1,…,Yn)=0• Wir nehmen an, dass W uniform auf

{1,…,2Rn} verteilt ist• Damit gilt H(W)=nR• [* zeigen wir später]


13

Codes ohne Fehler


14

Codes mit Fehler

• Wir verwenden Fanos Ungleichung• W ist uniform aus {1,…,2Rn}

• W‘=D(Y1,…,Yn) ist die Ausgabe des Dekodierers

• Pe=Prob(W W‘)

• E mit E=0 wenn W=W‘; E=1 wenn WW‘ sei eine neue Zufallsvariable


15

Codes mit Fehler


16

Codes mit Fehler

• Zusammengefasst:– Fanos Ungleichung:

Für einen (2Rn,n)-Code K giltH(K(W)|Y1,…,Yn)· 1+Pe nR


17

Codes mit Fehler

• Wir zeigen nun ein Lemma zu Kapazität • Lemma 8.1

– Seien X1,…,Xn gemäß irgendeiner Verteilung gewählt, und dann in den n-fachen Produktkanal eines gedächtnislosen Kanals mit Kapazität C gegeben

– Y1,…,Yn sei die Ausgabe

– Dann gilt I(X1,…,Xn : Y1,…,Yn )· nC


18

Beweis


19

Beweis

• Dabei gilt * wegen der Gedächtnislosigkeit des Kanals:– Yi ergibt sich aus Xi mittels des Kanals

– Wenn über Xi konditioniert wird, ist Yi unabhängig von den anderen Xj und Yj


20

Codes mit Fehler

• Wir können den Beweis nun abschließen

• Angenommen Pe geht gegen 0 mit großen n


21

Codes mit Fehler

• R· Pe R +1/n+C• Die ersten beiden Terme gehen gegen 0,

daher folgt R· C• Wir erhalten ebenfalls:• Pe¸ 1-C/R-1/(nR)

– d.h. wenn R größer als C ist, erhalten wir substantiellen Fehler

• Tatsächlich geht der Fehler für alle R>C gegen 1 (anderer Beweis notwendig)

• Es gibt für manche Kanäle Codes, die genau C erreichen

information und kommunikation hartmut klauck universität frankfurt ss 07 11.5

Documents