grundlagen der...
TRANSCRIPT
![Page 1: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/1.jpg)
Grundlagen derInformationstheorie
Hanna Rademaker und Fynn Feldpausch
![Page 2: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/2.jpg)
- 2 -
1. Thema
Informationstheorie
● geht zurück auf Claude Shannon
„The Mathematical Theory of Communication“
● beschäftigt sich mit● Information● Informationsübertragung● Datenkompression● Kodierung
Claude Shannon
(1916 – 2001)
Quelle: http://www.cl.cam.ac.uk/
![Page 3: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/3.jpg)
- 3 -
2. Überblick
Informationsübertragung
Informationsquelle
Quellenkodierung
Kanalkodierung
Informationsziel
Quellendekodierung
Kanaldekodierung
Kanal
Störung
Informationsquelle Informationsziel
![Page 4: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/4.jpg)
- 4 -
2. Überblick
● Was ist Information?● Wie kann man Information
messen?
Informationsquelle
Quellenkodierung
Kanalkodierung
Informationsziel
Quellendekodierung
Kanaldekodierung
Kanal
Störung
Wichtige Fragestellungen
![Page 5: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/5.jpg)
- 5 -
2. Überblick
● Wie können Daten komprimiert werden?
● Wie viel Speicher wird mindestens benötigt?
● Ist es möglich Daten verlustfrei zu komprimieren?
Informationsquelle
Quellenkodierung
Kanalkodierung
Informationsziel
Quellendekodierung
Kanaldekodierung
Kanal
Störung
Wichtige Fragestellungen
![Page 6: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/6.jpg)
- 6 -
2. Überblick
● Wie können Übertragungsfehler entdeckt werden?
● Ist es möglich sie zu korrigieren?
● Wie viel Daten passen durch einen Übertragungskanal?
Informationsquelle
Quellenkodierung
Kanalkodierung
Informationsziel
Quellendekodierung
Kanaldekodierung
Kanal
Störung
Wichtige Fragestellungen
![Page 7: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/7.jpg)
- 7 -
3. Information
Informationsübertragung
Informationsquelle
Quellenkodierung
Kanalkodierung
Informationsziel
Quellendekodierung
Kanaldekodierung
Kanal
Störung
![Page 8: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/8.jpg)
- 8 -
3. Information
„Das Wort Information wird in dieser Theorie in einem
besonderen Sinn verwendet, der nicht mit dem gewöhnlichen
Gebrauch verwechselt werden darf. Insbesondere darf
Information nicht der Bedeutung gleichgesetzt werden. [...]
Tatsächlich können zwei Nachrichten, von denen die eine von
besonderer Bedeutung ist, während die andere bloßen Unsinn
darstellt, in dem von uns gebrauchten Sinn genau die gleiche
Information enthalten.“
Shannon & Weaver (1949)
![Page 9: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/9.jpg)
- 9 -
3. Information
PRÜFUNG BESTANDEN
TNGDR PNASUNEBFÜE
![Page 10: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/10.jpg)
- 10 -
3. Information
PRÜFUNG BESTANDEN
TNGDR PNASUNEBFÜE
Beide Nachrichten haben denselben Informationsgehalt!
![Page 11: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/11.jpg)
- 11 -
3. Information
Der Shannon-Informationsgehalt● Spieler A wählt eine Spielkarte● Spieler B soll diese durch „Ja-Nein“-Fragen erraten● Optimale Strategie:
Rot
Schwarz
Herz
Pik
Kreuz
Karo
![Page 12: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/12.jpg)
- 12 -
3. Information
Der Shannon-Informationsgehalt
● Wahrscheinlichkeit „ja“ zu erhalten:
● Def. Informationsgehalt [bit]:
h x =ld 1p x
p j =12
![Page 13: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/13.jpg)
- 13 -
3. Information
Der Shannon-Informationsgehalt
● Wahrscheinlichkeit „ja“ zu erhalten:
● Def. Informationsgehalt [bit]:
● 1 Antwort = 1 bit 5 Antworten = 5 bit
h x=ld 1p x
p j =12
h j =ld 1p j
=ld 2=1
![Page 14: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/14.jpg)
- 14 -
3. Information
Der Shannon-Informationsgehalt
● Informationsgehalt einer naiven Strategie:
●
●
● ...
h1n=ld3231
=0,0458 bit
h2n=ld3130
=0,0473 bit
![Page 15: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/15.jpg)
- 15 -
3. Information
Der Shannon-Informationsgehalt
● Informationsgehalt einer naiven Strategie:
● Kein Treffer nach 16 Fragen:
● Treffer bei 17. Frage:
∑i=1
16hi n=1 bit
h17 j =ld161=4 bit
![Page 16: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/16.jpg)
- 16 -
3. Information
Der Shannon-Informationsgehalt
● Informationsgehalt einer naiven Strategie:
● Kein Treffer nach 16 Fragen:
● Treffer bei 17. Frage:
● Treffer bei 1. Frage:
∑i=1
16hi n=1 bit
h1 j =ld321=5 bit
h17 j =ld161=4 bit
![Page 17: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/17.jpg)
- 17 -
3. Information
Die Entropie
● entspricht dem durchschnittlichen Shannon-
Informationsgehalt:
● Einheit: bit
H X =∑xp xh x
=∑xp x ld 1
p x =−∑x
p x ld p x
![Page 18: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/18.jpg)
- 18 -
3. Information
Die Entropie
● X = {a, b, c, d}0,5 0,25 0,125 0,125
x a b c dp(x)
![Page 19: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/19.jpg)
- 19 -
3. Information
Die Entropie
● X = {a, b, c, d}0,5 0,25 0,125 0,125
x a b c dp(x)
h x=ld 1p x
ha=ld 2=1
hb=ld 4=2
hc=hd =ld 8=3
![Page 20: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/20.jpg)
- 20 -
3. Information
Die Entropie
● X = {a, b, c, d}0,5 0,25 0,125 0,125
x a b c dp(x)
h x=ld 1p x
ha=ld 2=1
hb=ld 4=2
hc=hd =ld 8=3
H X =∑xp x ld 1
p x
=12⋅11
4⋅21
8⋅31
8⋅3
=148=1,75
![Page 21: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/21.jpg)
- 21 -
3. Information
Die Entropie
Quelle: http://de.wikipedia.org/wiki/Entropie_(Informationstheorie)
![Page 22: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/22.jpg)
- 22 -
3. Information
Die Entropie
Quelle: http://de.wikipedia.org/wiki/Entropie_(Informationstheorie)
Quelle: http://de.wikipedia.org/wiki/Entropie_(Informationstheorie)
![Page 23: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/23.jpg)
- 23 -
3. Information
Die gemeinsame Entropie H(X,Y)
● Für unabhängige Variablen X, Y
● H(X,Y) = H(X) + H(Y)
H(X) H(Y)
![Page 24: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/24.jpg)
- 24 -
3. Information
Die gemeinsame Entropie H(X,Y)
● Für abhängige Variablen X, Y
H(X)
![Page 25: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/25.jpg)
- 25 -
3. Information
Die gemeinsame Entropie H(X,Y)
● Für abhängige Variablen X, Y
H(X) H(Y)
![Page 26: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/26.jpg)
- 26 -
3. Information
Die gemeinsame Entropie H(X,Y)
● Für abhängige Variablen X, Y
● H(X,Y) < H(X) + H(Y)
H(X) H(Y)
![Page 27: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/27.jpg)
- 27 -
3. Information
Die bedingte Entropie H(Y|X)
● H(Y|X) bezeichnet die Entropie von Y unter Kenntnis
von X
H(Y|X)
![Page 28: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/28.jpg)
- 28 -
3. Information
Die gemeinsame Entropie H(X,Y)
● Für abhängige Variablen X, Y
● H(X,Y) < H(X) + H(Y)
H(X) H(Y)
![Page 29: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/29.jpg)
- 29 -
3. Information
Die gemeinsame Entropie H(X,Y)
● Für abhängige Variablen X, Y
● H(X,Y) < H(X) + H(Y)
● H(X,Y) = H(X) + H(Y|X) = H(Y) + H(X|Y)
H(X) H(Y|X)
![Page 30: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/30.jpg)
- 30 -
3. Information
Die gemeinsame Entropie H(X,Y)
● Für abhängige Variablen X, Y
H(Y|X)H(X|Y)
H(X) H(Y)
H(X,Y)
?
![Page 31: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/31.jpg)
- 31 -
Die wechselseitige Information I(X;Y)
● I(X;Y) bezeichnet die Information, die von X und Y
geteilt wird
● Maß für die Abhängigkeit der Variablen
3. Information
H(Y)
H(Y|X)H(X|Y)
H(X)
I(X;Y)
H(X,Y)
![Page 32: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/32.jpg)
- 32 -
3. Information
Zusammenfassung
● Shannon-Informationsgehalt eines Ereignisses
● Entropie: „Selbstinformation“ einer Variablen X
● Bedingte Entropie, Wechselseitige Information
h x =ld 1p x
H X =∑xp x ld 1
p x
H(Y|X)H(X|Y) I(X;Y)
![Page 33: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/33.jpg)
- 33 -
4. Quellenkodierung
Informationsübertragung
Informationsquelle
Quellenkodierung
Kanalkodierung
Informationsziel
Quellendekodierung
Kanaldekodierung
Kanal
Störung
Informationsquelle Informationsziel
Quellenkodierung Quellendekodierung
![Page 34: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/34.jpg)
- 34 -
4. Quellenkodierung
Quellenkodierung● Ziel: Reduktion des Speicherbedarfs einer gegebenen
Datenmenge● Datenkompression
● Vorgehen: Suchen einer kompakteren Repräsentation der Daten● Kodierung
![Page 35: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/35.jpg)
- 35 -
4. Quellenkodierung
Grundbegriffe● Alphabet A● Wörter A*● Codewort c(aba) = 01101● durchschnittliche Wortlänge L● Redundanz
● Information mehrfach enthalten● Weglassen ohne Informationsverlust
![Page 36: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/36.jpg)
- 36 -
4. Quellenkodierung
Verlustbehaftete Kompression● Informationen weglassen, die...
● ... selten auftreten● ... nur wenig wahrgenommen werden● ... irrelevant sind
● Daten nicht (originalgetreu) wiederherstellbar
![Page 37: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/37.jpg)
- 37 -
4. Quellenkodierung
Verlustbehaftete Kompression
● X = {a, b, c, d}
● mögliche Darstellung:● c(a) = 00● c(b) = 01● c(c) = 10● c(d) = 11
0,5 0,25 0,125 0,125x a b c d
p(x)
![Page 38: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/38.jpg)
- 38 -
4. Quellenkodierung
Verlustbehaftete Kompression
● X = {a, b, c, d}
● mögliche Darstellung:● c(a) = 00● c(b) = 01● c(c) = 10● c(d) = 11
0,5 0,25 0,125 0,125x a b c d
p(x)
● komprimierte Darstellung:● c(a) = 0● c(b) = 1● c(c) = -● c(d) = -
![Page 39: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/39.jpg)
- 39 -
4. Quellenkodierung
Verlustbehaftete Kompression
● X = {a, b, c, d}
● mögliche Darstellung:● c(a) = 00● c(b) = 01● c(c) = 10● c(d) = 11
L = 2, δ = 0
0,5 0,25 0,125 0,125x a b c d
p(x)
● komprimierte Darstellung:● c(a) = 0● c(b) = 1● c(c) = -● c(d) = -
L = 1, δ = 0,25
![Page 40: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/40.jpg)
- 40 -
4. Quellenkodierung
Verlustbehaftete Kompression
Quelle: www.oekostation.de/gfx/tipps/Coccinella.jpg
● Übertragung des Durchschnitts
● Bildpunkte:● 100%
![Page 41: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/41.jpg)
- 41 -
4. Quellenkodierung
Verlustbehaftete Kompression● Übertragung des
Durchschnitts● Bildpunkte:
● 100%● 1%
![Page 42: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/42.jpg)
- 42 -
4. Quellenkodierung
Verlustbehaftete Kompression● Übertragung des
Durchschnitts● Bildpunkte:
● 100%● 1%● 0,25%
![Page 43: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/43.jpg)
- 43 -
4. Quellenkodierung
Verlustbehaftete Kompression● Übertragung des
Durchschnitts● Bildpunkte:
● 100%● 1%● 0,25%● 0,11%
![Page 44: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/44.jpg)
- 44 -
4. Quellenkodierung
Verlustbehaftete Kompression● Übertragung des
Durchschnitts● Bildpunkte:
● 100%● 1%● 0,25%● 0,11%● 0,06%
![Page 45: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/45.jpg)
- 45 -
4. Quellenkodierung
Verlustbehaftete Kompression● Übertragung des
Durchschnitts● Bildpunkte:
● 100%● 1%● 0,25%● 0,11%● 0,06%● 0,04%
![Page 46: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/46.jpg)
- 46 -
4. Quellenkodierung
Verlustfreie Kompression● Daten weglassen, die...
● ... keine weiteren Informationen enthalten● ... redundant sind
● Daten originalgetreu wiederherstellbar
![Page 47: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/47.jpg)
- 47 -
4. Quellenkodierung
Verlustfreie Kompression● Ansatz: Kürzere Codewörter für häufige Zeichen
![Page 48: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/48.jpg)
- 48 -
4. Quellenkodierung
Verlustfreie Kompression● Ansatz: Kürzere Codewörter für häufige Zeichen
● X = {a, b, c, d}
● mögliche Darstellung:● c(a) = 00● c(b) = 01● c(c) = 10● c(d) = 11
0,5 0,25 0,125 0,125x a b c d
p(x)
![Page 49: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/49.jpg)
- 49 -
4. Quellenkodierung
Verlustfreie Kompression● Ansatz: Kürzere Codewörter für häufige Zeichen
● X = {a, b, c, d}
● mögliche Darstellung:● c(a) = 00● c(b) = 01● c(c) = 10● c(d) = 11
0,5 0,25 0,125 0,125x a b c d
p(x)● optimierte Darstellung:
● c(a) = 0● c(b) = 10● c(c) = 110● c(d) = 111
![Page 50: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/50.jpg)
- 50 -
4. Quellenkodierung
Verlustfreie Kompression● Ansatz: Kürzere Codewörter für häufige Zeichen
● X = {a, b, c, d}
● mögliche Darstellung:● c(a) = 00● c(b) = 01● c(c) = 10● c(d) = 11
L = 2, δ = 0
0,5 0,25 0,125 0,125x a b c d
p(x)● optimierte Darstellung:
● c(a) = 0● c(b) = 10● c(c) = 110● c(d) = 111
L = 1,75, δ = 0
![Page 51: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/51.jpg)
- 51 -
4. Quellenkodierung
Verlustfreie Kompression● Was ist die optimale Länge eines Codewortes?● Wann ist ein Code optimal?
![Page 52: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/52.jpg)
- 52 -
4. Quellenkodierung
Verlustfreie Kompression● Was ist die optimale Länge eines Codewortes?● Wann ist ein Code optimal?
● Shannons Source Coding Theorem:● H(X) ≤ L
![Page 53: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/53.jpg)
- 53 -
4. Quellenkodierung
Verlustfreie Kompression● Was ist die optimale Länge eines Codewortes?● Wann ist ein Code optimal?
● Shannons Source Coding Theorem:● H(X) ≤ L < H(X) + 1
![Page 54: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/54.jpg)
- 54 -
4. Quellenkodierung
Huffman Code
0,5 0,25 0,125 0,125x a b c d
p(x)
![Page 55: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/55.jpg)
- 55 -
4. Quellenkodierung
Huffman Code
dc
0,1250,125
0,25
0,5 0,25 0,125 0,125x a b c d
p(x)
![Page 56: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/56.jpg)
- 56 -
4. Quellenkodierung
dc
b
0,250,25
0,5
0,5 0,25 0,125 0,125x a b c d
p(x)
Huffman Code
![Page 57: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/57.jpg)
- 57 -
4. Quellenkodierung
dc
a
b
0,50,5
10,5 0,25 0,125 0,125
x a b c dp(x)
Huffman Code
![Page 58: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/58.jpg)
- 58 -
4. Quellenkodierung
dc
a
b 10
10
10
0,5 0,25 0,125 0,125x a b c d
p(x)
Huffman Code
![Page 59: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/59.jpg)
- 59 -
4. Quellenkodierung
dc
a
b 10
10
10
0,5 0,25 0,125 0,125x a b c d
p(x)
● Kodierung:● c(a) = 0● c(b) = 10● c(c) = 110● c(d) = 111
Huffman Code
![Page 60: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/60.jpg)
- 60 -
4. Quellenkodierung
Zusammenfassung
● verlustbehaftete Kompression
● Irrelevanzreduktion
● δ > 0
● verlustfreie Kompression
● Redundanzreduktion
● H(X) ≤ L < H(X) + 1dc
a
b 10
10
10
![Page 61: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/61.jpg)
- 61 -
5. Kanalkodierung
Informationsübertragung
Informationsquelle
Quellenkodierung
Kanalkodierung
Informationsziel
Quellendekodierung
Kanaldekodierung
Kanal
Störung
Informationsquelle Informationsziel
Kanalkodierung Kanaldekodierung
Störung
Kanal
![Page 62: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/62.jpg)
- 62 -
5. Kanalkodierung
Fehlerhafte Übertragung● Fehler entstehen durch das Kippen von Bits:
● Beispiele:● verrauschte Radiosignale● Genmutationen der DNA● ungenaues Abtasten von CDs
1 11 1
0 0f
(1 - f)
(1 - f)Quelle: MacKay 2003
![Page 63: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/63.jpg)
- 63 -
5. Kanalkodierung
Lösungsansätze● physikalische Verbesserungen
● besseres Leitermaterial● höherer Energieaufwand
● fehlerkorrigierende Codes● Repetition Codes● Hamming Codes
![Page 64: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/64.jpg)
- 64 -
5. Kanalkodierung
Repetition Codes● Kodierung
● Mehrfachübertragungen● a b c ---> 0 10 110 ---> 000 111 000 111 111 000
![Page 65: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/65.jpg)
- 65 -
5. Kanalkodierung
Repetition Codes● Kodierung
● Mehrfachübertragungen● a b c ---> 0 10 110 ---> 000 111 000 111 111 000
● Rauschen● 000 111 000 111 111 000 ---> 001 111 000 011 111 010
![Page 66: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/66.jpg)
- 66 -
5. Kanalkodierung
Repetition Codes● Kodierung
● Mehrfachübertragungen● a b c ---> 0 10 110 ---> 000 111 000 111 111 000
● Rauschen● 000 111 000 111 111 000 ---> 001 111 000 011 111 010
● Dekodierung● Mehrheitsentscheidung● 001 111 000 011 111 010 ---> 0 10 110 ---> a b c
![Page 67: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/67.jpg)
- 67 -
5. Kanalkodierung
Repetition Codes
Quelle: MacKay 2003
![Page 68: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/68.jpg)
- 68 -
5. Kanalkodierung
Hamming Codes● Kodierung
● a c ---> 0 110
10 1
0
![Page 69: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/69.jpg)
- 69 -
5. Kanalkodierung
Hamming Codes● Kodierung
● a c ---> 0 110 ---> 0 110 001● Paritätsbits einfügen
10 1
0
0
01
![Page 70: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/70.jpg)
- 70 -
5. Kanalkodierung
Hamming Codes● Kodierung
● a c ---> 0 110 ---> 0 110 001● Paritätsbits einfügen
● Rauschen● 0 110 001 ---> 0 010 001
10 0
0
0
01
![Page 71: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/71.jpg)
- 71 -
5. Kanalkodierung
Hamming Codes● Kodierung
● a c ---> 0 110 ---> 0 110 001● Paritätsbits einfügen
● Rauschen● 0 110 001 ---> 0 010 001
● Dekodierung● Paritätsbits auswerten● 0 010 001 ---> 0 110 ---> a c
10 0
0
0
01
![Page 72: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/72.jpg)
- 72 -
5. Kanalkodierung
Hamming Codes● empfangener Code:
1110000● gesandte Nachricht: ?
11 1
0
0
00
![Page 73: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/73.jpg)
- 73 -
5. Kanalkodierung
Hamming Codes● empfangener Code:
1110000● gesandte Nachricht:
111 0 000 ---> 111 0 ---> d a 1
1 1
0
0
00
![Page 74: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/74.jpg)
- 74 -
5. Kanalkodierung
Hamming Codes
Quelle: MacKay 2003
![Page 75: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/75.jpg)
- 75 -
5. Kanalkodierung
Rate●
● Repetition Code R3
●
● Hamming Code (7,4)
●
Rate =Informationsbitsgesandte Bits
Rate = 13≈0,33
Rate = 47≈0,57
![Page 76: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/76.jpg)
- 76 -
5. Kanalkodierung
Rate und Fehlerwahrscheinlichkeit
![Page 77: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/77.jpg)
- 77 -
5. Kanalkodierung
Rate und Fehlerwahrscheinlichkeit
![Page 78: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/78.jpg)
- 78 -
5. Kanalkodierung
Noisy-Channel Coding Theorem
„Information can be communicated over a noisy channel at a non-zero rate with arbitrarily small error probability.“
MacKay (2003)
![Page 79: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/79.jpg)
- 79 -
5. Kanalkodierung
Noisy-Channel Coding Theorem
![Page 80: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/80.jpg)
- 80 -
5. Kanalkodierung
Noisy-Channel Coding Theorem
![Page 81: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/81.jpg)
- 81 -
5. Kanalkodierung
Noisy-Channel Coding Theorem● Kapazität C
● maximale Übertragungsrate bei beliebig kleinem Fehler● C > 0● existiert für jeden Kanal
![Page 82: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/82.jpg)
- 82 -
5. Kanalkodierung
Noisy-Channel Coding Theorem● Beispiel:
Festplatte mit f = 0,1
gewünschte Fehlerwahrscheinlichkeit pb = 10-15
![Page 83: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/83.jpg)
- 83 -
5. Kanalkodierung
Noisy-Channel Coding Theorem● Beispiel:
Festplatte mit f = 0,1
gewünschte Fehlerwahrscheinlichkeit pb = 10-15
● mit Repetition Code:
Quelle: http://www.aletoware.de/
![Page 84: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/84.jpg)
- 84 -
5. Kanalkodierung
Noisy-Channel Coding Theorem● Beispiel:
Festplatte mit f = 0,1
gewünschte Fehlerwahrscheinlichkeit pb = 10-15
● mit Repetition Code:● Kapazität C ≈ 0,53● theoretisch möglich:
Quelle: http://www.aletoware.de/
![Page 85: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/85.jpg)
- 85 -
Zusammenfassung
● Kanäle sind verrauscht
● Fehlerkorrigierende Codes
● Repetition Codes
● Hamming Codes
● Noisy-Channel Coding Theorem
● Kapazität C
5. Kanalkodierung
10 0
0
0
01
![Page 86: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/86.jpg)
- 86 -
6. Zusammenfassung
Informationsübertragung
Informationsquelle
Quellenkodierung
Kanalkodierung
Informationsziel
Quellendekodierung
Kanaldekodierung
Kanal
Störung
Informationsquelle Informationsziel
![Page 87: Grundlagen der Informationstheoriehomepages.herts.ac.uk/~comqdp1/Studienstiftung_Olang_2008/20080909_02... · Shannon & Weaver (1949) - 9 - 3. Information PRÜFUNG BESTANDEN TNGDR](https://reader033.vdocuments.net/reader033/viewer/2022041502/5e2279ca05a15e6bb33bd22e/html5/thumbnails/87.jpg)
- 87 -
Grundlagen derInformationstheorie
Hanna Rademaker und Fynn Feldpausch