theoretische grundlagen der informationstechnik - lehrstuhl · inhalt | dt/ipl | tgit|0.0.1 1...
TRANSCRIPT
![Page 1: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/1.jpg)
Vorlesung
Theoretische Grundlagen derInformationstechnik
Prof. Dr.-Ing. Jürgen Götze
Arbeitsgebiet DatentechnikTechnische Universität Dortmund
http://www.dt.e-technik.tu-dortmund.de
![Page 2: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/2.jpg)
Organisatorisches| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.1
Vorlesung: Mo 14:15 - 15:45 ET A 3.21 GötzeDi 14:15 - 15:45 SRG 2.009 Götzelsf: 080314
Übung: Mo 16:15 - 17:45 P1-04-207 Abdallatiflsf: 080315
Adresse: Prof. Dr.-Ing. Jürgen GötzeEmail: [email protected]: P1-04-214, Tel.: 0231 755-2091
M. Sc. Mohammed AbdallatifEmail: [email protected]: P1-04-216, Tel.: 0231 755-2862
Webseite: http://www.dt.e-technik.tu-dortmund.de/lehrePrüfung: Klausur (3 Stunden)
Vorleistungen: 2 von 4 Pflichtübungen, Praktikumsversuch(lsf: Versuch 207)
![Page 3: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/3.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.1
1 Einführung
2 Signale und SystemeZeit-diskrete und digitale SignaleZeit-diskrete SystemeAlgebraische Beschreibung zeit-diskreter SystemeSignale und Signalräume
3 Lineare Transformationen von SignalenLineare TransformationenDiskrete SignaltransformationenFaltung als lineare Matrixtransformation
4 Lineare Gleichungssysteme und AnwendungenMatrixzerlegungenLineare GleichungssystemeAnwendungen
![Page 4: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/4.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.1
5 Prinzipielle Komponenten Analyse und AnwendungenFundamentale Unterräume einer MatrixPrinzipielle Komponenten einer MatrixParameterschätzung basierend auf SWZ/EWZSystemidentifikation und Zustandsraummodell
6 Wahrscheinlichkeit, Zufallsvariablen und stochastische ProzesseWahrscheinlichkeitsrechnungZufallsvariableZufallsvektorenStochastische Prozesse
7 Informationstheorie und CodierungGrundlagen der InformationstheorieQuellencodierungKanalkapazität und KanalcodierungstheoremGrundlagen des Rechnens auf endlichen KörpernErzeugung von KanalcodesHamming CodesBCH CodesRS Codes
![Page 5: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/5.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.1
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
![Page 6: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/6.jpg)
Literatur| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.2
1 G. Strang, Linear Algebra and Its Applications, Academic Press, 3rd edition, 1989.
2 A. Hoffmann, B. Marx, W. Vogt, Mathematik für Ingenieure 1, Pearson Studium, 2005.
3 G.H. Golub, C.F. van Loan, Matrix Computations, The John Hopkins University Press, 3rdedition, 1996.
4 A.V. Oppenheim, R.W. Schafer, J.G. Buck, Zeitdiskrete Signalverarbeitung, PearsonStudium, 2004.
5 J.G. Proakis, D.G. Manolakis, Digital Signal Processing: Principles, Algorithms andApplications, Macmillan, 2nd edition, 1992.
6 E. Hänsler, Statistische Signale - Grundlagen und Anwendungen, Springer, 2. Auflage,1997.
7 A. Papoulis, Probability , Random Variables, and Stochastic Processes, McGraw Hill, 4thedition, 2001.
8 J.G. Proakis, M. Salehi Grundlagen der Kommunikationstechnik, Pearson Studium, 2.Auflage 2004.
9 K.D. Kammeyer, Nachrichtenübertragung, B.G. Teubner, 3. Auflage, 2004.
10 H. Rohling, Einführung in die Informations- und Codierungstheorie, Teubner 1995.
11 T.M. Cover, J.A. Thomas: Elements of Information Theory. Wiley 1991.
12 D.J.C. MacKay: Information Theory, Inference and Learning Algorithms. CambridgeUniversity Press 2007.
13 M. Bossert, Kanalcodierung, B.G. Teubner, 2nd edition, 1998.
![Page 7: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/7.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 1.0.0
1 Einführung
2 Signale und SystemeZeit-diskrete und digitale SignaleZeit-diskrete SystemeAlgebraische Beschreibung zeit-diskreter SystemeSignale und Signalräume
3 Lineare Transformationen von SignalenLineare TransformationenDiskrete SignaltransformationenFaltung als lineare Matrixtransformation
4 Lineare Gleichungssysteme und AnwendungenMatrixzerlegungenLineare GleichungssystemeAnwendungen
![Page 8: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/8.jpg)
Informationstechnische Systeme und Anwendungen| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.1
![Page 9: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/9.jpg)
Informationstechnische Komponenten| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.2
![Page 10: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/10.jpg)
Architekturen, Methoden/Algorithmen| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.3
Mikro-prozessor
Digitaler Signal-Prozessor (DSP)
Field ProgrammableGate Array (FPGA)
Application SpecificIntegrated Circuit (ASIC)
SignaltransformationFilterung
Detektion,Schlätzung
Entzerrung,Identifikation
Kodierung,Dekodierung
Signal- und Informations-Verarbeitung
Eingangssignale Ausgangssignale
Architekturen (zum Aufbau der Komponenten)
Methoden/Algorithmen
![Page 11: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/11.jpg)
Blockschaltbild eines Übertragungssystems| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.4
Signal i q k d
Signal i q k d
analogQuellen- Kanal- Signal-
Modu-
digital
analog
digital
kodierung kodierung transformation
Quellende- Kanalde-kodierung kodierung
Detektion/Schätzung/
lation
Kanal
Demodu-
lation
Entzerrung
InverseSignal-
transformation
• Handy→ Funkkanal→ Handy (gezeigtes Beispiel)
• WLAN-Router→ Funkkanal→ Laptop
• Server→ Kabel (Ethernet)→ Rechner
• Bluray Disc→ Laser→ Bildschirm
![Page 12: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/12.jpg)
Signale & Systeme| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.5
Signale: Sprache, Bilder, Daten (Text, Bitfolge)Systeme: Operation wird auf Signal angewendet;
1) Schalter, Rechnerprogramm, Prozessor, Filter,2) Leitung, Mobilfunkkanal, Motor, chemischer Prozess
Eingangs-
signalSystem
Ausgangs-
signal
y[t]x[t]
x(n) y(n){..i..} {..k..}
Modellbildung: Die betrachteten physikalischen Systemen (gemäßPunkt 2)) werden häufig durch Modelle beschrieben. Diese werden für denEntwurf der Methoden/Algorithmen (gemäß Punkt 1)) verwendet. DieseModelle sind auch erforderlich, um eine Simulation des realen Systemsdurchzuführen.
![Page 13: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/13.jpg)
Klassifikation von Signalen und Systemen| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.6
Klassifikation von Signalen:• deterministisches Signal x[t] = Ae−αt sin(ωt− φ)
• stochastisches Signal: Geräusche, Sprache
• mehrkanaliges Signal: EKG von Baby, Sensorfelder (Antennen)
• mehrdimensionales Signal: Bild
Klassifikation von Systemen bezüglich:• Linearität, Kausalität, Zeitvarianz, . . .
• Hardware, Software, physikalisches System, . . .
![Page 14: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/14.jpg)
Beispiele für Signale| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.7
0 50 100 150 200
−1
−0.8
−0.6
−0.4
−0.2
0
0.2
0.4
0.6
0.8
1
Zeit in µsec
Be
tra
g
Deterministisches Signal
0.48 0.49 0.5 0.51 0.52 0.53 0.54
−0.1
0
0.1
Time in seconds
Am
plit
ud
e
Stochastisches Signal: Train Whistle
M
0 2 4 6 8 10 12 14−50
0
50EKG: Sensor 2
Am
plit
ude
0 2 4 6 8 10 12 14−50
0
50EKG: Sensor 5
Am
plit
ude
0 2 4 6 8 10 12 14−500
0
500
1000EKG: Sensor 9
Am
plit
ude
Time
Bild: 480x500 Bildpunkte
50 100 150 200 250 300 350 400 450 500
50
100
150
200
250
300
350
400
450
![Page 15: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/15.jpg)
Theoretische Informationstechnik| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.8
Informationstechnik: Umsetzung von Methoden und Verfahren der
Nachrichtentechnik (z. B. Übertragungstechnik, Mobilfunk),
Signalverarbeitung (z. B. Filterung, Signaltransformation, Detektion),
Informationstheorie (z. B. Codierung, Kryptographie), Robotik (z. B.
Systemidentifikation, Modellierung), usw. in technische Systeme
(DVD-Spieler, Handy, Festplatte, eingebettetes System, . . .) bzw. in die zur
Realisierung dieser Systeme erforderlichen elektronischen Komponenten
(Mikroprozessor, Signalprozessor,Integrierte Schaltungen, Speicher, . . .).
Theoretische Informationstechnik:Mathematische Darstellung der
theoretischen Grundlagen der Informationstechnik und der Grundlagen
der Informationstheorie, so dass Anwendungen in den verschiedenen oben
genannten Gebieten allgemein beschrieben werden können und
Zusammenhänge der verschiedenen Problemstellungen aufgezeigt werden
können.
![Page 16: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/16.jpg)
Vorhaben und Ziele der Vorlesung I| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.9
Vorhaben: Definition von Grundbegriffen der Informationstechnik undInformationstheorie. Signale und Systeme der IT werden durchmathematische Konstrukte (z. B. Vektoren/Matrizen) beschrieben.Algebraische und geometrische Methoden dienen zur Herleitung vonLösungsverfahren für verschiedene Problemstellungen und zur Darstellungvon Zusammenhängen. Grundlagen der Statistik dienen zur Analyse undzur informationstheoretischen Beschreibung der Signale und Systeme.
• Wie lassen sich Signale und Systeme durch algebraische Strukturen(z.B. Mengen, Vektoren, Matrizen) beschreiben? Wie lässt sich derInformationsgehalt und die Übertragung von Informationmathematisch beschreiben? M
• Was sagen Beschreibungsgrößen der algebraischen Strukturen (z. B.φ(v1, v2): Winkel zwischen zwei Vektoren, λ(A): Eigenwerte der Matrix)und der Statistik (Varianz, Korrelation) über die Signale und Systemeder Informationstechnik?• Welche Problemstellungen der obigen Anwendungsgebiete könnendamit gelöst werden?
![Page 17: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/17.jpg)
Vorhaben und Ziele der Vorlesung II| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.10
Ziel ist zu zeigen,• wie reichhaltig mathematische(algebraische/geometrische/statistische) Beschreibungen in derInformationstechnik vertreten sind• wie sie das Verständnis (für Zusammenhänge) fördern
Signale und Systeme
deterministische stochastischeSignale & Systeme
Signale & lineare Systeme
Signale & Systeme Datenmatrizen Korrelationsmatrizen
Algebra und Transformationen
Lineare Algebra & lineare Transformationen
Codierung
Block Codes Faltungscodes
Informationstheorie
Anwendungsgebiete
Technische InformatikNachrichtentechnik, Signalvarbeitung,
Filterung, Entzerrung, Detektion,Schätzung, Identifikation, Codierung
Vorlesung
Nichts ist praktischer als eine gute Theorie.
- Ludwig Boltzmann
![Page 18: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/18.jpg)
Kapitelübersicht| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.11
Kap. 1 Einführung (dieses Kapitel)
Kap. 2 Signale und Systeme
Kap. 3 Lineare Transformationen von Signalen und Systemen
Kap. 4 Lineare Gleichungssysteme und Anwendungen
Kap. 5 Prinzipielle Komponenten Analyse und Anwendungen
Kap. 6 Wahrscheinlichkeit, Zufallsvariablen und stochastischeProzesse
Kap. 7 Informationstheorie und Codierung
![Page 19: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/19.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 2.0.0
1 Einführung
2 Signale und SystemeZeit-diskrete und digitale SignaleZeit-diskrete SystemeAlgebraische Beschreibung zeit-diskreter SystemeSignale und Signalräume
3 Lineare Transformationen von SignalenLineare TransformationenDiskrete SignaltransformationenFaltung als lineare Matrixtransformation
4 Lineare Gleichungssysteme und AnwendungenMatrixzerlegungenLineare GleichungssystemeAnwendungen
![Page 20: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/20.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.0
2.1 Zeit-diskrete und digitale Signale
![Page 21: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/21.jpg)
Analoges Signal| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.1
x[t] = Ae−αt sin( 2πT t− φ)
z. B. : A = 1.6, α = 0.0005, T = 50 µs, f = 20 kHz, φ = 0.1
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Be
tra
g
Frage: Wie wird das Zeit- und Werte-kontinuierliche (analoge) Signal ineinem Rechner abgespeichert?
![Page 22: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/22.jpg)
Diskretisierung der Zeit| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.2
Werte des kontinuierlichen Signals bei t = n · ∆t (n ∈ Z)
→ x(n∆t) = Ae−α·n·∆t sin(2π
Tn · ∆t− φ)
∆t ||| Normierung
x(n) = Ae−(α·∆t)·n sin(2π∆t
Tn− φ)
Zeit-diskretes Signal x(n) = Zahlensequenz:
x(n) = {..., x(n− 1), x(n), x(n + 1), ...}Zur exakten Darstellung des zeit-diskreten, werte-kontinuierlichenSignals x(n) ist im Allgemeinen eine Wortlänge w→ ∞ (unendlich vieleBits) für jeden Abtastwert x(n) erforderlich.
![Page 23: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/23.jpg)
Diskretisierung der Amplitudenwerte| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.3
Quantisierung:
xq(n) = Q[x(n)] ,
wobei Q[ · ] die Quantisierung beschreibt (durch Wortlänge w begrenzt).Hier z. B. für w=4 (mit Vorzeichen):
VZ 22 21 20
± 0 0 0 0.0± 0 0 1 0.2± 0 1 0 0.4± 0 1 1 0.6± 1 0 0 0.8± 1 0 1 1.0± 1 1 0 1.2± 1 1 1 1.4 −1.5 −1 −0.5 0 0.5 1 1.5
−1.5
−1
−0.5
0
0.5
1
1.5Quantisierungskennlinie
Eingang
Au
sg
an
g
VZ:+→ 0;− → 1;
Zeit- und werte-diskretes Signal = Digitales Signal
![Page 24: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/24.jpg)
Quantisierung| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.4
∆ =xmax − xmin
L︸︷︷︸Anzahl der Quantisierungsstufen
=1.5− (−1.5)
15=
315
= 0.2
A/D Wandler w= 11 bit⇒ L = 2w − 1 = 2047⇒ ∆ = 3
2047 ≈ 0.0015
Anmerkung:• Quantisierung werden wir in den folgenden Kapiteln 3-5vernachlässigen. Annahme: Wortlänge genügend groß, umQuantisierungseffekte zu vernachlässigen (z.B. MatlabGleitpunktdarstellung ε = 2.2204 · 10−16). In der Praxis istQuantisierung/Wortlänge aber ein wichtiges Problem: Kosten,Auflösung der A/D Wandler.• Quantisierung/Binärdarstellung der Amplitudenwerte wird in denKapiteln 6 und 7 berücksichtigt (z.B. wie oft tritt der Wert−0.2 auf).
M
![Page 25: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/25.jpg)
Beispiel ∆t = 10µsec: Graphische Darstellung| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.5
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Be
tra
g
Kontinuierliches Signal und Abtastwerte
(1)
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Be
tra
g
Halten der Abtastwerte (sample & hold)
(2)
0 2 4 6 8 10 12 14 16 18 20−1.5
−1
−0.5
0
0.5
1
1.5
n (entspricht Zeitpunkt n∆t)
Betr
ag
Digitales Signal
(4)
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Be
tra
g
Halten der Abtastwerte (sample & hold)
(3) Quantisierung
Digitales Signal: x(n) = {−0.2,+1.4,+1.0,−0.6,−1.4,−0.2, · · · }x(n) = {1001, 0111, 0101, 1011, 1111, 1001, · · · }
![Page 26: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/26.jpg)
Zeit-diskrete Abtastwerte = Zahlensequenz| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.6
Annahme: endlich viele Abtastwerte eines zeit-diskreten Signals: x(n):n = 0, 1, . . . , N (Quantisierung vernachlässigt, Zeitbezug implizit durch ∆t,Fehler bei Rekonstruktion vernachlässigt).
0 2 4 6 8 10 12 14 16 18 20−1.5
−1
−0.5
0
0.5
1
1.5
n
Betr
ag
(1)
Kontinuierliches Signal und Abtastwerte
x(n) = {−0.1000 . . . , 1.3121 . . . , 1.0969 . . . ,−0.5424 . . . ,−1.3114 . . . ,−0.2802 . . . , · · · }x = [−0.1000 . . . , 1.3121 . . . , 1.0969 . . . ,−0.5424 . . . ,−1.3114 . . . ,−0.2802 . . . , · · · ]T
![Page 27: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/27.jpg)
Zeit- und werte-diskrete Abtastwerte| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.7
Zeit- und werte-diskrete Abtastwerte = diskrete Zahlensequenz
0 2 4 6 8 10 12 14 16 18 20−1.5
−1
−0.5
0
0.5
1
1.5
n (entspricht Zeitpunkt n∆t)
Betr
ag
Digitales Signal
(4)
p = 121
102230006221101
p ∈NL
0 beschreibt relative Häufigkeit der quantisierten Amplitudenwerte.
![Page 28: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/28.jpg)
Datenvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.8
Vektor: x =
x(1)x(2)...
x(n)...
x(N)
x(n) ∈ F⇒ x ∈ FN
Transponierter Vektor:
Für x ∈ RN; xT = [x(1) x(2) . . . x(N)]Für x ∈ CN; xH = (x∗)T konjugiert transponiert
Beispiele: Sprachsignal (F = R), Antennensignal (F = C)Abtastwerte bilden Vektorkomponenten
![Page 29: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/29.jpg)
Datenmatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.9
X = [xij] =
x1(1) x2(1) . . . xM(1)x1(2) x2(2) . . . xM(2)x1(3) x2(3) . . . xM(3)...
.... . .
...x1(N) x2(N) . . . xM(N)
= [x1 x2 . . . xM] =
xT(1)xT(2)xT(3)...
xT(N)
xij = xj(n) X ∈ FN×M
Beispiele:
Bilder: Pixelwerte bilden Matrixelemente xij (F = R).Sensorfelder: Abtastwerte xj(n) der M Sensoren bilden die
M Spalten der Matrix (F = C bei Antennenfeldern).
![Page 30: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/30.jpg)
Abtasttheorem| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.10
Gegeben: Die höchste Frequenz, die in einem analogen Signal x[t]vorhanden ist, sei fmax. Die Abtastwerte des zeit-diskreten Signals seienx(n) ≡ x(n ∆t), wobei ∆t := Abtastintervall.
Theorem:
a) Falls ∆t = 1fA
< 12fmax
gilt, lässt sich das kontinuierliche Signal x[t] exaktaus den Abtastwerten x(n) rekonstruieren (fA = 2fmax: Nyquistrate).
b) Mit
g[t] =sin(πfAt)
πfAt
gilt
x[t] =+∞
∑n=−∞
x(n)g[t− n ∆t]
Anmerkung:
Abtasttheorem gilt nur für exakte Abtastwerte (d.h. keine Quantisierung).M
![Page 31: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/31.jpg)
Beispiel (1): Rekonstruktion aus Abtastwerten| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.11
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
g(t−n∆t) fuer vier Abtastwerte
Be
tra
g
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Urspruengliches und rekonstruiertes Signal (ohne Quantisierung)
Be
tra
g
Anmerkung: keine Fensterung (≈ unendlich viele Abtastwerte), d.h. hierwird nur der Ausschnitt für die ersten 21 Abtastwerte gezeigt.
![Page 32: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/32.jpg)
Beispiel (2): Rekonstruktion aus Abtastwerten (quantisiert)| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.12
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Urspruengliches und rekonstruiertes Signal (Quantisierung 0.1)
Be
tra
g
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Urspruengliches und rekonstruiertes Signal (Quantisierung 0.2)
Be
tra
g
![Page 33: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/33.jpg)
Definition: Impuls| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.13
Impulsfunktion δ[t]:
δ[t] =
{1 für t = 00 für t 6= 0
Zeit-diskreter Impuls δ(n):
δ(n) =
{1 für n = 00 für n 6= 0
δ(n) = {. . . , 0, . . . , 0, 1, 0↑
n=0
, . . . , 0, . . . }
−10 −5 0 5 10
0
0.2
0.4
0.6
0.8
1
t
δ(t
)
−10 −5 0 5 10
0
0.2
0.4
0.6
0.8
1
n
δ(n
)
Anmerkung: Abtasttheorem nicht erfüllt (Definition)
![Page 34: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/34.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.0
2.2 Zeit-diskrete Systeme
![Page 35: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/35.jpg)
Beschreibung zeit-diskreter Systeme| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.1
Ein-/Ausgangsbeschreibung:
y(n) = H[x(n)
] Eingangs-signal
Ausgangs-signal
SystemH
x(n) y(n)
Transformation von Eingangssequenz x(n) durch ein System H (vgl. Folie1.1.5), so dass eine Ausgangssequenz y(n) entsteht. Für ein n ∈ Z gilt:
y(n) = H[xT(n)
]= f(n, {x(n− k); k ∈ Z}
); xT(n) ⊆ x(n)
• H kann auch teilweise kontinuierliches System sein (z.B. Kanal), wobeieine diskrete E/A-Beschreibung erfolgt.• H ist selbst zeit-diskret: z.B. Algorithmus
y(n) = H[xT(n)
]= x(n− 3) + x(n); xT(n) = {x(n− 3), x(n)} ⊆ x(n)
![Page 36: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/36.jpg)
Klassifikation von zeit-diskreten Systemen| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.2
Klassifikationen:
• K1: Kausal/Nichtkausal• K2: Statisch/Dynamisch• K3: Zeitvariant/Zeitinvariant• K4: Linear/Nichtlinear
Zeitverschiebung:
Die Verschiebung eines Signals (Sequenz) x(n) um k ∈ Z Zeitschrittesei x(n− k).Entsprechend gilt:xT(n) = {x(n− 3), x(n)} ⇒ xT(n− k) = {x(n− 3− k), x(n− k)}
![Page 37: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/37.jpg)
K1: Kausal/ Nichtkausal| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.3
Ein System ist kausal, wenn
y(n) = H[xT(n)
]= f (n, x(n), x(n− 1), x(n− 2), . . . ) ∀ n
für eine beliebige Funktion f ( · ) gilt, d.h. die Ausgabe des Systems hängtnur von momentanen und vergangenen Eingangswerten ab, aber nicht vonden zukünftigen Eingangswerten (x(n + 1), x(n + 2), . . . ) Beispiel:
y(n) = x(n)− x(n− 1) kausaly(n) = x(n)− x(n + 1) nicht kausal
Anmerkung: Im Folgenden werden nur kausale Systeme betrachtet.
![Page 38: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/38.jpg)
K2: Statisch/ Dynamisch↔ Gedächtnis-behaftet| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.4
y(n) = H[xT(n)
]= f (n, x(n), x(n− 1), . . . , x(n− K)) ∀ n
H statisch: K = 0 ; y(n) = f (n, x(n))
H dynamisch: 0 < K < ∞ endliches GedächtnisK = ∞ unendliches Gedächtnis
Beispiel:y(n) = a · x(n) (K = 0)y(n) = x(n) + 3x(n− 1) (K = 1)
y(n) =∞
∑k=0
x(n− k) = x(n) + x(n− 1) + . . . (K = ∞)
![Page 39: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/39.jpg)
K3: Zeitvarianz/ Zeitinvarianz| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.5
Gegeben sei das System H : y(n) = H[x(n)
]. Für ein k ∈ Z sei
yk(n) = H[x(n− k)
]Das System H ist zeit-invariant (schiebe-invariant) genau dann, wenn
yk(n) = y(n− k) ∀ n, k
Z
SystemH
SystemH
x(n− k)x(n)
x(n) y(n) y(n− k)
yk(n)Tk
Verzögerung umk ZeitschritteTk
Tk
![Page 40: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/40.jpg)
K3: Zeitvarianz: Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.6
b = 140 : y(n) = H
[xT(n)
]= b · n · x(n)
y(n− k)yk(n) = H
[xT(n− k)
] = b · (n− k) · x(n− k)= b · n · x(n− k)
}≡ ZV
0 50 100 150
−1
−0.5
0
0.5
1
x(n
)
0 50 100 150−2
−1
0
1
2
y(n
)
0 50 100 150
−1
−0.5
0
0.5
1
x(n
+4
0)
0 50 100 150−2
−1
0
1
2
y(n
,40
)
0 50 100 150−2
−1
0
1
2
y(n
+4
0)
![Page 41: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/41.jpg)
K3: Zeitinvarianz: Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.7
y(n) = H[xT(n)
]= x(n)− x(n− 1)
y(n− k)yk(n) = H
[xT(n− k)
] = x(n− k)− x(n− k− 1)= x(n− k)− x(n− k− 1)
}≡ ZIV
0 50 100 150
−1
−0.5
0
0.5
1
x(n
)
0 50 100 150
−1
−0.5
0
0.5
1
y(n
)
0 50 100 150
−1
−0.5
0
0.5
1
x(n
+4
0)
0 50 100 150
−1
−0.5
0
0.5
1
y(n
,40
)
0 50 100 150−1
−0.5
0
0.5
1
y(n
+4
0)
![Page 42: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/42.jpg)
K4: Linear/ Nichtlinear| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.8
Das System H : y(n) = H[x(n)
]ist linear genau dann, wenn
H[a1 x1(n) + a2 x2(n)
]= a1H
[x1(n)
]+ a2H
[x2(n)
]∀ x1(n), x2(n), a1, a2
System
H
System
H
System
H
x2(n)
a2
x1(n)
x2(n) y2(n)
y(n)
a2
a1a1
x1(n) y1(n)
y(n)
Allgemein:
H
[∑
iai xi(n)
]= ∑
iaiH [xi(n)] ∀ xi(n), ai
![Page 43: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/43.jpg)
K4: Linear/ Nichtlinear: Beispiele| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.9
(1) linear: y(n) = n · x(n)H[a1 x1(n) + a2 x2(n)
]= n(a1 x1(n) + a2 x2(n))= n a1 x1(n) + n a2 x2(n)
a1H[x1(n)
]+ a2H
[x2(n)
]= a1 n x1(n) + a2 n x2(n))= n a1 x1(n) + n a2 x2(n)
(2) nichtlinear: y(n) = x2(n)H[a1 x1(n) + a2 x2(n)
]= (a1 x1(n) + a2 x2(n))2
= a21 x2
1(n) + a22 x2
2(n) + 2 a1 a2 x1(n) x2(n)a1H
[x1(n)
]+ a2H
[x2(n)
]= a1 x2
1(n) + a2 x22(n)
(3) linear: y(n) = x(n)− x(n− 1)H[a1 x1(n) + a2 x2(n)
]= a1 x1(n) + a2 x2(n)− a1 x1(n− 1)− a2 x2(n− 1)
a1H[x1(n)
]+ a2H
[x2(n)
]= a1 x1(n)− a1 x1(n− 1) + a2 x2(n)− a2 x2(n− 1)= a1 x1(n) + a2 x2(n)− a1 x1(n− 1)− a2 x2(n− 1)⇒ 3) ist lineares zeit-invariantes (LZI) System
![Page 44: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/44.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.0
2.3 Algebraische Beschreibung zeit-diskreterSysteme
![Page 45: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/45.jpg)
Auflösung eines zeit-diskreten Signals in Impulse| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.1
Mit δ(n) ={
1 n = 00 n 6= 0
lässt sich jedes zeit-diskrete Signalfolgendermaßen darstellen:
x(n) =∞
∑k=−∞
x(k)δ(n− k)
Beispiel: Äquivalente Beschreibungen eines zeit-diskreten Signals
n −1 0 1 2x(n) 2.2 4.1 0.3 3.1
t = n · ∆tx[n · ∆t]
xT = [2.2 4.1↑
n=0
0.3 3.1]
x(n) = 2.2 · δ(n + 1) + 4.1 · δ(n) + 0.3 · δ(n− 1) + 3.1 · δ(n− 2)= {. . . , 0, . . . , 0, 2.2, 4.1
↑n=0
, 0.3, 3.1, 0 . . . , 0, . . . }
![Page 46: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/46.jpg)
Definition: Impulsantwort| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.2
Bestimmung der Antwort eines linearen Systems H auf Impulse amEingang.
• Die Impulsantwort hk(n) des Systems H auf den Eingangsimpuls bein = k (d.h. x(n) = δ(n− k)) sei
y(n) = H[δ(n− k)
]≡ hk(n) −∞ < k < +∞
• Impulsantwort auf skalierten Impuls c · δ(n− k)
y(n) = H[c · δ(n− k)
]= c · hk(n)
![Page 47: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/47.jpg)
Impulsantwort einer Mehrwegausbreitung| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.3
Beispiel: Betrachtetes System sei eine Funkübertragung:
a1, τ1
a1a2, τ2
nn
k + n1 k + n2
a2
δ(n− k)
k
x(n) hk(n)
1.Echo-Pfad
Sender Direkter Weg
Direkter Weg: a1, τ1 = n1∆tEcho Pfad: a2, τ2 = n2∆t
![Page 48: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/48.jpg)
Lineare Faltung| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.4
Bestimmung der Antwort y eines linearen Systems H auf Eingangssignal x.
• Mit x(n) =+∞
∑k=−∞
x(k)δ(n− k) gilt
y(n) = H[x(n)
]= H
[ +∞
∑k=−∞
x(k)δ(n− k)]
(Linearität)=
+∞
∑k=−∞
x(k)H[δ(n− k)
]=
+∞
∑k=−∞
x(k)hk(n) (1)
Lineare Faltung: y(n) =+∞
∑k=−∞
x(k)hk(n) = x(n) ∗ hk(n) (2)
![Page 49: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/49.jpg)
Faltung bei LZI Systemen| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.5
LZI-System: hk(n) = H[δ(n− k)
]= h(n− k), vollständige
Charakterisierung von H durch h(l), l = n− k (eine Impulsantwort für allen; lediglich Verschiebung um k).
y(n) =+∞
∑k=−∞
x(k)h(n− k) (3)
Kausale LZI-Systeme:⇔ h(l) = 0 f ur l < 0
y(n) =n
∑k=−∞
x(k)h(n− k) (4)
Kausale LZI-Systeme mit Eingangssignal x(k) = 0 für k < 0
y(n) =n
∑k=0
x(k)h(n− k) (5)
Beispiel (nächsten 2 Folien): T
x(n) = {. . . , 0, 1↑, 2, 3, 1, 0, . . .}, h(n) = {. . . , 0, 1, 2
↑, 1,−1, 0, . . .} M
![Page 50: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/50.jpg)
Graphisches Beispiel der diskreten Faltung I| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.6
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
x(0)
x(1)
x(2)
x(3)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
![Page 51: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/51.jpg)
Graphisches Beispiel der diskreten Faltung II| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.7
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
![Page 52: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/52.jpg)
Faltungsoperation: Kommutativ, Assoziativ, Distributiv| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.8
• Kommutativ:
y(n) = x(n) ∗ h(n) =+∞
∑k=−∞
x(k)h(n− k) = h(n) ∗ x(n) =∞
∑m=−∞
h(m)x(n−m) Z
• Assoziativ: [h1(n) ∗ h2(n)] ∗ x(n) = h1(n) ∗ [h2(n) ∗ x(n)]
x(n) x1(n) y(n) x(n) y(n)⇔h2(n)h1(n) h1(n) ∗ h2(n)
• Distributiv: [h1(n) + h2(n)] ∗ x(n) = h1(n) ∗ x(n) + h2(n) ∗ x(n)
y(n)h1(n) + h2(n)
x(n)
x(n)
x(n)
h1(n)
h2(n)
y(n)⇔
![Page 53: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/53.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.0
2.4 Signale und Signalräume
![Page 54: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/54.jpg)
Achtung: Integral (analog)↔ Summe (diskret)| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.1
Zusammenhang: Definitionen gelten äquivalent für analoge (Integral) undzeit-diskrete (Summe) Signale auf Basis des Abtasttheorems.vgl. Abtasttheorem: analoge Funktion aus Abtastwerten exaktrekonstruierbar.
Aber:
Im Allgemeinen gilt dieÄquivalenz von Summe undIntegral nur für N → ∞, d.h.nur für infinitesimal kleineAbtastperioden ∆t
N
∑i=1
x(i)∆t N→∞−→∫ b
ax(t) dt
x1 xN
a b
x(t)
t
![Page 55: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/55.jpg)
Energie-und Leistung-begrenzte Signale| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.2
Energie eines kontinuierlichen Signals x(t):
Ex =∫ +∞
−∞|x(t)|2 dt
Mittlere Leistung von x(t):
Px = limT→∞
1T
∫ T2
− T2
|x(t)|2 dt
Falls Ex < ∞, dann ist x(t) ein Energie-begrenztes Signal; Falls Ex → ∞
aber Px < ∞, dann ist x(t) ein Leistung-begrenztes Signal.
![Page 56: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/56.jpg)
Klassifikation in Signalräumen| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.3
Lp(a, b)mit 1 ≤ p < ∞ beschreibt die Klasse von Signalen x(t) für die gilt:
∫ b
a|x(t)|p dt < ∞
Für a→ −∞ und b→ ∞ schreiben wir Lp(∞) oder Lp(R).z.B.: Energie-begrenzte Signale gehören zum Signalraum L2(R); x ∈ L2(R)lp(n1, n2) ist das zeit-diskrete Äquivalent zu Lp(a, b) (a = n1∆t, b = n2∆t) mit
n2
∑n=n1
|x(n)|p
d.h. Ex =+∞
∑n=−∞
|x(n)|2 < ∞; x ∈ l2(Z)
![Page 57: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/57.jpg)
Normierte Räume| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.4
Eine Normmuss folgende drei Axiome erfüllen (α ∈ R, C)
(1) ‖x‖ ≥ 0, ‖x‖ = 0 falls x = 0(2) ‖x+ y‖ ≤ ‖x‖+ ‖y‖(3) ‖αx‖ = α‖x‖
Norm für kontinuierliche Signale: ‖x‖Lp =
[∫ b
a|x(t)|p dt
] 1p
, 1 ≤ p < ∞
z.B. p = 2: Ex = ‖x‖2L2(Euklidische Norm)
Norm für zeit-diskrete Signale: ‖x‖lp =
[n2
∑n=n1
|x(n)|p] 1
p
, 1 ≤ p < ∞
z.B. p = 2: Ex = ‖x‖2l2
T
![Page 58: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/58.jpg)
Metrische Räume| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.5
Eine Funktion, die zwei Elementen x und y einer Menge X eine reelle Zahlzuordnet, heißt Metrik für X, falls
(1) d(x, y) ≥ 0, d(x, y) = 0, falls x = y(2) d(x, y) = d(y, x)(3) d(x, z) ≤ d(x, y) + d(y, z)
d(x, y) kann als Distanz von x und y betrachtet werden. Euklidische Metrik:
d(x, y) =
[∫ b
a|x(t)− y(t)|2 dt
] 12
= ‖x− y‖L2 x, y ∈ L2(a, b)
d(x, y) =
[n2
∑n=n1
|x(n)− y(n)|2] 1
2
= ‖x− y‖l2 x, y ∈ l2(n1, n2)
Bem.: Ein normierter Raum ist auch ein metrischer Raum. T
![Page 59: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/59.jpg)
Signalräumemit inneren Produkten| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.6
Sei x(t), y(t) ∈ L2(a, b) bzw. x(n), y(n) ∈ l2(n1, n2). Ein inneres Produktordnet den beiden Signalen x und y eine Zahl c ∈ C zu:< x, y >= c.Ein inneres Produkt muss folgende Axiome erfüllen:
(1) < x, y >=< y, x >∗
(2) < αx + βy, z >= α < x, z > +β < y, z >; (α, β ∈ C)
(3) < x, x > ≥ 0, < x, x >= 0, falls x(t) = 0 bzw. x(n) = 0 ∀n
Beispiel: < x(t), y(t) > =∫ b
ax(t)y∗(t) dt
< x(n), y(n) > =n2
∑n=n1
x(n)y∗(n) = yHx
fürx = [x(n1) x(n1 + 1)...x(n2)]
T, y = [y(n1) y(n1 + 1)...y(n2)]T
![Page 60: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/60.jpg)
Analoge Faltung→ Diskrete Faltung I| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.7
y[t] = h[t] ∗ x[t] =+∞∫−∞
h[τ]x[t− τ] dτ (1)
Es gilt gemäß Abtasttheorem für x[t] (ebenso für y[t] und h[t]):
x[t] =+∞
∑n=−∞
x(n∆t)g[t− n∆t] =
[+∞
∑n=−∞
x(n∆t)δ[t− n∆t]
]∗ g[t]
mit g[t] = sin(πfAt)πfAt und fA = 1
∆t , so dass sich für (1) ergibt:[+∞
∑n=−∞
y(n∆t)δ[t− n∆t]
]∗ g[t] =
=
[+∞
∑n=−∞
h(n∆t)δ[t− n∆t]
]∗ g[t] ∗
[+∞
∑n=−∞
x(n∆t)δ[t− n∆t]
]∗ g[t]
Kommutativität der Faltung und g[t] ∗ g[t] = ∆tg[t] liefert:
![Page 61: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/61.jpg)
Analoge Faltung→ Diskrete Faltung II| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.8
+∞
∑n=−∞
y(n∆t)δ[t− n∆t] = ∆t
[+∞
∑n=−∞
h(n∆t)δ[t− n∆t]
]∗[
+∞
∑n=−∞
x(n∆t)δ[t− n∆t]
]
Faltungsintegral ausschreiben (Umbenennung der Summationsvariablen):
+∞
∑n=−∞
y(n∆t)δ[t− n∆t] = ∆t+∞∫−∞
+∞
∑m=−∞
h(m∆t)δ[τ −m∆t] ·+∞
∑k=−∞
x(k∆t)δ[t− k∆t− τ] dτ
Da+∞∫−∞
s[τ]δ[t− τ] dτ = s[t], gilt für
+∞∫−∞
δ[τ −m∆t]δ[t− k∆t− τ] dτ =
+∞∫−∞
δ[τ − (m + k)∆t]δ[t− τ] dτ = δ[t− (m + k)∆t] ,
so dass T
![Page 62: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/62.jpg)
Analoge Faltung→ Diskrete Faltung III| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.9
+∞
∑n=−∞
y(n∆t)δ[t− n∆t] = ∆t+∞
∑m=−∞
+∞
∑k=−∞
h(m∆t)x(k∆t)δ[t− (m + k)∆t]
Mit k + m = n (und Summierung von jeweils−∞ bis+∞): T
+∞
∑n=−∞
y(n∆t)δ[t− n∆t] = ∆t+∞
∑n=−∞
+∞
∑m=−∞
h(m∆t)x((n−m)∆t)δ[t− n∆t]
Für die Abtastwerte y(n∆t) gilt mit ∆t = 1 (Normierung):
y(n) =+∞
∑m=−∞
h(m)x(n−m)
Hiermit ist die Äquivalenz von diskreter und analoger Faltung auf Basis desAbtasttheorems gezeigt.
![Page 63: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/63.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 3.0.0
1 Einführung
2 Signale und SystemeZeit-diskrete und digitale SignaleZeit-diskrete SystemeAlgebraische Beschreibung zeit-diskreter SystemeSignale und Signalräume
3 Lineare Transformationen von SignalenLineare TransformationenDiskrete SignaltransformationenFaltung als lineare Matrixtransformation
4 Lineare Gleichungssysteme und AnwendungenMatrixzerlegungenLineare GleichungssystemeAnwendungen
![Page 64: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/64.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.0
3.1 Lineare Transformationen
![Page 65: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/65.jpg)
Lineare Transformationen| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.1
Sei vi ∈ Rn, i = 1, . . . , n eine Basis des Vektorraums V = Rn.
Damit gilt für jeden Vektor v ∈ Rn : v = c1v1 + c2v2 + · · ·+ cnvn.
Für eine lineare Transformation T gilt:
T(v) = c1T(v1) + c2T(v2) + · · ·+ cnT(vn) ∀ ci ∈ R; vi ∈ V
(vgl. auch Folie 2.2.8, T=H)
Matrixdarstellung einer linearen Transformation:
T =[T(v1) T(v2) . . . T(vn)
]∈ Rm×n
Mit c = [c1 . . . cn]T gilt dann: T(v) = T · cAnmerkung: Falls die Basis verändert wird, bleibt T gleich, aber die Matrix
T ändert sich.⇒ Basiswechsel = Linearer Transformation
![Page 66: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/66.jpg)
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.2
v1 =
[10
]v2 =
[01
], v = 1 · v1 + 2 · v2 =
[12
](c =
[12
])
T(v1) =
234
T(v2) =
555
⇒ T(v) = 1 · T(v1) + 2 · T(v2) =
121314
T(v) =
2 53 54 5
[ 12
]= T · c =
121314
![Page 67: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/67.jpg)
Orthogonale Transformationen| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.3
Definition: Ein Satz von Vektoren qi ∈ Rm, i = 1, 2, . . . , n ist orthogonal,wenn
qTi · qj =
{0 für i 6= jcii für i = j
}⇔ qi ⊥ qj (i 6= j)
Falls cii = 1 ∀ i sind die Vektoren orthonormal.Mit Q = [q1 q2 . . .qn] (orthonormale Matrix) gilt
QT · Q = I↑
Einheitsmatrix
=
1 0. . .
0 1
Falls die lineare Transformation T durch eine orthogonale Matrix Qrepräsentiert wird, d.h. Q =
[T(v1) T(v2) . . . T(vn)
]∈ Rm×n , ist T eine
orthogonale Transformation.Falls Q ∈ Cm×n mit QHQ = I repräsentiert Q eine unitäre Transformation.Anmerkung: Zwei Unterräume V1 und V2 eines Vektorraumes V sindorthogonal, falls
vTi · vj = 0 für alle vi ∈ V1 und alle vj ∈ V2
![Page 68: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/68.jpg)
Anmerkungen zu linearen Transformationen I| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.4
• Es seien T1, T2, . . . , Tn die Matrixdarstellungen von linearenTransformationen. Es gilt:
T =n
∏i=1
Ti
ist ebenfalls eine lineare Transformation.Dies gilt auch für orthogonale Transformationen Qi:
Q =n
∏i=1
Qi
ist ebenfalls eine orthogonale Transformation.• Lineare Transformationen sind aber auch als Transformationen einergegebenen Matrix von Bedeutung. Methoden der linearen Algebra(Gauß Algorithmus, Eigenwertzerlegung, ...) lassen sich als lineareTransformationen darstellen.
![Page 69: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/69.jpg)
Anmerkungen zu linearen Transformationen II| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.5
• Signale und Systeme (vgl. Kap. 2) bzw. Größen der Statistik (vgl. Kap.6) können als Vektoren/Matrizen repräsentiert werden. Mit linearenTransformationen stehen uns Werkzeuge zur Bearbeitung dieserRepräsentationen zur Verfügung.
• Die Signaltransformationen DFT (Diskrete Fourier Transformation),DST (Diskrete Sinus Transformation), DCT (Diskrete CosinusTransformation) oder DWT (Diskrete Wavelet Transformationen) lassensich als lineare Transformationen bzw. durchTransformationsmatrizen darstellen. Anwendung sind z.B.Compressionsverfahren (JPEG,MPEG, . . .) oder Orthogonal FrequencyDivision Multiplex (OFDM wird bei DVB-T, LTE, . . . verwendet)→Kapitel 3.2.
• Dies gilt auch für die Verfahren der Informationstechnik undSignalverarbeitung. Lineare Systeme lassen sich als lineareTransformationen darstellen (z.B. Faltung, Filterung, Korrelation, . . .)→ Kapitel 3.3.
![Page 70: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/70.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.0
3.2 Diskrete Signaltransformationen
![Page 71: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/71.jpg)
Diskrete Cosinus Transformation (DCT)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.1
Die DCT eines Vektors/Signals xn = [x1 x2 . . . xn]T ∈ Rn ist:
yn = Cn · xn
wobei yn ∈ Rn die Cosinus Transformierte darstellt und Cn ∈ Rn×n dieDCT-Matrix ist:
Cn = [ckl]mit ckl = γk1√n
cos(
π(k− 1)(2l− 1)2n
),
wobei γk =
{1 k = 1√
2 2 ≤ k ≤ n
Anmerkungen: (1) Es gilt: C−1n = CT
n (Orthogonalität)(2) Berechnung der DCT: n2 Multiplikationen und n(n− 1)
Additionen(3) Anwendung auf Bild B ∈ Rn×n: D = Cn · B · CT
n(zweiseitige DCT)
M
![Page 72: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/72.jpg)
Beispiel: DCT eines Bildes| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.2
Das folgende Beispiel zeigt das prinzipielle Vorgehen bei der Bildcodierungunter Verwendung der DCT (z.B. JPEG, MPEG). Das 480× 480 Orginalbild(Bild 1) wird in 8× 8 Blöcke zerlegt.Jeder Block Bij wird mit der zweiseitigen DCT transformiert:Dij = C8 · Bij · CT
8 (Bild 2; zur besseren Visualisierung zeigt das kleine Bildden links oben liegenden 32× 32 Ausschnitt des großen Bildes).Von jedem 8× 8 Block Dij werden nur die ersten 2× 2 Pixel übertragen:Dij(k, l) = 0 für k > 2∨ l > 2 (Bild 3; zur besseren Visualisierung zeigt daskleine Bild den links oben liegenden 32× 32 Ausschnitt des großen Bildes).Damit ergibt sich eine Reduktion der Datenmenge auf 1/16. Aus diesenverbleibenden Koeffizienten wird das Bild wieder durch die zweiseitigeinverse DCT rekonstruiert: B′ij = CT
8 · Dij · C8 (Bild 4).Bild 5 zeigt zum Vergleich das rekonstruierte Bild, wenn die ersten 4× 4Pixel übertragen werden: Dij(k, l) = 0 für k > 4∨ l > 4 für alle i, j (Reduktionauf 1/4).
![Page 73: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/73.jpg)
Bild 1: Orginalbild| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.3
![Page 74: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/74.jpg)
Bild 2: DCT des Bildes| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.4
![Page 75: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/75.jpg)
Bild 3: Reduktion der DCT Koeffizienten (8× 8→ 2× 2)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.5
![Page 76: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/76.jpg)
Bild 4: Rekonstruiertes Bild aus verbleibenden DCT Koeff.| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.6
![Page 77: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/77.jpg)
Bild 5: Rekonstruiertes Bild für 8× 8→ 4× 4| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.7
![Page 78: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/78.jpg)
Diskrete Fourier Transformation (DFT)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.8
Die DFT eines Vektors/Signals xn = [x1 x2 . . . xn]T ∈ Cn ist:
yn = Fn · xn
wobei yn ∈ Cn die Fourier Transformierte darstellt und Fn ∈ Cn×n dieDFT-Matrix ist:
Fn = [fkl] k, l = 1, 2, . . . , n
mit fkl = w(k−1)(l−1)n , wobei wn = e−j 2π
n .
Anmerkungen: (1) Es gilt: F−1n = 1
n · FHn = 1
n · F∗n = 1n · [f ∗kl] (Orthogonalität)
(2) Berechnung der DFT: n2 Multiplikationen und n(n− 1)Additionen
(3) Es gilt: w(k−1)(l−1)n = w(k−1)(l−1)mod n
n
![Page 79: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/79.jpg)
Beispiel: DFT| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.9
n = 4: w4 = e−j 2π4 = e−j π
2 = −j
F4 =
w04 w0
4 w04 w0
4
w04 w1
4 w24 w3
4
w04 w2
4 w44 w6
4
w04 w3
4 w64 w9
4
=
w04 w0
4 w04 w0
4
w04 w1
4 w24 w3
4
w04 w2
4 w04 w2
4
w04 w3
4 w24 w1
4
=
1 1 1 1
1 −j −1 j
1 −1 1 −1
1 j −1 −j
(w(k−1)(l−1)
4 = w(k−1)(l−1)mod 44 )
w12
n = 2
w02 w2
4 w04
w34
w14
w68
w78
w08
w18
w28
w38
w48
w58
n = 4 n = 8
1
−j
+j
−1
M
![Page 80: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/80.jpg)
Fast Fourier Transformation (FFT)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.10
Durch Ausnutzung der speziellen Struktur von Fn kann die DFT mitn2 log2(
n2 )Multiplikationen und n log2 n Additionen
berechnet werden=⇒ FFT
Zur Herleitung einige Definitionen:
• Indexvektor: in = [1 2... n]• Permutationsvektor: pn = [beliebige Permutation von in]z.B. p4 = [3 4 2 1]• Permutationsmatrix: Pn(n× n):
Pn = P(pn) = [k-te Zeile hat 1 Element in Spalte pn(k) ; sonst Null]
P4 = P(p4) =
0 0 1 00 0 0 10 1 0 01 0 0 0
• Für Pn gilt: Pnin = pn und P
Tn · Pn = I
![Page 81: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/81.jpg)
FFT: Zerlegung der DFT-Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.11
Hier nur für Radix-2 FFT, d.h. wir nehmen an n = 2t
Startpunkt: Permutationsvektor pn = [1 3 . . . (n− 1) 2 4 . . . n] =⇒ Pn
Fn · PTn =
F n2
D n2· F n
2
F n2−D n
2· F n
2
=
I n2
D n2
I n2−D n
2
· F n
20
0 F n2
wobei
D n2=
1 0
wnw2
n. . .
0 wn2−1n
; d n2= diag(D n
2) =
1
wnw2
n...
wn2−1n
Durch Fn · PT
n werden die Spalten von Fn gemäß pn getauscht (d.h. zuerstungerade Spalten, dann gerade Spalten).
![Page 82: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/82.jpg)
Beispiel: Zerlegung von F4| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.12
F4 =
1 1 1 1
1 −j −1 j
1 −1 1 −1
1 j −1 −j
;
F2 =
[1 11 −1
]; D2 =
[1 00 −j
];
d2 =
[1−j
]; p4 = [1 3 2 4]
F4 · PT4 =
1 1 1 1
1 −1 −j j
1 1 −1 −1
1 −1 j −j
=
1 0 1 0
0 1 0 −j
1 0 −1 0
0 1 0 j
·
1 1 0 0
1 −1 0 0
0 0 1 1
0 0 1 −1
=
F2 D2 · F2
F2 −D2 · F2
=
I2 D2
I2 −D2
· F2 0
0 F2
![Page 83: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/83.jpg)
Wiederholte Zerlegung| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.13
Die Zerlegung kann log2 n-mal rekursiv wiederholt werden. Im k-ten Schrittwird die Zerlegung 2(k−1) mal angewendet. Als Beispiel sind im Folgendendie ersten zwei Schritte dargestellt:
yn = Fn · xn =
I n2
D n2
I n2−D n
2
·
I n4
D n4
0 0
I n4−D n
40 0
0 0 I n4
D n4
0 0 I n4−D n
4
·
F n4
0 0 0
0 F n4
0 0
0 0 F n4
0
0 0 0 F n4
· xp,
wobei xp der entsprechend oft permutierte Vektor xn ist (siehe nächsteFolie bezüglich der Permutation von xn).
![Page 84: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/84.jpg)
Berechnung der FFT| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.14
Sei Pn · xn =
[xuxg
], wobei
xu = [x1 x3 . . . xn−1]T ∈ C
n2
xg = [x2 x4 . . . xn ]T ∈ Cn2, und y1, y2 ∈ C
n2 :
yn =
[y1y2
]= Fn ·xn = Fn ·PT
n · Pn︸ ︷︷ ︸I
·xn =
I n2
D n2
I n2−D n
2
F n2
0
0 F n2
· xu
xg
=⇒Mit yu = F n
2· xu und yg = F n
2· xg (zwei DFT der Dimension n
2 ) ergibt sich:
y1 = yu + D n2yg = yu + d n
2. ∗ yg
y2 = yu − D n2yg = yu − d n
2. ∗ yg (
n2Multiplikationen und n Additionen)
wobei .∗ komponentenweise Vektormultiplikation=⇒ a = b. ∗ c bedeutet demnach ai = bi · ci ∀i
Für n = 2t lässt sich dieser Prozess t = log2 n-mal wiederholen=⇒ n
2 log2(n2 )Multiplikationen und n log2 n Additionen
![Page 85: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/85.jpg)
Beispiel: Berechnung der FFT (n = 4)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.15
DFT:
y4 = F4x4 =
1 1 1 1
1 −j −1 j
1 −1 1 −1
1 j −1 −j
1
2
2
1
=
6
−1− j
0
−1 + j
FFT:
yu = F2xu =
[1 11 −1
] [12
]=
[3−1
]; yg = F2xg =
[1 11 −1
] [21
]=
[31
];
y4 =
[yuyu
]+
[d2−d2
]. ∗[ygyg
]=
3−1
3−1
+
1−j−1
j
. ∗
3131
=
6
−1− j0
−1 + j
![Page 86: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/86.jpg)
Berechnungsschema der FFT| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.16
Stage 1 Stage 2 Stage 3
−1
−1
−1 −1
−1
−1
−1 −1
−1
−1 −1 −1
x(1)
x(2)
x(3)
x(4)
x(5)
x(6)
x(7)w3
8
w28
w18
w08
w08
w28
w28
w08
w08
w08
w08
w08
x(0)x(0)
x(4)
x(6)
x(2)
x(1)
x(5)
x(3)
x(7)
Eight-point decimation-in-time FFT algorithm.
baA=
a+
wr N
b
B=
a−
wr N
b−
1
wr N
Basicbu
tterflycompu
tation
inthe
decimation-in-timeFFTalgorithm.
![Page 87: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/87.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.0
3.3 Faltung als lineare Matrixtransformation
![Page 88: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/88.jpg)
Faltung als Matrix-Vektor-Multiplikation| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.1
Die Faltung war folgendermaßen definiert: y(n) = ∑∞k=−∞ x(k)h(n− k)
Annahme: endliche Sequenzen in einem Vektor zusammengefasst
endliche Impulsantwort h = [h(−n−), . . . , h(−1), h(0), h(1), . . . , h(n+)]T
mit Länge: nh = n− + n+ + 1endliche Eingangssequenz x = [x(−k−), . . . , x(−1), x(0), x(1), . . . , x(k+)]T
mit Länge: nx = k− + k+ + 1
Der Vektor y der Länge ny = nh + nx − 1 (endliche Ausgangssequenz) lässtsich als Matrix-Vektor-Produkt berechnen:
y = Th · x mit y : ny × 1; x : nx × 1; Th : ny × nx
![Page 89: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/89.jpg)
Faltungsmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.2
Th wird folgendermaßen gebildet:
Th =
h(−n−) 0 . . . 0... h(−n−)
...
h(−1)...
. . . 0h(0) h(−1) h(−n−)
h(1) h(0)...
... h(1). . . h(−1)
h(n+)... h(0)
0 h(n+) h(1)... 0
. . . h(1)...
......
0 0... h(n+)
Toeplitz-Matrix
Eine Toeplitz Matrix ist eine Matrix, die auf ihren Diagonalen identischeElemente besitzt.
![Page 90: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/90.jpg)
Beispiel: Faltungmit MVM| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.3
Die Impulsantwort eines LZI-Systems sei:
h(n) = {1, 2↑
n=0
, 1,−1}, nh = 1 + 2 + 1 = 4
Bestimme die Antwort des Systems für das Eingangssignal:
x(n) = {1, 2↑
n=0
, 3, 1}, nx = 4
Es ergibt sich ny = nx + nh − 1 = 7 so, dass Th : 7× 4.
y =
n = −1012345
1 0 0 02 1 0 01 2 1 0−1 1 2 1
0 −1 1 20 0 −1 10 0 0 −1
·
1231
=
14883−2−1
y = Th · x
M
![Page 91: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/91.jpg)
Zeitbezug der Übertragung in MVM| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.4
h(-2)
h(-1) h(-2)
h(-1) h(-2)
h(-1)
h(-2)h(-1)
h(-2)h(-1)
y(-4)
y(-3)
y(-2)
y(-1)
y(0)
y(1)
y(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
x(-2)
x(-1)
x(0)
x(1)
x(2)
h(-2)
h(-1) h(-2)
h(-1) h(-2)
h(-1)
h(-2)h(-1)
h(-2)h(-1)
y(-4)
y(-3)
y(-2)
y(-1)
y(0)
y(1)
y(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
x(-2)
x(-1)
x(0)
x(1)
x(2)
Die roten und blauen Werte zeigen die Veränderungen derFaltungsoperation und der Position von n = 0 in den Vektoren für den Fall,dass zusätzliche Werte (Vergangenheit) bei den Signalen berücksichtigtwerden
![Page 92: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/92.jpg)
Faltungsmatrix und Systemeigenschaften| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.5
Eigenschaften der Faltungsoperation und Charakterisierung zeit-diskreterlinearer Systeme mit MVM (Matrix Vektor Multiplikation)
Linearität⇔MVMBeschreibungmöglich
hh
h
0
0
Kausalität
Gedächtnis N
n = 0
00
Th
Zeitinvarianz = Schiebeinvarianz der Toeplitz-Matrix
hk(n) = h(n− k) ⇔ ti,j = konst. für i− j = konst.
![Page 93: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/93.jpg)
Äquivalente Beschreibungen| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.6
1) Multiplikation zweier Polynome p1(x), p2(x), (hi=p1i, xi=p2i)
2) Filterung mit FIR-Filter in Direktstruktur (hi=wi, x=x)
∆t
x(n− 1) x(n− 2)x(n) x(n−M + 2) x(n−M + 1)
y(n)
w∗0 w∗1 w∗M−2 w∗M−1
∆t∆t
3) Autokorrelations- und Kreuzkorrelationssequenz⇒ AKF/KKFx(n), y(n) : (h=y, x=flip(x)) (siehe Folie 3.3.11)• Für unendliche Sequenzen ergeben sich unendlich dimensionaleVektoren und Matrizen→ Operatoren Z
![Page 94: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/94.jpg)
Zyklische Faltung| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.7
Zunächst werden h und x auf Länge ny erweitert (Anhängen von Nullen):
hz =
[h0ny−nh
]: ny × 1, xz =
[x0ny−nx
]: ny × 1
Unter der Annahme, dass es sich bei h um eine periodische Sequenzhandelt, lässt sich eine zyklische Faltungsmatrix Thz : ny × ny aufbauen.Vorgehen wie beim Aufbau der Toeplitz Matrix, wobei Spalten zyklisch(periodisch) wiederholt werden1).Für h = [h1 h2 h3]
T und ny = 4 (nx = 2) ergibt sich:
Thz =
h1 0 h3 h2h2 h1 0 h3h3 h2 h1 00 h3 h2 h1
und es gilt: y = Th · x = Thz · xz
1): „Was unten herausfällt, kommt oben wieder rein.“
![Page 95: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/95.jpg)
Eigenschaften der Faltung anhandMVM| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.8
• Kommutativität:
Th · x = Thz · xz = Tx · h = Txz · hz (Betrachtung der Matrizen)
• Assoziativität:(Th1z · Th2z) · xz = Th1z · (Th2z · xz)
• Distributivität:
(Th1z + Th2z) · xz = Th1z · xz + Th2z · xz
• Ferner gilt: Kommutativität aufeinander folgender Faltungen :
Th1z · Th2z = Th2z · Th1z
Kommutativität der MMM (Matrix Matrix Multiplikation) gilt fürzyklische Matrizen. (allg.: A · B 6= B · A für A,B ∈ Fn×n)
![Page 96: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/96.jpg)
Faltung im Frequenzbereich| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.9
Für eine zyklische Matrix gilt: Die Spalten der inversen FourierTransformation F−1
ny = 1nyFH
ny bilden die Eigenvektoren der zyklischenMatrix und die Eigenwerte ergeben sich durch die Fourier Transformationder ersten Spalte der zyklischen Matrix.
Thz = F−1ny ΛFny , wobei diag(Λ) =
λ1λ2...λny
= Fny · Thz(:, 1) = Fny · hz
und Λ eine Diagonalmatrix ist. Somit gilt:
y = Th · x = Thz · xz = F−1ny ΛFnyxz = F−1
ny
[(Fny · hz
). ∗(Fnyxz
)]wobei .∗ die elementweise Multiplikation zweier Vektoren beschreibt.Rechenkomplexität: Faltung (MVM): CMVM = nynx − n2
x + nxMultiplikationen;Faltung im Frequenzbereich: CF = 3 ny
2 log2(ny2 ) + ny Multiplikationen;
z. B. für nh = 65, nx = 192: ny = nh + nx − 1 = 256 ⇒ CMVM = 12480 undCF = 2944.
![Page 97: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/97.jpg)
Beispiel: Faltung im Frequenzbereich| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.10
Faltung von h = [1 2 1]T und x = [2 1]T.
y = Th · x =
1 02 11 20 1
· [ 21
]= Thz · xz =
1 0 1 22 1 0 11 2 1 00 1 2 1
·
2100
=
2541
F4 · [hz xz] =
1 1 1 11 −j −1 j1 −1 1 −11 j −1 −j
·
1 22 11 00 0
=
4 3−2j 2− j0 12j 2 + j
yF = (F4 · hz) . ∗ (F4xz) =
4−2j02j
. ∗
32− j12 + j
=
12−2− 4j0−2 + 4j
F−14 · yF =
14FH
4 · yF =14
1 1 1 11 j −1 −j1 −1 1 −11 −j −1 j
·
12−2− 4j0−2 + 4j
=14
8
20164
=
2541
![Page 98: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/98.jpg)
Faltung und Korrelation| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.11
Mit y = Th · x ergibt sich die Faltung von h und x. Die Korrelation von h und x
kann genauso berechnet werden
rhx = Th · xf ,
wobei xf = flip(x) Vektor/Sequenz in umgekehrter Ordnungx = [x1 x2 . . . xn]T → xf = flip(x) = [xn . . . x2 x1]
T
Anmerkung: Alle für die Faltung gemachten Aussagen gelten äquivalent
für die Korrelation (zyklische Korrelation, Korrelationsberechnung im
Frequenzbereich). Lediglich die Eingangsdaten werden in umgekehrter
Reihenfolge verwendet.
Anwendung: Akquisition der GPS Satelliten.
Beispiel: Das vorherige Beispiel zeigt die Faltung von h = [1 2 1]T und
x = [2 1]T.
Mit xf = flip(x) = [1 2]T und xfz = [1 2 0 0]T berechnet sich die Korrelation
von h und x genau äquivalent.
![Page 99: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/99.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 4.0.0
1 Einführung
2 Signale und SystemeZeit-diskrete und digitale SignaleZeit-diskrete SystemeAlgebraische Beschreibung zeit-diskreter SystemeSignale und Signalräume
3 Lineare Transformationen von SignalenLineare TransformationenDiskrete SignaltransformationenFaltung als lineare Matrixtransformation
4 Lineare Gleichungssysteme und AnwendungenMatrixzerlegungenLineare GleichungssystemeAnwendungen
![Page 100: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/100.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.0
4.1 Matrixzerlegungen
![Page 101: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/101.jpg)
Definition und Hilfssatz| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.1
Matrixzerlegungen, d. h. die Zerlegung einer gegebenen Matrix X in das
Produkt von mehreren Matrizen, ergeben sich durch lineare
Transformationen der Matrix X.
z. B. Gauß Algorithmus→ LR-Zerlegung T
Hilfssatz (Konstruktion einer orthogonalenMatrix).
Sei x = [x1 x2 . . . xm]T ∈ Rm. Mit s = ||x||2 = (xTx)1/2 und
i1 = [1 0 . . . 0]T ∈ Rm sei
u = x− s · i1und mit I (m×m Einheitsmatrix) sei
H = I− 2uT u
· uuT .
Die Matrix H ist symmetrisch und orthogonal und es gilt:
H · x = s · i1T
![Page 102: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/102.jpg)
Beweis| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.2
• H symmetrisch:
HT = (I− 2u uT
uTu)T = IT − 2(
u uT
uTu)T = I− 2 · u u
T
uTu= H
• H orthogonal:
HTH = HH = (I− 2u uT
uTu)(I− 2
u uT
uTu) =
= I− 2u uT
uTu− 2
u uT
uTu+ 4
u uTu uT
uTu uTu= I
• Mit uTu = (x− s · i1)T(x− s · i1) = xTx︸︷︷︸s2
−2s xTi1︸︷︷︸x1
+s2 iT1 i1︸︷︷︸1
= 2s2 − 2sx1
und uTx = (x− s · i1)Tx = s2 − sx1 gilt:
H · x = (I− 2u uT
uTu)x = x− 2
u uTxuTu
=
= x− 2(x− s · i1)(s2 − sx1)
2(s2 − sx1)= x− x+ s · i1 = s · i1 �
![Page 103: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/103.jpg)
QR-Zerlegung (QRZ)| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.3
Theorem: Es sei X ∈ Rm×n (m ≥ n).
Es existiert eine orthogonale Matrix Q ∈ Rm×m (QTQ = I), so dass
QTX =
[R0
], (6)
wobei R ∈ Rn×n eine rechte obere Dreiecksmatrix mit nichtnegativen
Diagonalelementen (rii ≥ 0) ist.
z. B. für m = 4, n = 3:
X = Q[R0
]=
q11 q12 q13 q14q21 q22 q23 q24q31 q32 q33 q34q41 q42 q43 q44
r11 r12 r130 r22 r230 0 r330 0 0
![Page 104: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/104.jpg)
Beweis| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.4
Induktion über Anzahl der Spalten: X = [x1 x2 . . . xn]n = 1: X = x1: Hilfssatz⇒ ∃ H, so dass (s = (xT
1x1)1/2)
HTX = HTx1 = Hx1 = s · i1 =
[s01
]= (6)
n > 1: X = [x1 Xr]:
HTX =
[s bT
01 C
]Theorem liefert: QT
c C =
[Rc02
](QRZ von C), so dass sich mit
QT =
[1 0T
101 QT
c
]·HT ergibt:
QTX =
s bT
03 Rc04 02
=
[R05
]Anmerkung: Für die Dimensionen der Nullvektoren/-matrizen gilt:01 = 0m−1×1, 02 = 0m−n×n−1, 03 = 0n−1×1, 04 = 0m−n×1, 05 = 0m−n×n
![Page 105: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/105.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.0
4.2 Lineare Gleichungssysteme
![Page 106: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/106.jpg)
Lineare Gleichungssysteme| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.1
X = [x1 x2 . . . xn ] ∈ Rm×n(m ≥ n); xi linear unabhängig (Rang(X) = n)X ·w = w1x1 + w2x2 + · · ·+ wnxn: Linearkombination der Spalten
Lineares Gleichungssystem:X ·w = b
Lösung des linearen Gleichungssystems: Finde Vektorw = [w1, . . . , wn]T ∈ Rn, so dass Linearkombination der Spalten von X denVektor b ∈ Rm ergibt.
X ·w = b ist exakt lösbar, falls b ∈ SR(X)
x2
w2x2
w1x1
bx1b liegt in der Ebene,die von x1, x2aufgespannt wird
![Page 107: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/107.jpg)
Minimierung des quadratischen Fehlers| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.2
Falls b 6∈ SR(X): Minimiere den Fehler, d.h. den Abstand zu SR(X)
x2
w2x2
w1x1
x1
b
e = X w - b
r
Mit r = Xw = w1x1 + w2x2 + · · ·+ wnxn gilt: rTe = 0⇔ e⊥r⇔ e⊥SR(X)
Abstand = Länge von e : ||e||2 = (e21 + e2
2 + · · ·+ e2m)
12 = (eTe)
12
Least Squares (LS) Problem: minw||e||2 = min
w||Xw−b||2
![Page 108: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/108.jpg)
Lösungmit QR-Zerlegung| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.3
Es gilt:||e||2 = (eTe)
12 = (eT QQT︸︷︷︸
I
e)12 = ||QTe||2
||e||2 = ||Xw−b||2 = ||QTe||2 = ||QTXw−QTb||2 = ||[R0
][w]−
[b1b2
]||2 ,
wobei R : n× n (rechte obere Dreiecksmatrix), b1 : n× 1 undb2 : (m− n)× 1.
Damit ergibt sich der Lösungsvektorw durch Rücksubstitution aus:
Rw = b1
und der minimale Fehler emin zu:
emin = minw||e||2 = ||b2||2
![Page 109: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/109.jpg)
Lösungmit Normalengleichung:| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.4
Orthogonalität von SR(X) und Fehler e liefert:
XTe = 0
so dass,XTe = XTXw− XTb = 0 ⇔ XTXw = XTb
Da XTX eine quadratische nichtsinguläre (Rang(X) = n) Matrix ist, existiertInverse, d.h.
w = (XTX)−1XTb
Die Matrix X# = (XTX)−1XT heißt Pseudo-Inverse der m× n Matrix X.T
![Page 110: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/110.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.0
4.3 Anwendungen
![Page 111: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/111.jpg)
Anwendung I: Detektion und Kanalschätzung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.1
Gegeben sei ein zeit-invarianter Kanal (nh = 4), der mit Rauschen behaftetist:
h(k)
Kanalx(n) y(n) y(n)
v(n)
Übertragungsverhalten (ohne Rauschen) durch Faltung beschrieben:
h(1)h(2) h(1)h(3) h(2)
h(4) h(3). . .
0 h(4)... 0...
...0 0
·
x(1)x(2)x(3)...
=
y(1)y(2)y(3)............
Th · x = y
![Page 112: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/112.jpg)
Detektion und Kanalschätzung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.2
Detektion: Kanalimpulsantwort h(k) bekannt; Gesucht: Schätzung dergesendeten Daten x(n).y = y+ v
y ∈ SR(Th), aber empfangene Daten sind mit Rauschen v =[v(1) . . . v(n)]T beaufschlagt, d.h. y = y+ v 6∈ SR(Th) liegt am Emp-fänger vor.
Zur Rekonstruktion der gesendeten Daten:
minx||Thx− y||2 ⇒ x = (TH
h Th)−1TH
h y = T#h · y
M
Kanalschätzung: Gesendete Daten x(n) bekannt; Gesucht: Schätzung derKanalimpulsantwort h(k).
Äquivalente Problemstelllung↔ Kommutativität der Faltung
minh||Txh− y||2 ⇒ h = (TH
x Tx)−1TH
x y = T#x · y
![Page 113: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/113.jpg)
Anwendung II: Frequenzschätzung und Prädiktion| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.3
Gegeben: Messwerte x(n); Gesucht: fi (i = 1, . . . , p) (vgl. Fourieranalyse). Z
Annahme: Signal setzt sich aus p Frequenzanteilen (ωi = 2πfi) zusammen
x(n) =p
∑i=1
cos ωin ,
Hilfssatz: Für ein (p = 1) Kosinussignal x(n) = cos ωn gilt folgendeDifferenzengleichung:
x(n) = c1 x(n− 1) + c2 x(n− 2) ,
mit c1 = 2 cos ω, c2 = −1 und x(−1) = −1, x(−2) = 0 (Initialisierung).Beweis:
cos(ωn) = 2 cos ω cos ω(n− 1)− cos ω(n− 2)
= 2 cos ω[cos ω cos ωn + sin ω sin ωn]− [cos 2ω cos ωn + sin 2ω sin ωn]
= [2 cos2 ω− cos 2ω︸ ︷︷ ︸cos2 ω−sin2 ω
] cos ωn + [2 cos ω sin ω︸ ︷︷ ︸sin 2ω
− sin 2ω] sin ωn
= [2 cos2 ω− cos2 ω + sin2 ω] cos ωn = cos ωn
![Page 114: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/114.jpg)
Allgemeine Differenzengleichung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.4
Allgemein gilt für x(n) =p
∑i=1
cos ωin (ωi = 2πfi) folgende
Differenzengleichung:
x(n) =2p
∑m=1
cmx(n−m) (7)
Lässt sich ebenfalls mit Additionstheoremen zeigen (Hilfssatz erweitertauf p Cosinussignale).Gleichung (7) über mehrere Zeitpunkte (n = 2p + 1, . . . , N) ausgeschriebenergibt:
c2px(1) +c2p−1x(2) + . . . +c1x(2p) = x(2p + 1)c2px(2) +c2p−1x(3) + . . . +c1x(2p + 1) = x(2p + 2)
......
... =...
c2px(N− 2p) +c2p−1x(N− 2p + 1) + . . . +c1x(N− 1) = x(N)(8)
![Page 115: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/115.jpg)
Matrixschreibweise| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.5
Da p normalerweise unbekannt ist, verwenden wir L > 2p anstatt 2p.Damit ergibt sich für Gleichung (8) in Matrixschreibweise (N− 2p > L):
x(1) x(2) . . . x(L)x(2) x(3) . . . x(L + 1)x(3) x(4) . . . x(L + 2)...
.... . .
...x(N− L) x(N− L + 1) . . . x(N− 1)
·
cL
cL−1...
c1
=
x(L + 1)x(L + 2)x(L + 3)
...x(N)
X · c = xp
Anmerkung: Dieses Gleichungssystem läßt sich vollständig aus denAbtastwerten x(n), n = 1, . . . , N aufbauen.
![Page 116: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/116.jpg)
Lineare Prädiktion und Frequenzschätzung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.6
Lineare Prädiktion:Wie gut lässt sich x(N) aus den vorhergehenden Messwerten vor-hersagen?Exakte Vorhersage⇔ xp ∈ SR(X).Da aber x(N) neuer Messwert (neue Information) gilt: xp 6∈ SR(X).
minc||Xc− xp||2 ⇔ best mögliche Vorhersage von xp im SR(X)
Frequenzschätzung:
Px(f ) =σ2
L∣∣∣∣∣1 + L
∑k=1
cke−j2πfk
∣∣∣∣∣2 ,
wobei σ2L =
(1N
N
∑n=1
x2(n)
)·
L
∏k=1
(1− |ck|2
).
Die Maxima von Px(f ) liefern die gesuchten Frequenzen fi (i = 1, . . . , p). M
![Page 117: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/117.jpg)
Diskussion LS| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.7
LS: minw
||e||2 = minw
||Xw− b||2 =
minb+e ∈SR(X)
||e||2 = minb+e ∈SR(X)
||Xw− b||2
⇒ Xw = b+ e
Entspricht der Veränderung von b durch einen Vektor e (minimale Länge),so dass b+ e durch eine Linearkombination von X dargestellt werden kann.
Anwendung I: Problemstellung entspricht LS Problem (h(k)→ Th bekannt,nur Fehler in rechter Seite y→ y)Anwendung II: Auch Matrix X enthält Störungen, nicht nur rechte Seite xp.Eine gleichzeitige Minimierung der Fehler in der Matrix und in der rechtenSeite liefert genauere Ergebnisse (Totale Minimierung: siehe Anhang D).
![Page 118: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/118.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 5.0.0
5 Prinzipielle Komponenten Analyse und AnwendungenFundamentale Unterräume einer MatrixPrinzipielle Komponenten einer MatrixParameterschätzung basierend auf SWZ/EWZSystemidentifikation und Zustandsraummodell
6 Wahrscheinlichkeit, Zufallsvariablen und stochastische ProzesseWahrscheinlichkeitsrechnungZufallsvariableZufallsvektorenStochastische Prozesse
7 Informationstheorie und CodierungGrundlagen der InformationstheorieQuellencodierungKanalkapazität und KanalcodierungstheoremGrundlagen des Rechnens auf endlichen KörpernErzeugung von KanalcodesHamming CodesBCH CodesRS Codes
![Page 119: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/119.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.0
5.1 Fundamentale Unterräume einer Matrix
![Page 120: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/120.jpg)
Vektorräume einer Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.1
Matrix = zwei Vektorräume→ Zeilenvektoren, SpaltenvektorenEine N× L Matrix Xmit xij ∈ R, d.h. X ∈ RN×L (N ≥ L) ist ein Satz von• L Spaltenvektoren xi ∈ RN
X = [x1 x2 . . . xL]
• N Zeilenvektoren x(i) ∈ RL
X =
xT(1)xT(2)...
xT(N)
Beispiel:
X =
3 11 11 3
: x1 =
311
; x2 =
113
; x(1) =[
31
]; x(2) =
[11
]; x(3) =
[13
]
![Page 121: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/121.jpg)
Die vier fundamentalen Unterräume| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.2
1 Spaltenraum von X: SR(X) = {y ∈ RN : y = X · v für v ∈ RL}=Menge aller Linearkombinationen der Spalten von X
SR(X) ={ L
∑i=1
vi xi : vi ∈ R}
• SR(X) ist ein Unterraum des RN
2 Linker Nullraum von X: LR(X) = NR(XT) = {v ∈ RN : XT · v = 0}3 Zeilenraum von X: ZR(X) = SR(XT) = {y ∈ RL : y = XT · v für v ∈ RN}
=Menge aller Linearkombinationen der Zeilen von X
ZR(X) ={ N
∑i=1
vi x(i) : vi ∈ R}
• ZR(X) ist ein Unterraum des RL
4 Nullraum von X: NR(X) = {v ∈ RL : X · v = 0} T
![Page 122: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/122.jpg)
Rang und Dimension| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.3
Der Rang der Matrix X ist die Dimension des Spaltenraumes:
p = Rang(X) = dim[SR(X)]= Anzahl der linear unabhängigen Spaltenvektoren xi
Die vier fundamentalen Unterräume besitzen folgende Dimensionen:
dim[SR(X)] = p , dim[NR(X)] = L− pdim[ZR(X)] = p , dim[LR(X)] = N− p
dim[SR(X)] = dim[ZR(X)]
![Page 123: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/123.jpg)
Orthogonalität der fundamentalen Unterräume| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.4
• NR(X) = {v ∈ RL : Xv = 0}, d. h. jede Zeile von X ist orthogonal zuv ∈ NR(X) (x(i) ⊥ v)• ZR(X) wird von den Zeilen von X aufgespannt⇒ NR(X) ⊥ ZR(X)• LR(X) = NR(XT) = {v ∈ RN : XTv = 0}, d. h. jede Spalte von X istorthogonal zu v ∈ LR(X) (xi ⊥ v)• SR(X) wird von den Spalten von X aufgespannt⇒ SR(X) ⊥ LR(X)
L Spalten xi ∈ RN (N ≥ L) N Zeilen x(i) ∈ RL
dim = p Spalten-raum
SR(X)
NR(XT)
dim = N− p
NullraumLinker
alle X v
XTv = 0
RN
orthogonal komplementär,nicht nur orthogonal !
Zeilen-raum
alle XTv
RL
SR(XT)
dim = p
NR(X)Nullraum dim = L− p
X v = 0
![Page 124: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/124.jpg)
Lin. Transformationen + fundamentale Unterräume| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.5
Es sei mit p < n:X
=
S
· CT
X : N× LS : N× p, Rang(S) = pCT : p× L, Rang(C) = p
Dann gilt:ZR(X) = ZR(CT)
Multiplikation von CT mit S liefert Linearkombination der Zeilen von CT.
SR(X) = SR(S)
Multiplikation von Smit CT liefert Linearkombination der Spalten von S.
![Page 125: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/125.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.0
5.2 Prinzipielle Komponenten einer Matrix
![Page 126: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/126.jpg)
Eigenwerte und Eigenvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.1
Für einen Eigenwert λ und einen Eigenvektor y 6= 0 einer Matrix A ∈ RL×L
gilt:A · y = yλ (9)
d. h. ywird durch lineare Transformation A nur in der Länge um λ verändert.
A · y = λy⇔ (λI− A)︸ ︷︷ ︸⇓
y = 0
ΦA(λ)↑
= det(λI− A) = 0
charakteristisches Polynom
⇒ λ
(9) gilt für alle Eigenwerte λi und Eigenvektoren yi (Vorraussetzungλi 6= λj ∀ i, j Matrix A diagonalisierbar)
⇒ A [y1 y2 . . . yL]︸ ︷︷ ︸Y
= [y1 y2 . . . yL]︸ ︷︷ ︸Y
λ1 0...
0 λL
︸ ︷︷ ︸
Λ
⇒ A = YΛY−1
![Page 127: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/127.jpg)
Eigenwertzerlegung hermitscher/symmetrischer Matrizen| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.2
Eine Matrix A ∈ CL×L ist hermitsch (symmetrisch) falls gilt:
A = AH für A ∈ CL×L (A = AT für A ∈ RL×L).
Die EWZ der Matrix A sei A = YΛY−1, dann gilt für A = AH:
A = YΛY−1 = AH =(Y−1
)HΛHYH
⇒ Λ = ΛH ⇒ λi = λ∗i ⇒ λi reell
YH = Y−1 ⇒ Y unitär/orthogonal
so dass (mit Q als Symbol für unitäre/orthogonale Matrix; QHQ = I) gilt T
A = QΛQH
M
![Page 128: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/128.jpg)
Singulärwertzerlegung (SWZ)| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.3
Theorem: (Singulärwertzerlegung). Die Matrix X ∈ RN×L (N ≥ L) sei vom
Rang p. Es existieren orthogonale Matrizen U ∈ RN×N,V ∈ RL×L und eine
Diagonalmatrix Σ ∈ RN×L, so dass
X = UΣVT , (10)
wobei
Σ = diag(σ1, σ2, . . . , σL) =
σ1 0σ2
. . .σL
0
mit σ1 ≥ σ2 ≥ · · · ≥ σp > σp+1 = · · · = σL = 0
![Page 129: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/129.jpg)
Beweis| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.4
Es sei Σp = diag(σ1, σ2, . . . , σp) ∈ Rp×p, XTX symmetrisch
EWZ⇒ VTXTXV =
[Σ2
p 00 0
], V orthogonal
Mit V = [V1 V2];V1 ∈ RL×p : VT1X
TXV1 = Σ2p
VT2X
TXV2 = 0⇒ XV2 = 0 (1)
Nun sei U1 = XV1Σ−1p , (2)
so dass UT1U1 = Σ−1
p VT1X
TXV1Σ−1p = I⇒ U1 ∈ RN×p orthogonale Spalten
Es existiert ein U2, so dass U = [U1 U2] orthogonal ist (z.B. QR-Zerlegung
von U1 )
Aus (2) ⇒ UT2XV1 = UT
2U1︸ ︷︷ ︸=0
Σp = 0 und UT1XV1 = UT
1U1︸ ︷︷ ︸=I
Σp = Σp
Zusammen mit (1) ergibt sich damit:
UTXV =
[UT
1UT
2
]· X · [V1 V2] =
[UT
1XV1 UT1XV2
UT2XV1 UT
2XV2
]=
[Σp 00 0
]T
![Page 130: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/130.jpg)
Eigenschaften der Matrix und SWZ| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.5
Rang(X) = p= Anzahl der σi 6= 0SR(X) = span{u1, u2, . . . ,up}NR(X) = span{vp+1, vp+2, . . . , vL}ZR(X) = span{v1, v2, . . . , vp}LR(X) = span{up+1, up+2, . . . ,uN}
orthogonale Basen für diefundamentalen Unterräume
Orthogonalität der fundamentalen Unterräume:
SR(X) ⊥ LR(X) (UTU = I);
ZR(X) ⊥ NR(X) (VTV = I)
Kondition von X :cond(X) =
σmax
σmin
![Page 131: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/131.jpg)
Zusammenhang: Singulärwerte⇔ Eigenwerte| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.6
A = XTX = VΣT UTU︸︷︷︸I
ΣVT = VΣ2VT
XTX = A = QΛQT
⇓Q = V
λi(A) = σ2i (X) ∀ i
Daraus ergibt sich:
ZR(A) = ZR(X)NR(A) = NR(X)
Rang(A) = Rang(X)
cond(A) = (cond(X))2
![Page 132: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/132.jpg)
Überblick: Zerlegungen| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.7
X ∈ RN×L: (0) X = QR Q orthogonal, R rechte obere Dreiecksmatrix
A ∈ RL×L: (1) A = YΛY−1 Y EV-Matrix, Λ EW (Diagonalmatrix)
(2) A = QΛQT Q orthogonal und reelle EW∃ für A hermitsch/symmetrisch
(3) A = UΣVT U,V orthogonal (verschieden); Σ Diagonalmatrix∃ für beliebige A
X ∈ RN×L: (4) X = UΣVT U : N×N und V : L× L orthogonal, Σ diagonal
Aus den Zerlegungen lassen sich auch die inversen Matrizen bestimmen
(lediglich die Diagonalmatrix muss invertriert werden; siehe Anhang 12).
![Page 133: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/133.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.0
5.3 Parameterschätzung basierend auf SWZ/EWZ
![Page 134: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/134.jpg)
Problemformulierung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.1
Bisher: Parameterschätzung basierend auf linearen Transformationen der
Signale (Kap. 3) bzw. Lösung linearer Gleichungssysteme (Kap. 4)
Jetzt: Parameterschätzung basierend auf SWZ/EWZ der Signalmatrix.
Signalmodell: Komplexe Schwingungen ejωin = cos ωin + j sin ωin
x(n) =p
∑i=1
aiejωin + v(n) (v(n) : Rauschen)
Aufgabe: Bestimme ωi aus Messwerten x(n), d.h. gesucht p, ωi
(i = 1, . . . , p).
Anmerkung: Es gilt: cos ωin = 12(ejωin + e−jωin
), so dass sich p
Kosinusschwingungen auf 2p komplexe Schwingungen abbilden (±ωi).
Annahme: Rauschen wird zunächst vernachlässigt.
![Page 135: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/135.jpg)
Signalmodell für p = 2| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.2
x(n) = a1ejω1n + a2ejω2n (ejω(n−k) = ejωne−jωk)x(n− 1) = a1ejω1n e−jω1 + a2ejω2n e−jω2
x(n− 2) = a1ejω1n e−j2ω1 + a2ejω2n e−j2ω2
x(n− 3) = a1ejω1n e−j3ω1 + a2ejω2n e−j3ω2
...
Darstellung aufeinanderfolgender Abtastwerte als Matrixprodukte:
[x(n) x(n− 1) x(n− 2)] = [a1 a2] ·[
ejω1n 00 ejω2n
]·[
1 e−jω1 e−j2ω1
1 e−jω2 e−j2ω2
]︸ ︷︷ ︸
CT
[x(n− 1) x(n− 2) x(n− 3)] = [a1e−jω1 ejω1n a2e−jω2 ejω2n] · CT =
= [a1e−jω1 a2e−jω2 ] ·[
ejω1n 00 ejω2n
]· CT
Zusammenfassung der beiden Zeilen:[x(n) x(n− 1) x(n− 2)x(n− 1) x(n− 2) x(n− 3)
]=
[a1 a2a1e−jω1 a2e−jω2
]·[
ejω1n 00 ejω2n
]· CT
![Page 136: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/136.jpg)
Allgemeines Signalmodell (N > L)| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.3
X =
x(n) x(n− 1) . . . x(n− L + 1)
x(n− 1) x(n− 2) . . . x(n− L)...
.... . .
...x(n−N + 1) x(n−N) . . . x(n−N− L + 2)
: N× L (L > p)
S =
a1 a2 . . . ap
a1e−jω1 a2e−jω2 . . . ape−jωp
......
. . ....
a1e−j(N−1)ω1 a2e−j(N−1)ω2 . . . ape−j(N−1)ωp
ejω1n 0
. . .0 ejωpn
CT =
1 e−jω1 e−j2ω1 . . . e−j(L−1)ω1
1 e−jω2 e−j2ω2 . . . e−j(L−1)ω2
......
.... . .
...1 e−jωp e−j2ωp . . . e−j(L−1)ωp
X = S · CT =
P
L
CT·SN P
![Page 137: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/137.jpg)
Anwendung Richtungsschätzung: Sensorfelddatenmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.4
· · · · · · · · · ·��
��
��
@@
@@
@@
��
@@
x1(t) x2(t) x3(t) xL(t)
-� ∆
��������������������������������������
��������������������������������������
��������������������������������������
���������������������������
ZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZ
ZZ
ZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZZZ
�������/
si(t)
ZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZ
ZZZZ
θi θi θi
���/
τi
x1(1) x2(1) . . . xL(1)x1(2) x2(2) . . . xL(2)x1(3) x2(3) . . . xL(3)... ... . . . ...
x1(N) x2(N) . . . xL(N)
= X
![Page 138: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/138.jpg)
Äquivalentes Signalmodell| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.5
p Signale si(n) aus unterschiedlichen Raumrichtungen θi werden vonäquidistantem linearen Sensorfeld empfangen.
S =
s1(1) s2(1) . . . sp(1)s1(2) s2(2) . . . sp(2)...
.... . .
...s1(N) s2(N) . . . sp(N)
CT, wie zuvor mit ωi = ω0
∆c sin θi
ω0 : Trägerfrequenz∆ Abstand der Sensorenc : Wellenausbreitungsgeschwindigkeitθi : Signalrichtungen
Aufgabe: Schätzung der Signalrichtungen. Bestimme Zahl und Richtungder ankommenden Signale (Wellenfronten), d.h. p und ωi (i = 1, . . . , p).
⇒ θi = arcsin(
cω0∆ ωi
)Z
X = S · CT =
P
L
CT·SN P
![Page 139: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/139.jpg)
Lösung der Schätzprobleme I: Herleitung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.6
Anwendung der SVD auf X (nur X bekannt; S, CT unbekannt)
X = S · CT = UΣVT mit V = [v1, . . . , vL]
Bestimmung der Anzahl der Frequenzen/Signalquellen p:dim[ZR(X)] = dim[SR(S)] = dim[ZR(CT)] = p⇒ Rang(X) = p, d.h σi > 0 ∀ i ≤ p
Damit lassen sich die Unterräume bestimmen. Ausnützung derOrthogonalität der Unterräume liefert Parameter:
ZR(X) : VZR = [v1, . . . , vp]; ⊥ NR(X) : VNR = [vp+1, . . . , vL]|| ← (siehe Folie 5.1.5)
ZR(CT) ⊥ NR(X)
Berechne P(ω) = n||cH(ω)VNR||2 mit c
H(ω) = [1 e−jω e−j2ω . . . e−j(L−1)ω ]
(wobei cH(ω) eine Zeile von Cmit ω unbekannt)P(ω)→ ∞ für ω → ωi⇒ ωi
![Page 140: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/140.jpg)
Algorithmus I| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.7
Berechnungsschritte:
1 Berechne X = UΣVT
2 Bestimme p = Anzahl σi 6= 0⇒ VNR = [vp+1, . . . , vL]
3 Bestimme P(ω) = n||cH(ω)VNR||2
mit cH(ω) = [1 e−jω e−j2ω . . . e−j(L−1)ω ]
4 Bestimme Unendlichkeitsstellen (Maxima) von P(ω):
P(ω)→ ∞/max für ω → ωi⇒ ωi
Anmerkung: Berechnungsaufwand für Schritt (3) sehr groß (Auflösung).Dieser Algorithmus ist unter dem Namen MUSIC (MUltiple SIgnalClassification) bekannt.
M
![Page 141: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/141.jpg)
Lösung der Schätzprobleme II: Schiebeinvarianz von C:| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.8
Mit
J1 = [IL−1×L−1 OL−1×1]
J2 = [OL−1×1 IL−1×L−1]
und
Φ = diag(e−jωi) =
e−jω1 0
e−jω2
. . .0 e−jωp
: p× p
gilt:J1 · C ·Φ = J2 · C
![Page 142: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/142.jpg)
Lösung der Schätzprobleme II: Herleitung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.9
Aus Folie 5.1.5 folgt:
ZR(CT) = ZR(X) = ZR(VTZR)
Für eine nichtsinguläre p× p Transformationsmatrix T gilt also:
CT = TT · VTZR ⇔ C = VZR · T
Damit ergibt sich aus der Schiebeinvarianz von C:
J1 · C ·Φ = J2 · CJ1 · VZR · T ·Φ = J2 · VZR · T
Mit Ψ = T ·Φ · T−1 ergibt sich damit:
J1 · VZR ·Ψ = J2 · VZR
![Page 143: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/143.jpg)
Algorithmus II| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.10
Berechnungsschritte:
1 Berechne X = UΣVT
2 Bestimme p = Anzahl σi 6= 0⇒ VZR = [v1, . . . , vp]
3 Löse LS Problem (p rechte Seiten):
minΨ||J1 · VZR ·Ψ− J2 · VZR||F⇒ Ψ
4 Berechne Eigenwertzerlegung: Ψ = T ·Φ · T−1
Eigenwerte: φii = e−jωi ⇒ ωi⇒ θi
Anmerkung: Berechnungsaufwand geringer als bei Algorithmus I (keineMaximumsuche). Dieser Algorithmus ist unter dem Namen ESPRIT(Estimation of Signal Parameters via Rotational Invariant Techniques)bekannt.
![Page 144: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/144.jpg)
Praktisches Signalmodell| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.11
Jetzt kommt Rauschen dazu:
X = S · CT +N
Rauschniveau γ⇒für N → ∞: σ1 ≥ σ2 ≥ · · · ≥ σp > σp+1 = · · · = σL = γfür N groß: σ1 ≥ σ2 ≥ · · · ≥ σp > σp+1 ≈ · · · ≈ σL ≈ γ
Es gibt keine Singulärwerte σi = 0 mehr: σi 6= 0 ∀i→ Schätzung von pAlgorithmus:wie oben, nur (2) p = Anzahl der großen Singulärwerte
Da σi 6= 0 ∀i→ es gibt keine Nullräume mehr→ Schätzung der fundamentalen UnterräumeZR(X) ≈ Signalraum (Vektoren, die zu großen Singulärwerten
gehören)NR(X) ≈ Rauschraum (Vektoren, die zu kleinen Singulärwerten
gehören)ZR(X) ⊥ NR(X) (weiterhin gilt Signalraum⊥ Rauschraum)
M
![Page 145: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/145.jpg)
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.12
Lineares Antennenfeld mit L = 5 Sensoren. p = 2 Signale:θ1 = 20◦ , θ2 = 40◦
SNR = 10 dB, N = 100
Gegeben: X : 100× 5Gesucht: p und θi, i = 1, . . . , pBerechnung: X = UΣVT V : 5× 5
σ(X) = [25, 38 19, 92︸ ︷︷ ︸ 3, 38 3, 17 2, 79︸ ︷︷ ︸][v1 v2
]Signalraum
[v3 v4 v5
]Rauschraum
dim[Signalraum]= 2⇒ p = 2.
![Page 146: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/146.jpg)
Beispiel: Algorithmus I| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.13
Bestimme P(θ) = n||cH(θ)[v3 v4 v5]||2 mit c
H(θ) = [1 e−jω e−j2ω e−j3ω e−j4ω ],wo-
beiω = ω0
∆c sin θ
5 10 15 20 25 30 35 40 45 500
1000
2000
3000
4000
5000
6000
7000
θ
P(θ
)
![Page 147: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/147.jpg)
Beispiel: Algorithmus II| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.14
VSignalraum = [v1 v2] =
−0.3671− 0.0000i 0.5921− 0.0000i−0.0099 + 0.5036i 0.0128− 0.3117i
0.5584 + 0.0109i 0.0399− 0.0088i0.0133− 0.4699i 0.0204− 0.3632i−0.2799− 0.0175i −0.6443− 0.0543i
(3) Löse LS Problem: min
Ψ||J1 · VSignalraum ·Ψ− J2 · VSignalraum||F
⇒ Ψ =
[0.0104− 0.8682i 0.0282− 0.6283i0.0029 + 0.3338i 0.0413− 0.9205i
]
(4) Eigenwerte von Ψ: λ1 = e−jω1 = −0.4317− 0.9018i,λ2 = e−jω2 = 0.4835− 0.8870i
Mit θi = arcsin(
cωiω0∆
): θ1 = 19.9463,
θ2 = 39.9504
M
![Page 148: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/148.jpg)
Anmerkung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.15
Die Verfahren lassen sich auch für die Autokorrelationsmatrizen der Datenangeben, wobei die SWZ von X durch die EWZ der entsprechendenAutokorrelationsmatrix A ersetzt wird (vgl. Zusammenhang:Singulärwertzerlegung↔ Eigenwertzerlegung)
A = XTX = VΣT UTU︸︷︷︸I
ΣVT = VΣ2VT
XTX = A = QΛQT
Q = Vλi = σ2
i ∀ i
Anstatt Singulärwertzerlegung von X (Schritt 1): Schätzung derAutokorrelationsmatrix A = 1
NXTX und Berechnung der
Eigenwertzerlegung von A.Weitere Anwendung: Die Identifikation eines unbekannten Systems durchsein Zustandsraummodell kann ebenfalls mit den hier vorgestelltenKonzepten (QRZ, SWZ, Schiebeinvarianz) durchgeführt werden (nächstesKapitel 5.4).
![Page 149: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/149.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.0
5.4 Systemidentifikation und Zustandsraummodell
![Page 150: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/150.jpg)
Zustandsraummodell| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.1
unbekanntes
System
A, B, C,D
u(n)
m-dim
y(n)
l-dim
Modell:T−1Tx[n + 1]
k×1= T−1 A
k×kTx[n] + T−1 B
k×mu[n]m×1
y[n]l×1
= Cl×k
Tx[n] + Dl×m
u[n]
Gegeben: u[n], y[n] n = 1, 2, . . .
E-/A-Verhalten invariant gegen Transformation T:Gesucht:
[AT, BT, CT, D
]=[T−1AT, T−1B, CT, D
]Z
![Page 151: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/151.jpg)
Kombinierte Gleichungen| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.2
Wiederholtes Einsetzen der Zustandsgleichung in Ausgangsgleichung:
y[n + i− 1] =Cx[n + i− 1] + Du[n + i− 1]=CAx[n + i− 2] + CBu[n + i− 2] + Du[n + i− 1]
=CA2x[n + i− 3] + CABu[n + i− 3] + CBu[n + i− 2] + Du[n + i− 1]
=CA3x[n + i− 4] + CA2Bu[n + i− 4] + CABu[n + i− 3] ++CBu[n + i− 2] + Du[n + i− 1]
...=CAi−1x[n] + CAi−2Bu[n] + CAi−3Bu[n + 1] + . . .
+CBu[n + i− 2] + Du[n + i− 1]
![Page 152: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/152.jpg)
Matrixdarstellung| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.3
Diese Gleichung läßt sich über mehrere Zeitpunkte folgendermaßendarstellen:
Y = M · X+H · U,wobei: X = [x[n] x[n + 1] . . . x[n + N− 1]] : k×N
M =
CCACA2
...CAi−1
: li× k H =
D 0CB DCAB CB D...
.... . .
CAi−2B CAi−3B . . . . . . D
: li×mi
Y =
y[n] y[n + 1] . . . y[n + N− 1]
y[n + 1] y[n + 2] . . . y[n + N]...
.... . .
...y[n + i− 1] y[n + i] . . . y[n + N + i− 2]
: li×N
U = [genau wie Y nur u[n] statt y[n]] : mi×N
![Page 153: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/153.jpg)
Identifikationsalgorithmus I| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.4
Mit N � max(li, mi), i > k
1 Bilde S = [UT YT]
2 Berechne QRZ von S:
S = [UT YT] = Q ·[R0
]= Q
mi li R11 R120 R220 0
mi
li
N−(mi+li)
3 Berechne SWZ von R22 (li× li):
R22 = UΣVT =↑
σk�σk+1
[U1U2] ·k li−k[
ΣSΣR
] [VT
SVT
R
]k
li−k
![Page 154: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/154.jpg)
Identifikationsalgorithmus II| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.5
4 Schiebeinvarianz vonM überträgt sich auf Signalraum von VS (li× k).Mit V(1)S = VS(1 : l(i− 1), :) und V(2)S = VS(l + 1 : li, :) ergibt sich:
minAT||V(1)S AT − V(2)S ||F
woraus man AT erhält. Ferner gilt:
CT = VS(1 : l, :)
5 BT und DT lassen sich ebenfalls aus den berechneten Größen durchLösungen von Gleichungssystemen bestimmen (hier nicht weiterausgeführt, da komplexe Nomenklatur erforderlich, aber prinzipielleinfach).
![Page 155: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/155.jpg)
Beispiel I| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.6
Das Zustandsraummodell eines unbekannten Systems sei
x[n + 1] = Ax[n] + Bu[n]y[n] = Cx[n] + Du[n] ,
wobei
A =
0.8 0 00 0.5 0.60 −0.6 0.5
B =
111
C =
[1 1 1
]D = [1]
Offensichtlich gilt k = 3, m = 1 und l = 1. Eingangssignal:u[n] = sign(w[n]) ∈ {−1,+1}, wobei w[n] Gauss’sches weißes Rauschenist. Messung am Ausgang des Systems liefert: y[n] = y[n] + v[n], wobei v[n]Gauss’sches weißes Rauschen mit SNR = 10dB.
![Page 156: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/156.jpg)
Beispiel II| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.7
Wir wählen i = 5 (groß genug um i > k zu erfüllen) und N = 200.Aus dem Eingangssignal u[n] und dem gemessenen Ausgangssignal y[n]lassen sich U:5× 200 und Y:5× 200 bilden.
1) Bilde S =[UT YT
]: 200× 10
2) QRZ von S liefert:
S = [UT YT] = Q ·[R0
]= Q
5 5 R11 R120 R220 0
5
5
190
![Page 157: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/157.jpg)
Beispiel III| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.8
3) SWZ von R22: 5× 5 liefert die Singulärwerte
σ(R22) = [54.5224 , 19.3371 , 14.8940 , 4.7064 , 4.6391]
und die rechtsseitigen Singulärvektoren
V =
0.8674 −0.2522 0.3016... −0.1582 −0.2608
0.4722 0.4888 −0.3020... 0.1664 0.6475
0.0673 0.6987 −0.0563... 0.2459 −0.6660
−0.1188 0.4522 0.4641... −0.7370 0.1511
−0.0776 0.0686 0.7741... 0.5862 0.2152
.
R22 besitzt drei große Singulärwerte:⇒ k = 3VS = [v1 v2 v3] VR = [v4 v5]
![Page 158: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/158.jpg)
Beispiel IV| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.9
Gleichungssysteme aufstellen und lösen liefert:
AT =
0.4379 0.7893 −0.4045−0.2002 0.5537 0.7718
0.1393 −0.1876 0.8096
BT =
3.63510.2646−0.0588
CT =
[0.8674 −0.2522 0.3016
]DT = [1.0869]
Vergleich: ursprüngliches System↔ identifiziertes System
i λi(A) λi(AT)1 0.8 0.81272 0.5 + j0.6 0.4943+j0.59733 0.5− j0.6 0.4943-j0.5973
![Page 159: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/159.jpg)
Beispiel V| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.10
Ausgangssignal des ursprünglichen (durchgezogene Linie) und desidentifizierten Systems (gestrichelte Linie).
50 100 150 200-8
-6
-4
-2
0
2
4
6
8
10
n
Aus
gang
ssig
naly
[n]
![Page 160: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/160.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 6.0.0
5 Prinzipielle Komponenten Analyse und AnwendungenFundamentale Unterräume einer MatrixPrinzipielle Komponenten einer MatrixParameterschätzung basierend auf SWZ/EWZSystemidentifikation und Zustandsraummodell
6 Wahrscheinlichkeit, Zufallsvariablen und stochastische ProzesseWahrscheinlichkeitsrechnungZufallsvariableZufallsvektorenStochastische Prozesse
7 Informationstheorie und CodierungGrundlagen der InformationstheorieQuellencodierungKanalkapazität und KanalcodierungstheoremGrundlagen des Rechnens auf endlichen KörpernErzeugung von KanalcodesHamming CodesBCH CodesRS Codes
![Page 161: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/161.jpg)
Deterministische/ stochastische Signale| DT/IPLDT/IPLDT/IPL | TGIT | 6.0.1
Zeit-diskretes deterministisches Signal: Werte-kontinuierlicheSignalwerte x(n) lassen sich für jeden Zeitpunkt n ∆t genau angeben(Funktion der Zeit: x(n) = x(n∆t) = sin(2πfn∆t)).
Zeit-diskretes stochastisches Signal: Werte-kontinuierliche Signalwertex(n) lassen sich nicht für jeden Zeitpunkt n genau angeben, aberbestimmte Werte (z.B. Mittelwert von x(n)) gehen gegen einen konstantenWert, wenn Anzahl der Versuche (Messungen)→ ∞. Ferner bleibt dieserWert unverändert, wenn nur eine Untermenge der Signalwerte betrachtetwird (z.B. jeder 4. Abtastwert). Z
Digitales stochastisches Signal: Quantisierte (werte-diskrete) Signalwertetreten zufällig auf und weisenHäufigkeits-/Wahrscheinlichkeitsverteilungen auf (z.B. ein Signal mit 8Quantisierungsstufen/Amplitudenwerten, bei dem die 8 Werte gleichhäufig auftauchen, entspricht einem fairen Würfel mit 8 Seiten).
![Page 162: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/162.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.0
6.1 Wahrscheinlichkeitsrechnung
![Page 163: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/163.jpg)
Nomenklatur in der Wahrscheinlichkeitsrechnung| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.1
• Grundmenge: Φ = {ϕ1, ϕ2, . . . , ϕn} |Φ| = n Ereignismenge
z.B. Würfel: ΦW = {1, 2, 3, 4, 5, 6}, |ΦW | = 6Münze: ΦM = {K, Z}, |ΦM| = 2Messungen: Φx = {xq}
(Menge der möglichen quantisierten Werte)
• Untermenge:A = {ϕk1, ϕk2, . . . , ϕkm} ⊂ Φ; ki ∈ {1, 2, . . . , |Φ|} EreignisA = {2, 4, 6} ⊂ ΦW
Das Ergebnis eines Versuchs ist ein elementares Ereignis ϕi:• A = Φ tritt bei jedem Versuch ein;A = ∅ tritt nie ein• A und B sind disjunkte Ereignisse, falls ϕi ∈ A ⇒ ϕi 6∈ B• A ∪ B tritt ein, falls ϕi ∈ A oder ϕi ∈ B oder ϕi ∈ A ∪ B• A ∩ B tritt ein, falls ϕi ∈ A und ϕi ∈ B
Komplementäres Ereignis A:A∪ A = Φ, A∩ A = ∅
![Page 164: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/164.jpg)
Die Axiome der Wahrscheinlichkeitsrechnung| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.2
Jedem EreignisA wird ein Wert P(A) (Wahrscheinlichkeit des EreignissesA) zugeordnet, so dass
(I) P(A) ≥ 0(II) P(Φ) = 1(III) P(A∪ B) = P(A) + P(B) fallsA∩ B = ∅
(IIIa) P(A1 ∪A2 ∪ . . . ) = P(A1) + P(A2) + . . . fallsAi : disjunkte Mengen
Axiome: Alle Herleitungen basieren nur auf den Axiomen (siehe AnhangFolie 10.0.1)z. B. : P(A∪ B) = P(A) + P(B)− P(A∩ B) ≤ P(A) + P(B)Bew.:A∪ B = A∪ (A ∩ B) (III)⇒ P(A∪ B) = P(A) + P(A ∩ B) (1)
B = (A∩ B) ∪ (A ∩ B) (III)⇒ P(B) = P(A∩ B) + P(A ∩ B) (2)(1)− (2) : P(A∪ B)− P(B) = P(A)− P(A∩ B) �
![Page 165: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/165.jpg)
Definition eines Experiments| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.3
• EndlicheMenge: |Φ| = N < ∞
P(ϕi) = pi für i ∈ {1, 2, . . . , N} Axiome⇒ pi ≥ 0;N
∑i=1
pi = 1
SeiA = {ϕk1, ϕk2, . . . , ϕkr} für ki ∈ {1, 2, . . . , N} dann gilt wegen
A =r⋃
i=1
{ϕki} und {ϕki} ∩ {ϕkj} = ∅ ∀ i, j:
P(A) = P(ϕk1) + · · ·+ P(ϕkr) = pk1 + · · ·+ pkr
• UnendlicheMenge: |Φ| = ∞ (z.B. reelle ZahlenA = {x|x1 ≤ x ≤ x2})
P(x1 ≤ x ≤ x2)P(x ≤ x1)
x1 x2 x
P(x ≤ x1) + P(x1 ≤ x ≤ x2) = P(x ≤ x2) (III)
![Page 166: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/166.jpg)
Beispiele| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.4
1 Fairer Würfel: Φ = {1, 2, 3, 4, 5, 6}, pi =1N = 1
6 ∀ i⇒ P(A) = rN
2 Faire Münze: Φ = {K, Z}, wobei P({K}) = P({Z}) = 12
3 Würfe: Φ = {KKK, KKZ, KZK, KZZ, ZKK, ZKZ, ZZK, ZZZ}P({ϕi}) = pi =
18 ∀ i
Wie groß ist die Wahrscheinlichkeit für das Ereignis:A = {KZZ, ZZZ} (Zahl bei den letzten beiden Würfen)P(A) = P({KZZ}) + P({ZZZ}) = p4 + p8 = 1
8 + 18 = 1
4
3 Abtastwerte eines Signals (siehe Folie 2.1.7)Φ = {−1.4 − 1.2 − 1.0 − 0.8 . . . − 0.2 0.0 + 0.2 . . . + 0.8 + 1.0 + 1.2 + 1.4}P({ϕi}) = { 1
21[
1 0 2 2 3 0 0 0 6 2 2 1 1 0 1]}
Anmerkung: Unendliche Ereignismengen (|Φ| = ∞) tretten bei digitalen(zeit-, wertediskreten) Signalen und Systemen nicht auf.
![Page 167: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/167.jpg)
Bedingte Wahrscheinlichkeit| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.5
Die bedingte Wahrscheinlichkeit des EreignissesA unter der Annahme,dass das EreignisM eingetreten ist, ist
P(A|M) =P(A∩M)
P(M)(P(M) 6= 0) (1)
• WennA ⊂M⇒ A∩M = A ⇒ P(A|M) = P(A)P(M)
≥ P(A)• WennM⊂ A ⇒ A∩M =M⇒ P(A|M) = P(M)
P(M)= 1
Anmerkung: Für bedingte Wahrscheinlichkeiten gelten ebenfalls dieAxiome.
Beispiel: Fairer Würfel: Φ = {1, 2, 3, 4, 5, 6}mit P(ϕi) =16
Wahrscheinlichkeit von ϕ2 = 2 unter der Bedingung, dass gerader Wurfeingetreten ist:
A = {2}; M = {2, 4, 6}
Es gilt P(A) = 16 und P(M) = 3
6 . WegenA ⊂M gilt: P(A|M) =P(A)P(M)
=13
![Page 168: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/168.jpg)
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.6
Schachtel mit 3 weißen und 2 roten Kugeln.Experiment: Ziehe zwei Kugeln hintereinander.Gesucht: Wahrscheinlichkeit für 1. Kugel weiß und 2. Kugel rot
w1w2w2w1w3w1r1w1r2w1
w1w3w2w3w3w2r1w2r2w2
w1r1w2r1w3r1r1w3r2w3
w1r2w2r2w3r2r1r2r2r1} |Φ| = 5 · 4 = 20
Φ = {A =W1∩R2
a)
b) EreignisseW1 = {weiße Kugel im 1. Zug},R2 = {rote Kugel im 2. Zug}.Weiße Kugel gezogen (im ersten Zug); es verbleiben zwei weiße und zweirote Kugeln.
P(W1) =Anzahl weiße Kugeln
Anzahl Kugeln=
35
; P(R2|W1) =Anzahl rote KugelnAnzahl Kugeln
=24
DaW1 ∩R2 = R2 ∩W1 ist, gilt:
P(W1 ∩R2) = P(R2 ∩W1)(1)= P(R2|W1) · P(W1) =
24 · 3
5 = 620
![Page 169: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/169.jpg)
Unabhängigkeit| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.7
Zwei EreignisseA und B sind unabhängig, falls
P(A∩ B) = P(A) · P(B)
Verallgemeinerung: n EreignisseAi sind unabhängig, falls
P(A1 ∩ · · · ∩ An) =n
∏i=1
P(Ai)
für jede mögliche Kombination derA1, . . . ,An.Vergleiche Beispiel: Ziehen von Kugeln.
P(W1 ∩R2) =6206= P(W1) · P(R2) =
35· 2
5=
625
Die beiden Ereignisse sind abhängig, da zweiter Zug vom Ergebnis desersten Zuges abhängt
![Page 170: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/170.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.0
6.2 Zufallsvariable
![Page 171: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/171.jpg)
Definition einer Zufallsvariable (ZV)| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.1
Eine Zufallsvariable (ZV) x erhält man, wenn jedem elementaren Ereignisϕk ∈ Φ eine Zahl x(ϕk) zugeordnet wird. Die Abbildungsmenge X seiX = {x1, . . . , xN} =
⋃k
x(ϕk).
Mit xi = x(ϕi) gilt:
(I) {xj ≤ x(ϕk) ≤ xi} ⊂ X definiert ein EreignisA = {ϕk|xj ≤ x(ϕk) ≤ xi} für alle xi ∈ X
(II) |Φ| = |X| = N
Φ
ϕ1
ϕ
ϕΝ
k
x x jx i x k x N1
Α
Bemerkung: Bei einer komplexen ZV z = x + jy sind der Realteil x und derImaginärteil y jeweils reelle ZV.
Z
![Page 172: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/172.jpg)
Beispiele: ZV| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.2
a) Würfelexperiment: Φ = {1, 2, 3, 4, 5, 6} 10
a1) x(ϕi) = i, X = Φ, {2 ≤ x(ϕi) ≤ 3} = {2, 3} ⇒ A = {2, 3}a2) x(ϕi) = i2, X = {1, 4, 9, 16, 25, 36}, {2 ≤ x(ϕi) ≤ 10} = {4, 9}⇒wie a1)
b) Münzwurf: Φ = {ϕ1, ϕ2} = {K, Z},
x(ϕi) =
{+1 für i = 1 (K)−1 für i = 2 (Z) X = {+1, −1, }
c) Gauss’sches weißes Rauschen: (zeit-diskrete Abtastwerte x(n))
Quantisierung: x(ϕi) = xi =
−3.0 für x(n) < −2.75−2.5 für − 2.75 ≥ x(n) < −2.25
...+3.0 für x(n) ≥ +2.75
X = {−3.0,−2.5,−2.0, . . . ,−0.5, 0.0,+0.5, . . . ,+2.0,+2.5,+3.0}
10000 Abtastwerte x(n): {+1.6589,+0.7058,−0.1041,−1.0279,+2.0692, . . .}10000 Ereignisse xi: {+1.5,+0.5,−0.0,−1.0,+2.0, . . .}
![Page 173: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/173.jpg)
Wahrscheinlichkeitsdichtefunktion (WDF)| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.3
p(xi) = P({ϕk|x(ϕk) = xi})⇒WDF: p(x) =∞
∑i=−∞
p(xi) δ(x− xi)
a) p(xi) =16 ∀ i
16
1 2 3 4 5 6 xi
p(xi)a1)16
p(xi)a2)
1 4 xi3625169
b) p(xi) =12 ∀ i c)
p(xi)
1
1/2
-1 xi −3 −2 −1 0 1 2 30
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
0.18
x
Wahrs
chein
lichkeitsdic
hte
![Page 174: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/174.jpg)
Wahrscheinlichkeitsverteilungsfunktion (WVF)| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.4
f (xi) = P({ϕk|x(ϕk) ≤ xi}) =i
∑k=1
p(xk)
Eigenschaften:1 Es gilt f (−∞) = 0 und f (+∞) = 12 Falls xs < xt, dann f (xs) ≤ f (xt) (monoton steigende Sequenz)3 P({x(ϕk) = xi}) = p(xi) = f (xi)− f (xi−1)
1 2 3 4 5 6 xi
16
1 F(xi)a1)
1
16
1 F(xi)a2)
4 xi3616 259
F(xi)
xi-1 1
12
1
b)
−3 −2 −1 0 1 2 30
0.2
0.4
0.6
0.8
1
x
Wah
rsch
einl
ichk
eits
verte
ilung
![Page 175: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/175.jpg)
Mittelwert und Varianz| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.5
Mit x = [x(ϕ1), . . . , x(ϕN)]T = [x1 . . . xN]
T
und p = [p(x1), . . . , p(xN)]T = [p1 . . . pN]
T
gilt für den Mittelwert der ZV x(ϕi) folgende Gleichung:
ηx = E[x(ϕ)
]= xTp =
N
∑i=1
pi xi
und die Varianz ergibt sich mit v = [(x1 − ηx)2 . . . (xN − ηx)2]T zu:
σ2x = E
[(x(ϕ)− ηx)
2] = vTp =N
∑i=1
pi(xi − ηx)2
![Page 176: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/176.jpg)
Beispiele| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.6
a1) x = [1 2 3 4 5 6]T,p = 16 [1 1 1 1 1 1]T, ηx = xT · p = 3.5
v = 14 [25 9 1 1 9 25]T, σx =
√vT · p = 1.7078
a2) x = [1 4 9 16 25 36]T,p = 16 [1 1 1 1 1 1]T, ηx = xT · p = 91
6 = 15.1667v = 1
36 [7225 4489 1369 25 3481 15625]T, σx =√vT · p = 12.2122
b) x = [−1 + 1]T,p = 12 [1 1]T, ηx = xT · p = 0
v = [1 1]T, σx =√vT · p = 1
c) x = [−3 − 2.5 − 2 − 1.5 − 1 − 0.5 ± 0 + 0.5 + 1 + 1.5 + 2 + 2.5 + 3]T,p = [0.003 0.009 0.029 0.065 0.116 0.174 0.201 0.177 0.120 . . .]T
ηx = xT · p = 0.0019(≈ 0.0 nur 10000 Werte im Experiment)v = [9.00 6.25 4.00 2.25 1.00 0.25 0.00 0.25 1.00 2.25 4.00 6.25 9.00]T,σx =
√vT · p = 1.0081(≈ 1.0)
d) Berechne ηx, σx für Signal von Folie 2.1.7.
![Page 177: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/177.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.0
6.3 Zufallsvektoren
![Page 178: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/178.jpg)
Zweidimensionale Zufallsvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.1
Zwei Zufallsvariablen: x(θi), θi ∈ Θ, |Θ| = M undy(ψj), ψj ∈ Ψ, |Ψ| = N.
Zwei Abbildungsmengen: X = {x1 . . . xM} =⋃
i x(θi) undY = {y1 . . . yN} =
⋃j y(ψj).
Verbundverteilung:Mit Φ = Θ×Ψ = {(θi, ψj) ∀ i, j}, |Φ| = M ·N gilt:
p(xi, yj) = P({θi|x(θi) = xi} ∩ {ψj|y(ψj) = yj}
)∀ i, j
Es gilt:• ∑
i,jp(xi, yj) = 1
• f (xm, yn) = P({θi|x(θi) ≤ xm} ∩ {ψj|y(ψj) ≤ yn}
)=
m
∑i=1
n
∑j=1
p(xi, yj)
• P = [p(xi, yj)]M×N F = [f (xm, yn)]M×N
![Page 179: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/179.jpg)
Beispiel I: Würfel undMünze| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.2
10
Münze: Θ = {θ1, θ2}, |θ| = 2Würfel: Ψ = {ψ1, ψ2, . . . , ψ6}, |ψ| = 6
ZV1: x(θi) =
{+1 for i = 1−1 for i = 2; X = {+1 − 1}
ZV2: y(ψj) = j for j = 1, 2, . . . , 6; Y = {1 2 3 4 5 6}
Verbundverteilungen:Mit Φ = Θ×Ψ = {(θi, ψj) ∀ i, j}, |Φ| = 2 · 6 = 12 gilt:
p(xi, yj) = P({θi|x(θi) = xi} ∩ {ψj|y(ψj) = yj}
)=
112
P =112
[1 1 1 1 1 11 1 1 1 1 1
]F =
112
[1 2 3 4 5 62 4 6 8 10 12
]
![Page 180: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/180.jpg)
Beispiel II: Gauss’sches weißes Rauschen 2D| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.3
P und F sind 13× 13 Matrizen (hier graphische Darstellung derMatrixelemente)
P F
−3−2
−10
12
3
−3
−2
−1
0
1
2
3
0
0.005
0.01
0.015
0.02
0.025
0.03
0.035
xy
Wahrs
chein
lichkeitsdic
hte
−3−2
−10
12
3
−3−2
−10
12
30
0.2
0.4
0.6
0.8
1
xy
Wah
rsch
einl
ichk
eits
verte
ilung
M
![Page 181: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/181.jpg)
Verbundwahrscheinlichkeit und bedingte Wahrscheinlichkeit| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.4
Gegeben seien zwei ZV x und y mit Verbundverteilung P = [p(xi, yj)]M×N.Daraus lassen sich die folgenden Verteilungen bestimmen:
p(xi) =N
∑j=1
p(xi, yj) und p(yj) =M
∑i=1
p(xi, yj)
Ferner gilt (vgl. Folie 6.1.5):
p(xi, yj) = p(xi ∩ yj) = p(xi) · p(yj|xi) ⇒ p(yj|xi) =p(xi, yj)
p(xi)
p(xi, yj) = p(yj ∩ xi) = p(yj) · p(xi|yj) ⇒ p(xi|yj) =p(xi, yj)
p(yj)
Das folgende Beispiel zeigt die Berechnungen dieser Verteilungen auseiner gegebenen Verbundverteilung P = [p(xi, yj)]4×4.
![Page 182: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/182.jpg)
Beispiel: Berechnung| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.5
yj p(xi) p(yj|xi)p(xi, yj) 0 1 2 3 0 1 2 3 ∑
0 1/8 1/16 1/16 1/4 1/2 1/4 1/8 1/8 1/2 1xi 1 1/16 1/8 1/16 0 1/4 1/4 1/2 1/4 0 1
2 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 13 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 1
p(yj) 1/4 1/4 1/4 1/4 ∑ = 10 1/2 1/4 1/4 1
p(xi|yj) 1 1/4 1/2 1/4 02 1/8 1/8 1/4 03 1/8 1/8 1/4 0∑ 1 1 1 1
![Page 183: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/183.jpg)
Wahrscheinlichkeiten bei Übertragungssystem| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.6
Eingangssignal x(n) liefert Zufallsvariable x mit X = {x1, . . . , xM}Ausgangssignal y(n) liefert Zufallsvariable y mit Y = {y1, . . . , yN}• p(xi): Wahrscheinlichkeitsverteilung der Eingangsdaten.• p(yj): Wahrscheinlichkeitsverteilung der Ausgangsdaten.• p(xi, yj): Verbundverteilung, d.h. Wahrscheinlichkeit, dass yjempfangen wurde und xi gesendet wurde.• p(yj|xi): Wahrscheinlichkeit, dass yj empfangen wird, unter derBedingung, dass xi gesendet wurde.• p(xi|yj): Wahrscheinlichkeit, dass xi gesendet wurde, unter derBedingung, dass yj empfangen wurde.
Beispiel:Alphabet des Senders: X = {00, 01, 10, 11}, (Signal mit 4 Quantisierungsstufen)Alphabet des Empfängers: Y = {00, 01, 10, 11}
![Page 184: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/184.jpg)
Korrelation und Kovarianz| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.7
Korrelation:rxy = E{x y} = ∑
i,jxi yj pij = xT · P · y
Kovarianz:cxy = rxy − ηx · ηy ; ηx = E{x}, ηy = E{y}
Zwei ZV x und y sind unkorreliert, falls
cxy = 0 ; E{xy} = E{x} · E{y}
Zwei ZV x und y sind orthogonal, falls
rxy = E{xy} = 0 x⊥y
![Page 185: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/185.jpg)
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.8
• Würfel/Münze x = [+1 − 1]; y = [1 2 3 4 5 6]T; ηx = 0; ηy = 3.5;P = [pij]2×6 mit pij =
112
rxy = xTPy = 0
• Zwei Würfel: x = y = [1 2 3 4 5 6]T; ηx = ηy = 3.5;P = [pij]6×6 mit pij =
136
rxy = xTPy = 12.25 6= 0cxy = rxy − ηx · ηy = rxy − (3.5)2 = 0
• x = y = [−3 − 2.5 − 2 − 1.5 − 1 − 0.5 0 + 0.5 + 1 + 1.5 + 2 + 2.5 + 3]T;ηx = ηy = 0; PMatrix gemäß Folie 6.3.3rxy = xTPy = 0
M
![Page 186: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/186.jpg)
Mehrdimensionale Zufallsvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.9
n Zufallsvariablen xi = xi(ϕk), i = 1, . . . , n⇒ x = [x1 x2 . . . xn]T
Interesse an gegenseitigen Abhängigkeiten (Korrelationen)
Korrelationsmatrix: Rn = [rij] rij = E{xi xj} = xTi Pijxj
Kovarianzmatrix: Cn = [cij] cij = rij − ηi · ηj
Mit x = [x1 x2 . . . xn]T gilt:
Rn = E{x xT} =
E{x1 x1} E{x1 x2} · · · E{x1 xn}E{x2 x1} E{x2 x2} · · · E{x2 xn}
......
. . ....
E{xn x1} E{xn x2} · · · E{xn xn}
Bem.: Für komplexe ZV gilt: rij = E{xi x∗j }
cij = rij − ηiη∗j
Rn = E{x xH}
![Page 187: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/187.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.0
6.4 Stochastische Prozesse
![Page 188: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/188.jpg)
Definition eines stochastischen Prozesses| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.1
Ein stochastischer Prozess ist eine zeitabhängige Zufallsvariable, wobeifür jeden Zeitpunkt 0 ≤ n ≤ N− 1 eine Zufallsvariable x(n, ϕk) existiert,wobei ϕk ∈ Φ (Φ Menge der möglichen Quantisierungsstufen). Wir nehmenan das ∞-viele Realisierungen (z.B. Messungen eines Signals) desProzesses existieren.
Wir können vier Bedeutungen unterscheiden:• ϕk und n sind variabel. x(n, ϕk) ist ein stochastischer Prozess (eineSchar von Mustersignalen).• ϕk ist fest und n ist variabel. Wir erhalten eine Realisierung desstochastischen Prozesses, d.h. ein (ganz normales) digitales Signalx(n), wobei die Werte von x(n) ∈ Φ• ϕk ∈ Φ ist variable und n ist fest. Für den Zeitpunkt n stellt x(n) eineZV dar.• Für ein festes n und festes ϕk ist x(n, ϕk) ein (ganz gewöhnlicher)Abtastwert.
![Page 189: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/189.jpg)
Realisierungen eines Stochastischen Prozesses| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.2
0 10 20 30 40 50 60 70 80 90 100−4
−2
0
2
4
Realisierung 1
x(n
)
0 10 20 30 40 50 60 70 80 90 100−4
−2
0
2
4
Realisierung 2
x(n
)
0 10 20 30 40 50 60 70 80 90 100−4
−2
0
2
4
Realisierung ∞
x(n
)
...
![Page 190: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/190.jpg)
Stationäre stochastische Prozesse (SSP)| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.3
Für jeden Zeitpunkt n existieren Beschreibungsgrößen (Mittelwert,Varianz) von ZV.Mittelwert: η(n) = E
{x(n)
}Autokorrelation: r(n, k) = E
{x(n)x(k)
}für k = n− l, l = 0, 1, 2, . . .
Autokovarianz: c(n, k) = E{(
x(n)− η(n))(
x(k)− η(k))}
= r(n, k)− η(n)η(k)Ein stochastischer Prozess ist stationär (zeitinvariant), wenn seinestatistischen Eigenschaften invariant bezüglich einer Zeitverschiebungsind, d.h.
η(n) = η ∀ nr(n, k) = r(k) ∀ nc(n, k) = c(k) ∀ n
Bem.:Wahrscheinlichkeitsdichtefunktion 6= f (n)
Bem.: r(0) = E{|x(n)|2
}< ∞ (Quadratischer Mittelwert)
c(0) = E{|x(n)− η|2
}(Varianz)
![Page 191: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/191.jpg)
Beispiel: Autokorrelation| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.4
Gauss’sches weißes Rauschen: η = E{
x(n)}= 0 für n = 0, 1, 2, . . .
r(k) = E{
x(n)x(n− k)}=
{σ2
x für k = 00 sonst
Der Rauschprozess enthält keine Korrelationen zwischen den Daten.
Sprachsignal: Die Abtastwerte eines Sprachsignals weisen Korrelationen auf.Für n = 12880 Abtastwerte eines Gauss’schen weißen Rauschprozesses und einesSprachsignals wurden die Korrelationen mit den benachbarten Werten fürk = −20 . . . + 20 berechnet und in folgenden Abbildungen dargestellt.
−20 −15 −10 −5 0 5 10 15 20−1
−0.8
−0.6
−0.4
−0.2
0
0.2
0.4
0.6
0.8
1Autokorrelation: Rauschen
k
r(k)
−20 −15 −10 −5 0 5 10 15 20−1
−0.8
−0.6
−0.4
−0.2
0
0.2
0.4
0.6
0.8
1Autokorrelation: Sprachsignal
k
r(k)
![Page 192: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/192.jpg)
Autokorrelationsmatrix eines SSP| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.5
Mit x(n) =[x(0) x(1) . . . x(N− 1)
]T ergibt sich dieAutokorrelationsmatrix A des SSP zu:
A=E{x(n) x(n)T} =
=
E{
x(0) x(0)}
E{
x(0) x(1)}
· · · E{
x(0) x(N− 1)}
E{
x(1) x(0)}
E{
x(1) x(1)}
· · · E{
x(1) x(N− 1)}
......
. . ....
E{
x(N− 1) x(0)}
E{
x(N− 1) x(1)}· · · E
{x(N− 1) x(N− 1)
} =
=
r(0) r(1) r(2) · · · r(N− 1)
r(−1) r(0) r(1) · · · r(N− 2)r(−2) r(−1) r(0) · · · r(N− 3)...
......
. . ....
r(−N + 1) r(−N + 2) r(−N + 3) · · · r(0)
(1)
sym. Toeplitz-Matrix (N×N) T
![Page 193: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/193.jpg)
Schätzung der statistischen Beschreibungsgrößen| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.6
Problem: In der Praxis nur eine Zeitreihe x(n) (eine Realisierung) verfügbar:
⇒ Ensemble Mittelwerte (Mittelwerte über die Realisierungen) werdendurch Zeit Mittelwerte (Mittelwerte über die Abtastwerte) ersetzt.
(z.B. 1000 Realisierungen mit 100 Abtastzeitpunkten werden durch 100000Abtastzeitpunkte einer Realisierung ersetzt) ! SSP !
Annahme: pij = const. ∀ i, j
Mittelwert: η =1N
N−1
∑n=0
x(n)
Autokorrelation: r(k) =1N
N−1
∑n=0
x(n)x(n− k) für−N + 1 ≤ k ≤ N−1Autokovarianz: c(l) = r(l)− η
![Page 194: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/194.jpg)
Schätzung von r(l)mit MVM| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.7
x = [x(N− 1) x(N− 2) . . . x(1) x(0)]T;
r = [r(−N + 1) . . . r(−1) r(0) r(1) . . . r(N− 1)]T
X =
x(0) 0 0 · · · 0x(1) x(0) 0 · · · 0x(2) x(1) x(0) · · · 0...
......
. . ....
x(N− 1) x(N− 2) x(N− 3) · · · x(0)0 x(N− 1) x(N− 2) · · · x(1)0 0 x(N− 1) · · · x(2)...
......
. . ....
0 0 0. . . x(N− 1)
Toeplitz: (N + m− 1)×m
r =1NXx (vgl. Faltung; Folie 3.3.11)
⇒ A gemäß (1) aus r(l) liefert Schätzung für Autokorrelationsmatrix A.Anmerkung: Auch A = 1
NXTX liefert Schätzung (A keine Toeplitz Struktur).
M
![Page 195: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/195.jpg)
Ergodizität| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.8
Schätzung nur sinnvoll, falls die Zeitmittelwerte η, r, c gegen die
Ensemblemittelwerte η, r, c konvergieren.
Theorem (Ergodizität desMittelwerts). Für den mittleren quadratischen
Fehler (Konvergenzkriterium) des Mittelwerts eines ergodischen
stationären stochastischen Prozesses x(n), der asymptotisch unkorreliert
(c(l) = 0 für N → ∞) ist, gilt:
limN→∞
E{|η − η|2} = 0
Anmerkung: Der Beweis ist im Anhang (siehe Folien 10.0.2 und 10.0.3) zu
finden. In ähnlicher Weise lässt sich auch die Ergodizität von
Autokorrelation und Autokovarianz zeigen.
![Page 196: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/196.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 7.0.0
5 Prinzipielle Komponenten Analyse und AnwendungenFundamentale Unterräume einer MatrixPrinzipielle Komponenten einer MatrixParameterschätzung basierend auf SWZ/EWZSystemidentifikation und Zustandsraummodell
6 Wahrscheinlichkeit, Zufallsvariablen und stochastische ProzesseWahrscheinlichkeitsrechnungZufallsvariableZufallsvektorenStochastische Prozesse
7 Informationstheorie und CodierungGrundlagen der InformationstheorieQuellencodierungKanalkapazität und KanalcodierungstheoremGrundlagen des Rechnens auf endlichen KörpernErzeugung von KanalcodesHamming CodesBCH CodesRS Codes
![Page 197: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/197.jpg)
Einführung| DT/IPLDT/IPLDT/IPL | TGIT | 7.0.1
Die Informationstheorie liefert die theoretischen Grundlagenzum Entwurf von Codes.Codierung: Abbildung einer Informationsfolge i in ein Codewort c
i = [i0 i1 . . . ik−1]T ∈ Fk → c = [c0 c1 . . . cn−1]
T ∈ Fn
Lineare Codes: i ∈ Fk → c ∈ Fn : c = Gimit G ∈ Fn×k
z. B. F = GF(2) = {0, 1}, für k = 3, n = 5: i = [101]T → c = [10110]T).Coderate: Rc =
kn
• Quellcodierung: Entfernung von Redundanz (n < k,Datenkompression).z. B. MP3, JPEG, MPEG, DivX• Kanalcodierung: Schutz der Daten vor Übertragungsfehlern durchHinzufügen von Redundanz (n > k); erlaubt Erkennung/Korrektur vonFehlern.z. B. Speichermedien (CD, DVD, Festplatte), Mobilfunk (GSM, UMTS),Modem (Standard-, DSL-, Kabelmodem), Rundfunk/Fernsehen (DAB,DVB)
Z
![Page 198: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/198.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.0
7.2 Grundlagen der Informationstheorie
![Page 199: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/199.jpg)
Informationsgehalt und Entropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.1
X = {x1, . . . , xN}: Zeichenvorrat einer diskreten Quelle (Zufallsvariable).p(xi): Auftrittswahrscheinlichkeiten der Zeichen xi.Def.: Der Informationsgehalt eines einzelnen Zeichens xi sei:
I(xi) = log2
(1
p(xi)
)= − log2 (p(xi)) ; (bit/Zeichen)
Def.: Die Entropie H(X) beschreibt den mittleren Informationsgehalt einesZeichenvorrats:
H(X) = ∑xi∈X
p(xi)I(xi) = − ∑xi∈X
p(xi) log2(p(xi))
• H(X) ist eine Funktion, die ausschließlich auf denWahrscheinlichkeiten p(xi) der Zeichen basiert (nicht auf den Wertender Zeichen). !
• H(X) kann auch als der Erwartungswert (Mittelwert) von− log2(p(xi))
betrachtet werden.
![Page 200: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/200.jpg)
Beispiel: Entropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.2
X = {0, 1}mit p(0) = pb und p(1) = 1− pb:H(X) := S(pb) =
= −pb log2(pb)− (1− pb) log2(1− pb)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.2
0.4
0.6
0.8
1
Entropie
pb
S(p
b)
X = {a, b, c, d}mit p(a) = 1/2, p(b) = 1/4, p(c) = p(d) = 1/8:
H(X) = −12
log2(12)− 1
4log2(
14)− 2
18
log2(18) =
74(bits/Zeichen)
Vergleiche: Binärcodierung von 4 Zeichen: a→ 00, b→ 01, c→ 10, d→ 11.Hierbei nehmen wir an, dass
p(a) = p(b) = p(c) = p(d) = 1/4 ⇒ H(X) = 2 (bits/Zeichen)
![Page 201: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/201.jpg)
Verbundentropie und bedingte Entropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.3
Def.: Die Verbundentropie H(X, Y) eines Paares von zweiZeichensätzen/ZVs X und Y mit Verbundverteilung p(xi, yj) ist
H(X, Y) = − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi, yj))
Def.: Die bedingte Entropie H(Y|X), d.h. der mittlere Informationsgehaltvon Y unter der Bedingung, dass die Information von X bekannt ist, ist
H(Y|X) = − ∑xi∈X
p(xi)H(Y|X = xi) =
= − ∑xi∈X
p(xi) ∑yj∈Y
p(yj|xi) log2(p(yj|xi)) =
vgl. Folie (6.3.4) = − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(yj|xi))
![Page 202: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/202.jpg)
Kettenregel der Verbundentropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.4
Theorem: Die Verbundentropie eines Paares von ZVs H(X, Y) ergibt sichaus der Summe der Entropie einer ZV und der bedingten Entropie deranderen ZV.
H(X, Y) = H(X) + H(Y|X) = H(Y) + H(X|Y) (11)
Bew.:H(X, Y) = − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi, yj)) =
vgl. Folie (6.3.4) = − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi)p(yj|xi)) =
= − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi))−∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(yj|xi)) =
= − ∑xi∈X
p(xi) log2(p(xi))− ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(yj|xi)) =
= H(X) + H(Y|X)
Anmerkung: Für unabhängige ZV gilt:p(xi, yj) = p(xi) · p(yj)⇒ H(X, Y) = H(X) + H(Y)
![Page 203: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/203.jpg)
Relative Entropie und Transinformationsgehalt| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.5
Def: Die relative Entropie (Kullback Leibner Distanz) zwischen zweiVerteilungen p(xi) und q(xi) einer ZV X ist:
D(p‖q) = ∑xi∈X
p(xi) log2
(p(xi)
q(xi)
)Anm.: Keine Distanz im Sinne von Folie (2.4.5), da Dreiecksungleichungnicht erfüllt. Man verwendet: 0 log2(
0q ) = 0 und p log2(
p0 ) = ∞.
Def: Der Transinformationsgehalt I(X, Y) ist der mittlereInformationsgehalt, den eine ZV X über die andere ZV Y besitzt:
I(X, Y) = ∑xi∈X
∑yj∈Y
p(xi, yj) log2
(p(xi, yj)
p(xi)p(yj)
)
Anm.: Für unabhängige ZV gilt: p(xi, yj) = p(xi) · p(yj)⇒ I(X, Y) = 0
![Page 204: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/204.jpg)
Zusammenhang: Entropie↔ Transinformationsgehalt| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.6
Wieder durch Anwendung von Folie (6.3.4) ergibt sich:
I(X, Y) = ∑xi∈X
∑yj∈Y
p(xi, yj) log2
(p(xi, yj)
p(xi)p(yj)
)=
= ∑xi∈X
∑yj∈Y
p(xi, yj) log2
(p(yj) · p(xi|yj)
p(xi) · p(yj)
)=
= − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi)) + ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi|yj)) =
= − ∑xi∈X
p(xi) log2(p(xi))−− ∑
xi∈X∑
yj∈Yp(xi, yj) log2(p(xi|yj))
=
= H(X)−H(X|Y)= H(Y)−H(Y|X) = siehe Gl. (11)
= H(X) + H(Y)−H(X, Y)
![Page 205: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/205.jpg)
Graphische Veranschaulichungen| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.7
Entropien von Infomationsmengen:
I(X,Y)
H(X,Y)
H(Y|X)H(X|Y)
H(X) H(Y)
H(X, Y) = H(X) + H(Y|X)
= H(Y) + H(X|Y)
Entropien bei Übertragungssystem:
H(Y)H(X)
H(X|Y) Verlustentropie
H(Y|X) Fehlinformation
I(X,Y)
Kanal
Äquivokation
Irrelevanz
I(X, Y) = H(X)−H(X|Y)= H(Y)−H(Y|X) =
= H(X) + H(Y)−H(X, Y)
![Page 206: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/206.jpg)
Wiederholung| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.8
(Wiederholung von Folie 6.3.5)
yj p(xi) p(yj|xi)p(xi, yj) 0 1 2 3 0 1 2 3 ∑
0 1/8 1/16 1/16 1/4 1/2 1/4 1/8 1/8 1/2 1xi 1 1/16 1/8 1/16 0 1/4 1/4 1/2 1/4 0 1
2 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 13 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 1
p(yj) 1/4 1/4 1/4 1/4 ∑ = 10 1/2 1/4 1/4 1
p(xi|yj) 1 1/4 1/2 1/4 02 1/8 1/8 1/4 03 1/8 1/8 1/4 0∑ 1 1 1 1
![Page 207: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/207.jpg)
Beispiel: Berechnung der informationstheoretischen Größen| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.9
H(X)=−4
∑i=1
p(xi) log2(p(xi)) = −12
log2
(12
)− 1
4log2
(14
)− 2
18
log2
(18
)=
74
H(Y)= −4
∑j=1
p(yj) log2(p(yj)) = −414
log2
(14
)= 2
H(X, Y)= −4
∑i=1
4
∑j=1
p(xi, yj) log2(p(xi, yj)) =
= −61
16log2
(116
)− 2
18
log2
(18
)− 4
132
log2
(132
)− 1
4log2
(14
)=
278
H(Y|X)= −4
∑i=1
p(xi)H(Y|X = xi) =
=12
H(14
,18
,18
,12) +
14
H(14
,12
,14
, 0) + 218
H(14
,14
,12
, 0) =138
H(X|Y)= −4
∑i=1
p(yj)H(X|Y = yj) =118
I(X, Y)= H(X)−H(X|Y) = 74− 11
8= H(Y)−H(Y|X) = 2− 13
8=
38
![Page 208: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/208.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.0
7.3 Quellencodierung
![Page 209: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/209.jpg)
Codierung von Quellen| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.1
Die N Zeichen einer Quelle definieren eine ZV X, |X| = N. Jedem xi ∈ X mitWahrscheinlichkeit p(xi) wird ein binäres Codewort C(xi) zugeordnet,wobei die jeweilige Codewortlänge `(xi) ist. Diemittlere CodewortlängeL(X) ergibt sich wie folgt:
L(X) = ∑xi∈X
p(xi)`(xi)
Beispiel: Unterschiedliche Codes für englischen Text.
ASCII-Code Morse Code Huffman Codei Zeichen xi p(xi) C(xi) C(xi) C(xi)1 A x1 0.0642 01000001 01 01002 C x2 0.0218 01000011 1010 111113 B x3 0.0127 01000010 1000 0111111...
......
......
......
z. B. für i = 2 gilt: xi ≡ C und `(xi) = 8 (ASCII) , `(xi) = 4 (Morse), `(xi) = 5(Huffman)
![Page 210: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/210.jpg)
Eigenschaften von Quellcodes| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.2
• Der Code C ist nicht-singulär, wenn xi 6= xj ⇒ C(xi) 6= C(xj)
• Die Erweiterung eines Codes C ist: C(x1)C(x2) . . . C(xk) = C(x1x2 . . . xk)z. B. C(x1) = 00; C(x2) = 11;→ C(x1x2) = 0011• Der Code C ist eindeutig decodierbar, falls seine Erweiterung nichtsingulär ist.• Der Code C ist ein Präfix-Code, falls kein Codewort den Beginn einesanderen Codewortes darstellt.
nicht-singulär, eindeutigaber nicht decodierbar,eindeutig aber
xi singulär decodierbar kein Präfix-Code Präfix-Codex1 00 0 10 0x2 01 010 00 10x3 11 01 11 110x4 00 10 110 111
![Page 211: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/211.jpg)
Konstruktion eines Quellcodes| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.3
Die xi ∈ X seien entsprechend ihrer Wahrscheinlichkeiten geordnet, d.h.p(x1) ≥ p(x2) ≥ . . . ≥ p(xN). Daraus ergeben sich die akkumulierten
Wahrscheinlichkeiten Pi =i−1
∑j=1
p(xj). Die Nachkommastellen der
Binärdarstellung von Pi liefern die Codewörter (Präfix Code), wobei dieCodewortlänge folgendermaßen gewählt wird:
12`(xi)
≤ p(xi) <1
2`(xi)−1
Beispiel: N = 5 Zeichen mit Wahrscheinlichkeiten p(xi) gegeben:
xi p(xi) Pi Pi binär `(xi) Codex1 0,33 0,00 0,000000... 2 00x2 0,24 0,33 0,010101... 3 010x3 0,19 0,57 0,100100... 3 100x4 0,15 0,76 0,110000... 3 110x5 0,09 0,91 0,111010... 4 1110
∑ = 1
H(X) =−5
∑i=1
p(xi) log2(p(xi))
= 2.2004
L(X) =5
∑i=1
p(xi)`(xi)
= 2.7600
![Page 212: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/212.jpg)
Quellencodierungstheorem (QCT)| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.4
Theorem: Sei `(xi) die optimale (minimale) Codewortlänge und
L(X) =N
∑i=1
p(xi)`(xi) die entsprechende optimale mittlere Codewortlänge,
dann giltH(X) ≤ L(X) < H(X) + 1
Bew.: 1) Wegen 12`(xi)
≤ p(xi) <1
2`(xi)−1 gilt:
log2(p(xi)) < −(`(xi)− 1) ⇒ `(xi) < 1− log2(p(xi))
Damit gilt für die mittlere Codewortlänge:
L(X) = ∑xi∈X
p(xi)`(xi) < ∑xi∈X
p(xi) (1− log2(p(xi))) =
= − ∑xi∈X
p(xi) log2(p(xi)) + ∑xi∈X
p(xi) =
= H(X) + 1
![Page 213: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/213.jpg)
Beweis QCT: Fortsetzung| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.5
2) Mit log2(s) =ln(s)ln(2) ≤ 1
ln(2) (s− 1) und 12`(xi)
≤ p(xi) ergibt sich:
H(X)− L(X) = − ∑xi∈X
p(xi) log2(p(xi))− ∑xi∈X
p(xi)`(xi) =
= − ∑xi∈X
p(xi) log2(p(xi)) + ∑xi∈X
p(xi) log2
(1
2`(xi)
)=
= ∑xi∈X
p(xi) log2
( 12`(xi)
p(xi)
)≤
≤ 1ln(2) ∑
xi∈Xp(xi)
( 12`(xi)
p(xi)− 1
)=
=1
ln(2) ∑xi∈X
(1
2`(xi)− p(xi)
)≤ 0
![Page 214: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/214.jpg)
Binärbaum| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.6
Der folgende Binärbaum gibt die Codeworte des Beispiels von Folie (7.2.3)wieder.
0 1
0 1 0 1
0 0 0 1
0
x1
x2 x3 x4
x5
Der Code erfüllt das QCT gemäß Konstruktionsvorschrift, d.h.H(X) ≤ L(X) < H(X) + 1 wird erfüllt. Da aber nicht alle Endkonten desBinärbaumes durch gültige Codeworte belegt sind, existiert ein Code mitL∗(X) < L(X).
⇒ Huffman-Code
![Page 215: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/215.jpg)
Codierung von Zeichenketten| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.7
Für Zeichenketten, die sich aus M Einzelzeichen der gleichenZeichenmenge zusammensetzen (X(i) = X ∀i) und bei denen dieEinzelzeichen statistisch unabhängig sind, gilt (vgl. Folie (7.1.4)):
H(X(1), X(2), . . . , X(M)) ≤ L(X(1), X(2), . . . , X(M)) < H(X(1), X(2), . . . , X(M)) + 1
M ·H(X) ≤ M · L(X) < M ·H(X) + 1
H(X) ≤ L(X) < H(X) + 1/M
Je mehr Zeichen zusammengefasst werden, umso näher geht die mittlereCodelänge L(X) an H(X). Dafür nimmt maxi `(xi) zu und es sind mehrCodeworte erforderlich.
![Page 216: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/216.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.0
7.4 Kanalkapazität und Kanalcodierungstheorem
![Page 217: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/217.jpg)
Kanalkapazität| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.1
Def.: Die Kanalkapazität K eines diskreten Kanals ohne Gedächtnis ist derTransinformationsgehalt I(X; Y), der maximal übertragen werden kann.
K = maxp(xi)
I(X, Y) = maxp(xi)
(H(X)−H(Y|X)),
wobei das Maximum über alle möglichen Verteilungen p(xi) gebildet wird.Beispiel: Fehlerfreier Kanal (0 −→ 0 1 −→ 1)
yj p(xi) p(yj|xi)p(xi, yj) 0 1 0 1xi 0 1/2 0 1/2 1 0
1 0 1/2 1/2 0 1p(yj) 1/2 1/2 ∑ = 1
p(xi|yj) 0 1 01 0 1
H(X) = − 12 log2(
12 )− 1
2 log2(12 ) = 1
H(Y) = H(X)H(Y|X) = 1
2 H(1, 0) + 12 H(0, 1)
= −1 log2(1)− 0 log2(0) = 0I(X, Y) = H(X)−H(Y|X) = 1
für p(x1) = p(x2) = 1/2
![Page 218: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/218.jpg)
Beispiel: Binärer symmetrischer Kanal| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.2
x1 = 0
1− pb
pb
pb
1− pb
x2 = 1
y1 = 0
y2 = 1
yj p(xi) p(yj|xi)p(xi, yj) 0 1 0 1xi 0 (1− pb)/2 pb/2 1/2 1− pb pb
1 pb/2 (1− pb)/2 1/2 pb 1− pb
p(yj) 1/2 1/2 ∑ = 1p(xi|yj) 0 1− pb pb
1 pb 1− pb
H(X) = H(Y) = 1
H(Y|X) =12
H(1− pb, pb) +12
H(pb, 1− pb)
= H(pb, 1− pb) = S(pb)
I(X, Y) = H(X)−H(Y|X) = H(X)− S(pb)
K = maxp(xi)
I(X, Y) = 1− S(pb)
für p(x1) = p(x2) = 1/2 0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
Kanalkapazität
pb
K(p
b)
![Page 219: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/219.jpg)
Bitfehlerwahrscheinlichkeit bei einer Übertragung| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.3
pb: Wahrscheinlichkeit, dass ein Bit falsch empfangen wird.n: Anzahl der übertragenen bits.P: Wahrscheinlichkeit, dass f Bits falsch sind (f < n; bestimmte
Fehlerposition)
P = pfb(1− pb)
(n−f )
Pf : Wahrscheinlichkeit, dass f Bits falsch sind (beliebigeFehlerpositionen)
Pf =
(nf
)· P =
(nf
)pf
b(1− pb)(n−f )
z. B. n = 7; pb = 0.01; f = 0, 1, 2
P0 = (1− pb)7 = 0.93207
P1 = 7 · pb(1− pb)6 = 0.06590
P2 = 21 · p2b(1− pb)
5 = 0.00200
![Page 220: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/220.jpg)
Restbitfehlerwahrscheinlichkeit ohne/mit Codierung| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.4
Wenn kf Fehler in einem Codewort der Länge n korrigiert werden können,dann ergibt sich als Restbitfehlerwahrscheinlichkeit prest:
prest =n
∑f=kf +1
Pf = 1−kf
∑f=0
Pf =
= 1−kf
∑f=0
(nf
)pf
b(1− pb)(n−f )
(für n · pb � 1) ≈(
nkf + 1
)p
kf +1b
Beispiel: Code kann kf Fehler korrigieren:
kf = 0 : prest = 1− P0 = 0.06793kf = 1 : prest = 1− (P0 + P1) = 0.00203kf = 2 : prest = 1− (P0 + P1 + P2) = 0.00003
![Page 221: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/221.jpg)
Kanalcodierungstheorem| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.5
Theorem: Für jede Zahl ε > 0 und jede Coderate Rc =kn kleiner als die
Kanalkapazität K (Rc < K) existiert ein binärer Code (n hinreichend groß),so dass die Restbitfehlerwahrscheinlichkeit prest nach der Decodierungkleiner als ε ist (Shannon 1948).Bew. (nur Idee): Für jede typische Eingangssequenz aus X der Länge n(Anzahl 2nH(X)) gibt es≈ 2nH(Y|X) mögliche Ausgangssequenzen aus Y, diealle gleich wahrscheinlich sind. Jede Sequenz aus X muss eine eindeutigzuordenbare Sequenz aus Y erzeugen (sonst ist keine Decodierungmöglich). Die Y-Sequenzen (Anzahl 2nH(Y)) muss in Mengen der Größe2nH(Y|X) aufgeteilt werden; entsprechend der verschiedenen X-Sequenzen.Die Gesamtzahl der unterscheidbaren Mengen ist≤ 2n(H(Y)−H(Y|X)) = 2nI(X,Y), d.h. wir können maximal 2nI(X,Y)
unterscheidbare Sequenzen der Länge n senden. Mit n hinreichend groß,gibt es hinreichend viele unterscheidbare Sequenzen, so dass prest < ε fürε→ 0 erreicht wird (z. B. Wiederholungscode: jedes bit wird n mal gesendetRc =
1n ; Decodierung nach Mehrheitsprinzip).
![Page 222: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/222.jpg)
Kanalcodierung: Wiederholungscode| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.6
Wiederholungscode: 0→ 000 . . . 0 n ungerade1→ 111 . . . 1 Rc =
1n
Decodierung: Mehrheitsentscheidung> (n− 1)/2 Nullen empfangen→ 0;> (n− 1)/2
Einsen empfangen→ 1;d.h. wenn≥ (n + 1)/2 bits falsch empfangen werden, tritt Fehler auf:
Pf =n
∑f=(n+1)/2
(nf
)pf
b(1− pb)(n−f )
Beispiel für pb = 0.1:
0 0.2 0.4 0.6 0.8 110
−8
10−7
10−6
10−5
10−4
10−3
10−2
10−1
Bitfehlerwahrscheinlichkeit und Shannon Limit
Coderate Rc
Pf
n=5
n=3
n=7
Wiederholungscodes
Shannon Limit
bessere codes
![Page 223: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/223.jpg)
Beispiel I: pb = 0.1, Wiederholungscode Rc = 1/3| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.7
Original image (repetition code) Distorted image (repetition code)
Decoded image (majority decision)
![Page 224: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/224.jpg)
Beispiel II: pb = 0.1, Hamming Code Rc = 4/7| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.8
Original image (Hamming code) Distorted image (Hamming code)
Decoded image (Hamming code)
![Page 225: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/225.jpg)
Beispiel III: Vergleich| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.9
Original image
Distorted Image (no coding) Decoded image (repetition code − majority decision) Decoded image (Hamming code)
![Page 226: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/226.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.0
7.1 Grundlagen des Rechens auf endlichen Körpern
![Page 227: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/227.jpg)
Modulorechung| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.1
Seien a, c ∈ Z und b ∈N, d ∈N0 und gelte a = c · b + d, so schreibt man
a ≡ d mod b bzw. a mod b = d , wobei d < b .
Beispiele: 71 ≡ 1 mod 7 , 30 ≡ 6 mod 8 , 30 mod 8 = 625 · 31 ≡ (4 mod 7) · (3 mod 7) ≡ 5 mod 7−13 = −3 · 5 + 2 ≡ 2 mod 5 , −1 = −1 · 2 + 1 ≡ 1 mod 2
Für Polynome: Für a(x) = c(x) · b(x) + d(x) gilt: a(x) ≡ d(x) mod b(x)
Vektoraddition: (a+ c) mod b ergibt sich aus (ai + ci) mod b∀i
Skalarprodukt: aTc mod b = (n
∑i=1
aici) mod b
![Page 228: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/228.jpg)
Endliche Körper| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.2
Ein Körper mit endlich vielen Elementen wird mit GF (Galois Feld)bezeichnet. Sei p ∈N eine Primzahl. Die Menge der Elemente
{0, 1, 2, . . . , p− 1}mit (+, ·) mod pgenügt den Axiomen eines Körpers und wird Primkörper genannt und mitGF(p) bezeichnet.Beweis:(I) GF(p) ist eine kommutative Gruppe bezüglich der Addition modp(II) GF(p) ist eine kommutative Gruppe bezüglich der Multiplikation modp(III) Distributivität: a · (b + c) = a · b + a · c, wobei (+, ·) mod p
![Page 229: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/229.jpg)
Beispiel: GF(5)| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.3
+ 0 1 2 3 40 0 1 2 3 41 1 2 3 4 02 2 3 4 0 13 3 4 0 1 24 4 0 1 2 3
· 0 1 2 3 40 0 0 0 0 01 0 1 2 3 42 0 2 4 1 33 0 3 1 4 24 0 4 3 2 1
• Distributivität gilt allgemein für ganze Zahlen (also auch im endlichenKörper)• Gruppeneigenschaften von (+, ·):
• (+, ·) Abgeschlossenheit und Kommutativität (Symmetrie) aus Tabelle• (+, ·) Assoziativität gilt allgemein für ganze Zahlen• neutrales Element: (+, 0) und (·, 1)• inverses Element: (+, p− a), denn a + p− a = p ≡ 0 mod p• inverses Element: (·1, 1); (·2, 3); (·3, 2); (·4, 4);
![Page 230: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/230.jpg)
Zyklische Körper und primitives Element| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.4
• Ein Körper heißt zyklisch, wenn alle Elemente von GF(p)\{0} durchPotenzen eines Elementes von GF(p) erzeugt werden können.• Primitives Element: Ein Element α ∈ GF(p), dessen p− 1 Potenzen
(αj) mod p, j = 1, 2, . . . , p− 1, genau alle Elemente a ∈ GF(p)\{0}erzeugen.• Jeder endliche Körper GF(p) besitzt mindestens ein primitivesElement.• Die Ordnung eines Elementes a ∈ GF(p)\{0} ist der kleinste Exponent
r > 0, so dass (ar) mod p = 1 gilt. Falls r = p− 1 gilt, ist a = α (primitivesElement).
Anmerkung: - Formal gilt: 0 = α−∞
- Mit a, b ∈ GF(p); α primitives Element:(a · b) mod p = (αi · αj) mod p = α(i+j) mod (p−1)
![Page 231: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/231.jpg)
Beispiel: GF(5)| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.5
Element 2 ist ein primitives Element:
• 21 = 2 ; 22 = 4 ; 23 = 8 ≡ 3 mod 5 ; 24 = 16 ≡ 1 mod 5
• 24 = 16 ≡ 1 mod 5 ⇒ r = 4 = p− 1
• (3 · 4) mod 5 = 12 mod 5 = 2 = (23 · 22) mod 5 = 25 mod 4 = 21 = 2
Element 3 ist ein primitives Element:
• 31 = 3 ; 32 ≡ 4 mod 5 ; 33 ≡ 2 mod 5 ; 34 ≡ 1 mod 5
• 34 ≡ 1 mod 5 ⇒ r = 4 = p− 1
Element 4 hat die Ordnung r = 2⇒ kein primitives Element
• 41 = 4 ; 42 ≡ 1 mod 5 ⇒ r = 2
Anmerkung: Jedes Element von GF(5) kann als Potenz der primitivenElemente 2 oder 3 dargestellt werden.⇒ GF(5) ist zyklisch.
![Page 232: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/232.jpg)
Erweiterungskörper| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.6
Endlicher Körper (Galois-Feld):
a ∈ GF(2) : a ∈ {0, 1}a ∈ GF(8) : a ∈ {0, 1, 2, 3, 4, 5, 6, 7}
Erweiterungskörper ergibt sich z. B. durch binäre Darstellung der Elementevon GF(8):
a ∈ GF(23) : a ∈ {000, 001, 010, 011, 100, 101, 110, 111}
Allgemein: Erweiterungskörper GF(pm), wobei p Primzahl und m ∈N
![Page 233: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/233.jpg)
Nicht-reduzierbare Polynome| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.7
Polynom über GF(p):
q(x) = qmxm + qm−1xm−1 + . . . + q1x + q0 mit qi ∈ GF(p)
Nicht-reduzierbares Polynom: Ein Polynom q(x) über GF(p)mitgrad(q(x)) = m ist nicht-reduzierbar bezüglich GF(p), wenn es nicht alsProdukt von Polynomen f (x)mit grad(f (x)) < m, die ebenfalls Polynomeüber GF(p) sind, dargestellt werden kann. Es existieren pm Polynome f (x)mit grad(f (x)) < m (einschließlich f (x) = 0).
Anmerkung: Seien q1(x), q2(x) nicht-reduzierbare Polynome bzgl. GF(p),dann hat q(x) = q1(x) · q2(x) keine Nullstellen aus GF(p), ist aberreduzierbar⇒ q(x) keine Nullstellen aus GF(p) ist notwendig, aber nichthinreichend.
![Page 234: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/234.jpg)
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.8
q(x) = x4 + x + 1 ist Polynom über GF(2). Es existieren 24 = 16 Polynomef (x) in GF(2)mit grad(f (x)) < 4, nämlich:
0, 1, x, x + 1, x2, x2 + 1, x2 + x, x2 + x + 1, x3, x3 + 1, x3 + x, x3 + x + 1, . . .
. . . , x3 + x2, x3 + x2 + 1, x3 + x2 + x, x3 + x2 + x + 1
Für alle f (x) 6= 0, 1 muss überprüft werden, ob sie q(x) ohne Rest teilen⇒kein f (x) teilt q(x), so dass q(x) nicht-reduzierbar.
Anmerkung: Die Polynome f (x) ergeben sich aus der Dualdarstellung mitxi=2i (z. B. 1011=1 · x3 + 0 · x2 + 1 · x + 1).
![Page 235: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/235.jpg)
Nullstellen eines Polynoms| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.9
Sei q(x)mit grad(q(x)) = m ein nicht-reduzierbares Polynom über GF(p),d.h. q(x) hat keine Nullstellen aus GF(p).Nullstelle von q(x): Ein Element α aus dem Erweiterungskörper GF(pm)
heißt Nullstelle (Wurzel) von q(x), wenn
q(α) = 0 ,
Anmerkung: Obwohl q(x) keine Nullstelle aus GF(p) hat, existiert eineNullstelle aus GF(pm).Vergleiche: x2 + 1 = 0 hat keine Nullstelle aus R, aber x = ±j mitj =√−1 ∈ C ist Nullstelle. x ist Nullstelle im Erweiterungskörper C.
![Page 236: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/236.jpg)
Primitives Element und primitives Polynom| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.10
Sei q(x)mit grad(q(x)) = m ein nicht-reduzierbares Polynom über GF(p).
• Ein Element α ∈ GF(pm) heißt primitives Element desErweiterungskörpers, wenn alle pm − 1 Potenzen (αj) mod q(α),j = 1, 2, . . . , pm − 1 alle Elemente a ∈ GF(pm)\{0} erzeugen.]• Das Polynom q(x) heißt primitiv, wenn es ein primitives Element α alsNullstelle besitzt.
• Nicht jedes nicht-reduzierbare Polynom ist ein primitives Polynom.
• Für jeden Körper GF(p) und jede Zahl m ∈N existiert mindestens einprimitives Polynom q(x) über GF(p)mit grad(q(x)) = m.
![Page 237: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/237.jpg)
Darstellung der Erweiterungskörper| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.11
Es existieren zwei Darstellungsarten für die Elemente einesErweiterungskörpers:
Exponentendarstellung: Jedes Element a ∈ GF(pm)\{0} ist als Potenz desprimitiven Elementes α darstellbar.
Komponentendarstellung: Die Elemente a ∈ GF(pm) werden durch dieKoeffizienten der Polynome f (x) dargestellt (vgl. Beispiel:nichtreduzierbare Polynome).
Anmerkung: Die Dualdarstellung ist lediglich eine verkürzte Schreibweiseder Komponentendarstellung.
![Page 238: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/238.jpg)
Beispiel GF(23)| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.12
nicht-reduzierbares Polynom: q(x) = x3 + x + 1 , qi ∈ GF(2)primitives Element α: q(α) = 0⇔ α3 + α + 1 = 0 ⇒ α3 = α + 1
Exponent Komponenten- Dual- Exponentendarstellungj α2 α1 α0 22 21 20 (αj) mod q(α)−∞ 0 0 0 0 α−∞
0 1 0 0 1 α0
1 α 0 1 0 α1
2 α2 1 0 0 α2
3 α 1 0 1 1 α3 = α + 14 α2 α 1 1 0 α4 = α · α3 = α2 + α
5 α2 α 1 1 1 1 α5 = α2 · α3 = α3 + α2 = α2 + α + 16 α2 1 1 0 1 α6 = α · α5 = α3 + α2 + α = α2 + 17 1 0 0 1 α7 = α · α6 = α3 + α = 1
Alle 23 − 1 Elemente werden mit (αj) mod q(α)erzeugt⇒ q(x) primitives Polynom.
T
![Page 239: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/239.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.0
7.5 Erzeugung von Kanalcodes
![Page 240: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/240.jpg)
HammingMetrik| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.1
Hamming Gewicht des Vektors c ∈ GF(2)n ist die Anzahl der Elemente 6= 0:
wH(c) = cT · 1 mit 1 = [1, . . . , 1]T
Hamming Distanz von ci und cj ist die Anzahl unterschiedlicher Elemente:
dH(ci, cj) = wH((ci + cj) mod 2)
Mindestdistanz ist die minimale Distanz zweier Codewörter des Codes:
d = mini, j
i 6= j
(dH(ci, cj)
) Lineare Codes= min
i, ji 6= j
(wH((ci + cj) mod 2)
)
Anmerkung: c = 0muss Codewort eines linearen Codes sein (ci + ci = 0).
![Page 241: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/241.jpg)
Fehlerkorrektur und Fehlererkennung| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.2
Mit einem Code C(n, k, d) (Codelänge n, Informationslänge k,Mindestdistanz d) können
e′ = d− 1 Fehler erkannt und
e = bd− 12c Fehler korrigiert werden.
Hamming Schranke: Für einen binären Code C(n, k, d)muss gelten:
2k(
1 +(
n1
)+
(n2
)+ . . . +
(ne
))≤ 2n mit e = bd− 1
2c
Der Code C ist perfekt, falls das Gleichheitszeichen gilt.Veranschaulichung: Hamming Schranke beschreibt nicht überlappendeKorrekturkugeln mit möglichst großem Radius; Zuordnung: Mittelpunktder Kugel
![Page 242: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/242.jpg)
Beispiel: Fehlererkennung und Fehlerkorrektur| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.3
R c= R c= R c=
000
110
001
101
111
011
100
010
000
110
001
101
111
011
100
010
000
110
001
101
111
011
100
010
32
1 2/3 1/31= = =d d d
Linker Würfel: bei Einzelfehler (1 Bit falsch) wieder gültiges Codewort⇒ keine Fehler-Erkennung, keine Fehler-Korrektur
Mittlerer Würfel: bei Einzelfehler wird ungültiges Codewort empfangen⇒ 1 Fehler-Erkennung, keine Fehler-Korrektur
Rechter Würfel: bei Einzelfehler hat ungültiges Codewort geringerenAbstand zum richtigen Wort als zum ungültigen Wort⇒ 2 Fehler-Erkennung, 1 Fehler-Korrektur
![Page 243: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/243.jpg)
Beispiel: Wiederholungscode der Länge n| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.4
n ungerade
i = 0 → c0 = 0 (n× 1)i = 1 → c1 = 1 (n× 1)
Rc =kn=
1n
dH(c0, c1) = wH((c0 + c1) mod 2) = wH(c1) = cT1 · 1 = n = d
e′ = d− 1 = n− 1 , e = bd− 12c = bn− 1
2c
Decodierung von Empfangswort r (n× 1): wH(r) > e⇒ i = 1wH(r) < e⇒ i = 0
Für n = 3 gilt: e = 1
Hamming Schranke: 21(
1 + (31))= 21 · 4 = 8 = 2n
⇒ Code ist perfekt
![Page 244: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/244.jpg)
Beispiel: Parity Check Code| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.5
n = k + 1 : ci = ij für j = 0, . . . , k− 1
cn−1 +k−1
∑j=0
ij = 0Rc =
kn=
n− 1n
Für n = 3 gilt (Rc =23 ):
c0 = i0 c1 = i1 c2
0 0 00 1 11 0 11 1 0
Daraus ergibt sich d = 2, e′ = 1 und e = 0⇒ keine Fehlerkorrektur; ungerade Fehleranzahl wird erkannt.Hamming Schranke: 2n−1(1) < 2n⇒ Code ist nicht perfekt.
![Page 245: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/245.jpg)
Prüfmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.6
Der Vektor c ist genau dann ein Codewort, wenn gilt
H · c = 0
H heißt Prüfmatrix (Parity Check Matrix) und hat Dimension (n− k)× n.
• Der Code C = {c|Hc = 0} ist durch Nullraum von H definiert.
• Anzahl der Zeilen von H= Anzahl der Prüfstellen.
• Damit H einen Code mit Mindestdistanz d definiert, muss gelten:• beliebige d− 1 Spalten von H sind linear unabhängig.• es existieren d Spalten von H, deren Linearkombination= 0 ist.
![Page 246: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/246.jpg)
Beispiel: Prüfmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.7
Parity Check Code: n− k = 1,
H =[
1 1 · · · 1]
(1× n)
Wiederholungscode: k = 1, so dass n− k = n− 1
H =
1 11 1...
. . .
1 1
((n− 1)× n)
Darstellung ist systematisch (Definition, siehe nächste Folie).
![Page 247: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/247.jpg)
Systematische Codierung| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.8
Die Informationszeichen sind unverändert ein Teil des Codewortes, z. B.
i ∈ GF(2)k → c ∈ GF(2)n mit ci = ii für i = 0, . . . , k− 1
Die Prüfmatrix hat dann die Form:
H =[A
... I(n−k)×(n−k)
]Anmerkung: Durch Linearkombination der Zeilen von H kann diesystematische Form immer erreicht werden (jedoch I verteilt auf beliebigeSpalten muss zulässig sein).
![Page 248: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/248.jpg)
Syndrom| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.9
Das Syndrom s (Symptome für Fehler) wird definiert durch dieMultiplikation der Prüfmatrix mit dem empfangenen Wort r = c+ f, wobeic ∈ C und f Fehler:
s = H · r = H · (c+ f) = H · f
Anmerkung: s ist nur von f nicht von c abhängig (H · c = 0).
![Page 249: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/249.jpg)
Generatormatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.10
Die Generatormatrix G der Dimension n× k (n > k) beschreibt dieAbbildung der Informationsfolge i in die Codeworte c:
c = Gi
• Alle Codeworte sind Linearkombinationen der Spalten von G.
• Spaltenraum von G bildet die Basis für den Code:
- Spaltentausch→ selber Code→ Abbildung unterschiedlich.
- Zeilentausch→ äquivalenter Code (andere Codeworte).
![Page 250: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/250.jpg)
Bestimmung der Generatormatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.11
Annahme: systematische Codedarstellung: c0 = i0, c1 = i1, . . . , ck−1 = ik−1
H · c =[A
... I(n−k)×(n−k)
]· c = 0
A ·
c0...
ck−1
+ I(n−k)×(n−k) ·
ck...
cn−1
= 0
ck...
cn−1
= −A ·
c0...
ck−1
= −A ·
i0...
ik−1
c =
Ik×k
−A
· i = G · i
![Page 251: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/251.jpg)
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.12
Parity Check Code: n− k = 1
H =[
1 1 · · · 1 1]⇒ G =
11
. . .
1−1 −1 · · · −1
=
11
. . .
11 1 · · · 1
Wiederholungscode: k = 1, so dass n− k = n− 1
H =
1 11 1...
. . .
1 1
⇒ G =
1−1−1...−1
=
111...1
![Page 252: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/252.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.0
7.6 Hamming Codes
![Page 253: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/253.jpg)
Definition von Hamming Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.1
Die Prüfmatrix H eines Hamming Codes besteht aus den 2h − 1 Spalten, diegenau alle Vektoren aus GF(2)h - ohne den Nullvektor - sind. Damitergeben sich folgende Parameter des Hamming Codes C(n, k, d):
n = 2h − 1 , k = n− h , d = 3
Beweis: n und k aus Dimension von H ablesen. d− 1 = 2 beliebige Spaltenvon H sind linear unabhängig. Es existieren d = 3 Spalten derenLinearkombination= 0.Anmerkung: Hamming Codes sind perfekt, da mit e = b d−1
2 c = 1 gilt:
2k(
1 +(
n1
))= 2k(1 + n) = 2k(1 + 2h − 1) = 2k+h = 2n
![Page 254: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/254.jpg)
Beispiel: Hamming Code für h = 3| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.2
n = 2h − 1 = 7 , k = n− h = 4 ⇒ Prüfmatrix: H ((n− k)× n = 3× 7)
H = [h1, . . . ,h7] =
0 0 0 1 1 1 10 1 1 0 0 1 11 0 1 0 1 0 1
d = 3: - beliebige zwei Spalten linear unabhängig (keine identischen Spalten)
- h1 + h2 + h3 = 0: d = 3 Spalten, deren Linearkombination= 0
⇒ H ist Prüfmatrix von Hamming Code C(7, 4, 3)Code ist perfekt:
24(
1 +(
71
))= 24(1 + 7) = 24 · 23 = 27
c = [1 1 1 0 0 0 0]T ist ein Codewort, da Hc = 0
![Page 255: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/255.jpg)
Beispiel: Decodierung des Hamming Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.3
Annahme: Fehler bei der Übertragung von c = [1 1 1 0 0 0 0]T.Es sei ein Fehler an der 6. Stelle aufgetreten, d.h. das empfangeneWort ist:
r = c+ f = [1 1 1 0 0 1 0]T
mit f = [0 0 0 0 0 1 0]T.Berechnung des Syndroms:
s = Hr = h1 + h2 + h3 + h6 = h6 =
110
⇒ Decodiervorschrift: Syndrom gibt Fehlerstelle in binärer Darstellung an.
![Page 256: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/256.jpg)
Systematische Darstellung und Generatormatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.4
Durch Linearkombination der Zeilen von H lässt sich die systematischeDarstellung der Prüfmatrix bestimmen(I + II→ I , I + III→ II , I + II + III→ III):
H =
0 0 0 1 1 1 10 1 1 0 0 1 11 0 1 0 1 0 1
⇒ H =
0 1 1 1
... 1 0 0
1 0 1 1... 0 1 0
1 1 0 1... 0 0 1
=
[A... I3×3
]
Daraus ergibt sich die Generatormatrix für C(7, 4, 3):
G =
I4×4
−A
=
11
11
0 −1 −1 −1−1 0 −1 −1−1 −1 0 −1
=
11
11
0 1 1 11 0 1 11 1 0 1
![Page 257: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/257.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.0
7.7 BCH Codes(Bose, Ray-Chandhuri, Hocquenghem)
![Page 258: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/258.jpg)
Generatorpolynom zyklischer Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.1
Für zyklische Codes (BCH Codes, auch Reed-Solomon Codes) lässt sich dieAbbildung c = Gi durch die Multiplikation zweier Polynome darstellen.
c = G · i = c(x) = g(x) · i(x)
mit
c = [c0 c1 . . . cn−1]T = c(x) = c0x0 + c1x1 + . . . + cn−1xn−1
g = [g0 g1 . . . gn−k]T = g(x) = g0x0 + g1x1 + . . . + gn−kxn−k
i = [i0 i1 . . . ik−1]T = i(x) = i0x0 + i1x1 + . . . + ik−1xk−1
wobei cj, gj, ij ∈ GF(p).G ist eine n× k Faltungsmatrix mit erster Spalteg1 = [g0 g1 . . . gn−k 0 . . . 0]T.
![Page 259: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/259.jpg)
Kreisteilungsklassen| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.2
Die Kreisteilungsklassen Ki bezüglich einer Zahl n = qm − 1 sind:
Ki = {(i · qj) mod n , j = 0, 1, . . . , m− 1} ,
wobei i das kleinste Element der Menge Ki ist (q = pl , l > 0 auch möglich).Kreisteilungsklassen haben folgende Eigenschaften:
|Ki| ≤ m
K0 = {0}Ki ∩ Kj = ∅ für i 6= j⋃
i
Ki = {0, 1, . . . , n− 1}
Wenn n eine Primzahl ist, sind alle Ki, i > 0, gleich mächtig.
![Page 260: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/260.jpg)
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.3
Kreisteilungsklassen bezüglich der Zahl n = 15.
n = 15 = 24 − 1 , p = 2 , q = 21
K0 = {0} K1 = {1, 2, 4, 8}K3 = {3, 6, 9, 12} K5 = {5, 10}K7 = {7, 11, 13, 14}
Kreisteilungsklassen bezüglich der Zahl n = 7 (Primzahl).
n = 7 = 23 − 1 , p = 2 , q = 21
K0 = {0}K1 = {1, 2, 4}K3 = {3, 6, 5}
![Page 261: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/261.jpg)
Nicht-reduz. Polynome aus Kreisteilungsklassen| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.4
Sei Ki eine Kreisteilungsklasse bezüglich der Zahl n = pm − 1 und α einprimitives Element von GF(pm), so ist das minimale Polynom mi(x):
mi(x) = ∏j∈Ki
(x− αj)
nicht-reduzierbar über GF(p) und hat nur Koeffizienten aus GF(p).
Beweis: Es gilt (mi(x))p = mi(xp), da αipl, l = 0, 1, 2, . . . die Elemente der
Kreisteilungsklasse durchläuft. Damit gilt für die Koeffizienten:(mij)
p = mij, was nur für mij ∈ GF(p) erfüllt werden kann. Da mi(x) nurNullstellen aus GF(pm) besitzt und gemäß Definition genau aus einerKreisteilungsklasse entstanden ist, ist es auch nicht-reduzierbar.
![Page 262: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/262.jpg)
Definition eines BCH Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.5
Seien Ki die Kreisteilungsklassen der Zahl n = 2m − 1, sei α ein primitivesElement von GF(2m) und seiM die Vereinigungsmenge von beliebig vielenKreisteilungsklassen. Ein primitiver BCH Code hat die Länge n = 2m − 1und das Generatorpolynom
g(x) = ∏i∈M
(x− αi)
mit gi ∈ GF(2). Die geplante Mindestdistanz ist δ, falls δ− 1aufeinanderfolgende Zahlen inM existieren. Für die tatsächlicheMindestdistanz d gilt: d ≥ δ. Ferner gilt: k = n− |M|.
![Page 263: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/263.jpg)
Beispiel: Ein-fehlerkorrigierender BCH Code (n = 7)| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.6
Kreisteilungsklassen für n = 7 = 23 − 1: K0 = {0}, K1 = {1, 2, 4},K3 = {3, 6, 5}.
e = b d−12 c = 1 ⇒ d ≥ 3 ⇒
δ− 1 = 2 aufeinanderfolgende Zahlen inM nötig.
Es genügt alsoM = K1 = {1, 2, 4} zu wählen, so dass k = 7− |M| = 4. Mitα primitives Element von GF(23) (siehe Tabelle Folie 7.4.12) gilt:
g(x) = m1(x) = ∏i∈M
(x− αi)
= (x− α)(x− α2)(x− α4) = (x2 − (α + α2)x + α3)(x− α4)
= x3 − (α + α2)x2 + α3x− α4x2 + α4(α + α2)x− α7
x2 : α + α2 + α4 = α + α2 + α + α2 = 2α + 2α2 = 0x1 : α3 + α5 + α6 = α + 1 + α2 + α + 1 + α2 + 1 = 2α2 + 2α + 3 = 1x0 : α7 = 1
g(x) = 1 + x + x3
![Page 264: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/264.jpg)
Beispiel: BCH Codierung| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.7
k = 4: Codierung von i = [1 0 0 1]T = i(x) = 1 + x3
Polynommultiplikation:
c(x) = g(x)i(x) = (1 + x + x3)(1 + x3) =
= 1 + x + 2x3 + x4 + x6 =
= 1 + x + x4 + x6 ⇒ c = [1 1 0 0 1 0 1]T
Matrixmultiplikation (Faltung) g1 = [1 1 0 1 0 0 0]T:
c = Gi =
1 0 0 01 1 0 00 1 1 01 0 1 10 1 0 10 0 1 00 0 0 1
1001
=
1100101
![Page 265: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/265.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.0
7.8 RS Codes(Reed, Solomon)
![Page 266: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/266.jpg)
Grundlagen von RS Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.1
Fundamentalsatz der Algebra gilt auch im GF(p): Ein PolynomC(x) = C0 + C1x + C2x2 + . . . + Ck−1xk−1 vom Grad k− 1 mit KoeffizientenCi ∈ GF(p) hat höchstens k− 1 verschiedene Nullstellen αj ∈ GF(p). T
Gewicht eines Vektors c: Gegeben seien n ≤ p− 1 von Null verschiedeneunterschiedliche Elemente (a0, a1, . . . , an−1) von GF(p) und ein Polynom C(x)vom Grad k− 1 ≤ n− d mit Koeffizienten aus GF(p), dann gilt das Gewichteines Vektors c = [c0 c1 . . . cn−1]
T mit ci = C(ai) , i = 0, 1, . . . , n− 1 ist:
wH(c) ≥ d
Beweis: Gemäß Fundamentalsatz hat C(x) höchstens k− 1 Nullstellen,d.h. c hat mindestens n− k + 1 ≥ d von Null verschiedene Stellen.�
⇒ Vektoren cmit wH(c) ≥ d, d.h. mit vorgegebenemMinimalgewicht/Mindestdistanz.
![Page 267: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/267.jpg)
Definition von RS Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.2
Sei α ∈ GF(p) ein Element der Ordnung n, so ist ein RS Code der Länge ndefiniert durch die Menge der Polynome C(x) vom Grad kleiner k:C(x) = C0 + C1x + C2x2 + . . . + Ck−1xk−1, Ci ∈ GF(p), k ≤ n. Die Codewörterc = [c0 c1 . . . cn−1]
T werden durch die Beziehung ci = C(αi) gebildet:
C(n, k, d) = {c | ci = C(αi) , i = 0, 1, . . . , n− 1 , grad(C(x)) < k}
Die Mindestdistanz ist d = n− k + 1.Das Generatorpolynom eines RS Codes ergibt sich aus:
g(x) =n−1
∏i=k
(x− α−i) =n−k
∏i=1
(x− αi)
![Page 268: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/268.jpg)
Beispiel: Konstruktion eines RS Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.3
Konstruktion eines RS Codes C(6, 2, d) im GF(7).Mindestdistanz: d = n− k + 1 = 5Wir benötigen ein Element der Ordnung n = 6: α = 5, Überprüfung: 51 = 5,52 = (25) mod 7 = 4, 53 = 5 · 52 = 5 · 4 = (20) mod 7 = 6, 54 = (30) mod 7 = 2,55 = (10) mod 7 = 3, 56 = (15) mod 7 = 1. Die Codewörter c = [c0 . . . c5]
T
ergeben sich aus ci = C(αi), wobei C(x) = C0 + C1x (grad(C(x)) < k) mitC0, C1 ∈ GF(7), d.h. es gibt pk = 72 = 49 verschiedene C(x) und somit 49Codewörter, z. B. das Codewort zu C(x) = 5 + 3x:
c0 = C(α0) = C(1) = 5 + 3 ≡ 1 mod 7
c1 = C(α1) = C(5) = 5 + 3 · 5 ≡ 6 mod 7
c2 = C(α2) = C(4) = 5 + 3 · 4 ≡ 3 mod 7
c3 = C(α3) = C(6) = 5 + 3 · 6 ≡ 2 mod 7
c4 = C(α4) = C(2) = 5 + 3 · 2 ≡ 4 mod 7
c5 = C(α5) = C(3) = 5 + 3 · 3 ≡ 0 mod 7
![Page 269: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/269.jpg)
Beispiel: Berechnung des Generatorpolynoms| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.4
g(x) =5
∏i=2
(x− α−i) =
= (x− α−2)(x− α−3)(x− α−4)(x− α−5) = | mod 6 (für Exponent)
= (x− α4)(x− α3)(x− α2)(x− α1) =
= (x2 − (α4 + α3)x + α7)(x2 − (α2 + α)x + α3) =
= (x2 − x + 5)(x2 − 2x + 6) =
= x4 − x3 + 5x2 − 2x3 + 2x2 − 10x + 6x2 − 6x + 30| mod 7 (für Koeffizienten)
= x4 + 4x3 + 6x2 + 5x + 2
Z
![Page 270: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/270.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 8.0.0
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
![Page 271: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/271.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.0
8.1 Grundlagen der Vektor/Matrixrechnung
![Page 272: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/272.jpg)
Skalar, Vektor, Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.1
Skalar: c ∈ F (F steht für einen Körper, z. B. R, C )c ist eine reelle Zahl, c ∈ R
c ist eine komplexe Zahl, c ∈ C, c = cR + jcI mit cR, cI ∈ R
c∗ = cR − jcI (konjugiert komplex)
Vektor: Matrix:
x =
x1x2...
xm−1xm
x ∈ Fm , xi ∈ F
X =
x11 x12 . . . x1(n−1) x1nx21 x22 . . . x2(n−1) x2n...
.... . .
......
x(m−1)1 x(m−1)2 . . . x(m−1)(n−1) x(m−1)nxm1 xm2 . . . xm(n−1) xmn
X ∈ Fm×n , xij ∈ F
![Page 273: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/273.jpg)
Transponierte Vektoren undMatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.2
Transponierter/Konjugiert transponierter Vektor:
x ∈ Rm : xT =[
x1 x2 . . . xm−1 xm]
x ∈ Cm : xH =[
x∗1 x∗2 . . . x∗m−1 x∗m]
Transponierte/Konjugiert transponierte Matrix:
X ∈ Rm×n : C = XT ⇒ C ∈ Rn×m, wobei cij = xji
X ∈ Cm×n : C = XH ⇒ C ∈ Cn×m, wobei cij = x∗ji
![Page 274: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/274.jpg)
Geometrische Interpretation| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.3
Darstellung von Vektoren x ∈ Rm im m-dimensionalen Raum
2
2
x
x
x
[2 2 1]
[1 1 2]
1
3
2
T
T
2
2
x
x
1
2
[1 2]
[2 1]
T
T
Matrix X ∈ Fm×n:n m-dimensionale Spalten-Vektoren spannen n-dimensionalen Raum auf (m ≥ n)m n-dimensionale Zeilen-Vektoren spannen n-dimensionalen Raum auf (m ≥ n)
X =
2 12 11 2
∈ R3×2 XT =
[2 2 11 1 2
]∈ R2×3
Z
![Page 275: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/275.jpg)
Linear unabhängige Vektoren| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.4
Die Vektoren v1, v2, . . . , vn sind linear unabhängig, wenn
n
∑i=1
civi = c1v1 + c2v2 + · · ·+ cnvn = 0
nur für ci = 0 ∀ i.
Fallsn
∑i=1
civi = 0 ,
wobei ci 6= 0 , i ∈ {1, . . . , n} ⇒ linear abhängig
![Page 276: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/276.jpg)
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.5
v1
v2
R2a)v1 =
[42
]v2 =
[ −2−1
]⇒ v1 + 2v2 = 0 , c =
[12
]
R2
v1v2
b)
v1 =
[42
]v2 =
[12
]⇒ c1v1 + c2v2 = 0[
4 12 2
]·[
c1c2
]=
[00
]
A · c = 0 ⇒ c =
[00
]
![Page 277: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/277.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.0
8.2 Matrixrechnung
![Page 278: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/278.jpg)
Inneres und äußeres Produkt| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.1
Gegeben seien zwei Vektoren
aH =[
a∗1 a∗2 . . . a∗n]∈ Fn
bH =[
b∗1 b∗2 . . . b∗n]∈ Fn
Das innere Produkt (Skalarprodukt) ergibt sich zu
aH · b =n
∑i=1
a∗i · bi
Für a ∈ Fm und b ∈ Fn ergibt sich das äußere Produkt zu
a · bH =
a1 · b∗1 a1 · b∗2 . . . a1 · b∗na2 · b∗1 a2 · b∗2 . . . a2 · b∗n...
.... . .
...am · b∗1 am · b∗2 . . . am · b∗n
∈ Fm×n
![Page 279: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/279.jpg)
Skalar-Multiplikation und Addition vonMatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.2
Gegeben seien zwei Skalare c, d ∈ F und zwei Matrizen A,B ∈ Fm×n.Die Matrix Cmit
C = c · A+ d · B
ergibt sich zu C = [cij] ∈ Fm×n mit
cij = c · aij + d · bij
Anmerkung: Die Skalar-Multiplikation und Addition von Vektoren stellteinen Spezialfall dar, wobei gilt: n = 1 bzw. m = 1.
![Page 280: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/280.jpg)
Matrix Multiplikation| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.3
Die Multiplikation zweier Matrizen A ∈ Fm×p und B ∈ Fp×n ergibt:
C = A · B ∈ Fm×n, wobei cij =p
∑k=1
aikbkj
Verschiedene Berechnungsformen:• Innere Produkte:[
1 23 4
]·[
5 67 8
]=
[1 · 5 + 2 · 7 1 · 6 + 2 · 83 · 5 + 4 · 7 3 · 6 + 4 · 8
]• Äußere Produkte:[
1 23 4
]·[
5 67 8
]=
[13
] [5 6
]+
[24
] [7 8
]• Spaltenkombination:[
1 23 4
]·[
5 67 8
]=
[5
[13
]+ 7
[24
]6
[13
]+ 8
[24
] ]
![Page 281: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/281.jpg)
Anschauliche Berechnung| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.4
p
p
m
n
A C
B
Achtung: Spaltenzahl A= Zeilenzahl BSpezialfälle:
• Skalarprodukt: m = 1∧ n = 1• Äußeres Produkt: p = 1• Matrix Vektor Multiplikation: n = 1∨m = 1
![Page 282: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/282.jpg)
BlockMatrix Multiplikation| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.5
A ∈ F(m1+m2)×(p1+p2), B ∈ F(p1+p2)×(n1+n2+n3)
⇒ C = A · B ∈ F(m1+m2)×(n1+n2+n3)
m1
1 2
p2
p1
n1
n2
n3
m2
p p
M N
O P Q
R T
V W
X Y
U
Z
S
LK
A =
= B
= C
Es gilt:U = KO+ LR V = KP+ LS W = KQ+ LT
X = MO+NR Y = MP+NS Z = MQ+NT
![Page 283: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/283.jpg)
| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.0
8.3 Vektorräume und Unterräume
![Page 284: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/284.jpg)
Linearer Vektorraum I| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.1
Ein linearer Vektorraum V besteht aus
1 einer Menge von Vektoren vi ∈ V i = 1, 2, . . .
2 einer Menge von Skalaren ci ∈ F
zusammen mit zwei Operationenα) Vektoraddition+
β) Skalarmultiplikation · ,so dass
Anmerkung: Die Definitionen von algebraischen Strukturen (Gruppe, Körper,Vektorraum, Algebra) ist im Anhang B zusammengefasst.
![Page 285: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/285.jpg)
Linearer Vektorraum II| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.2
1 (V,+) eine kommutative (abelsche) Gruppe ist:1 vi, vj ∈ V ⇒ vi + vj ∈ V (Abgeschlossenheit)2 vi + (vj + vk) = (vi + vj) + vk (Assoziativität)3 v0 + vi = vi (Identität)(v0 = 0)4 vi + (−vi) = v0 (Inverses Element)5 vi + vj = vj + vi (Kommutativität)
2 (V, ·) folgende Bedingungen erfüllt:1 fi ∈ F, vj ∈ V ⇒ fi · vj ∈ V (Abgeschlossenheit)2 fi · (fj · vk) = (fi · fj) · vk (Assoziativität)3 1 · vi = vi (Identität)4 fi · (vj + vk) = fi · vj + fi · vk (Bilinearität)
(fi + fj) · vk = fi · vk + fj · vk
![Page 286: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/286.jpg)
Beispiele für Vektorräume| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.3
• Eine Menge von Vektoren v ∈ Fn ist ein Vektorraum.• Die Menge der Matrizen A ∈ Fm×n ist ein Vektorraum.• Die komplexen Zahlen bilden einen Vektorraum über dem Körper derreellen Zahlen (Basis [1, j]T).• Die Funktionen f (Φ), die auf dem Einheitskreis (0 ≤ φ < 2π) definiertsind, mit
f (Φ) =∞
∑m=−∞
amejmφ
bilden einen Vektorraum.
![Page 287: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/287.jpg)
Unterraum| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.4
Eine Teilmenge V0 des Vektorraums V ist ein Unterraum von V, wenn füralle vi ∈ V0 und ci ∈ F gilt:
vi + vj ∈ V0civi ∈ V0
}⇔ civi + cjvj ∈ V0
v0 = 0 und V heißen uneigentliche Unterräume.Beispiel:
1{v = [v1 v2 v3]
T : v1 = at, v2 = bt, v3 = ct; a, b, c, t ∈ R; a, b, c = konst.}
ist Unterraum von R3. (Gerade durch den Ursprung)2 Die Menge aller rechten oberen DreiecksmatrizenR = [rij] ∈ Rn×n, rij = 0 für i > j ist Unterraum von Rn×n
3 Die Menge alle symmetrischen Matrizen A ∈ Rn×n mit A = AT istUnterraum von Rn×n
![Page 288: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/288.jpg)
Anmerkungen| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.5
• Jeder Unterraummuss immer das Nullelement enthalten (d.h. Gerade,die nicht durch den Ursprung geht ist kein Unterraum).
• Jeder Unterraum V0 von V ist selbst ein linearer Vektorraum.
• Im Folgenden F = R, da sich geometrische Betrachtungen im Körperder reellen Zahlen einfacher veranschaulichen lassen. Diedargestellten Zusammenhänge gelten aber allgemein für beliebigeKörper F.
![Page 289: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/289.jpg)
„Aufspannen“ eines Raumes| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.6
Ein Satz von n linear unabhängigen Vektoren vj ∈ Rm(n ≤ m) spannt einenn−dimensionalen Unterraum V0, des Rm auf.
V0 = span{v1v2 . . . vn} = {n
∑j=1
cjvj, cj ∈ R}
Beispiel:
1
2
3
4
1 2 3 4
12
x
y
v2
v1
z
v1 =
311
v2 =
113
⇒ v1, v2 ∈ R3 Ebene in R3
„Aufspannen“ : Jeder Punkt des Raumes kann durch Linearkombinationder vi erreicht werden.
![Page 290: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/290.jpg)
Spaltenraum einer Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.7
Spaltenraum von X = [x1 x2 . . . xn] ∈ Rm×n (xi ∈ Rm ist i-te Spalte von X):
SR(X) = {y ∈ Rm : y = X · c für c ∈ Rn}
=Menge aller Linearkombinationen der Spalten von X
SR(X) ={ n
∑i=1
ci xi : ci ∈ R}
• SR(X) ist der Raum Rm, falls n = m und xi linear unabhängig.
• SR(X) ist ein r-dimensionaler Unterraum des Rm, falls n = m und nur rVektoren xi linear unabhängig sind.
• SR(X) ist ein n-dimensionaler Unterraum des Rm, falls n < m und xi
linear unabhängig.
• SR(X) ist ein r-dimensionaler Unterraum des Rm, falls n < m und nurr < n Vektoren xi linear unabhängig sind.
![Page 291: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/291.jpg)
Basis und Dimension| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.8
Die Basis eines Vektorraumes V ist ein Satz von Vektoren vi, wobei
1 vi sind linear unabhängig
2 vi spannen den Vektorraum auf
n Vektoren vi ∈ Rm(m ≥ n) sind erforderlich, um Rn aufzuspannen.
v =n
∑i=1
ci vi ∀ v ∈ Rn, wobei die ci eindeutig bestimmt sind.
Die Dimension eines Vektorraums V ist die Anzahl der Vektoren jeder Basisvon V.
![Page 292: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/292.jpg)
Beispiel:R3| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.9
v1 =
311
v2 =
113
v3 =
010
Basis 1
e1 =
100
e2 =
010
e3 =
001
Basis 2
• Zwei Vektoren (z. B. v1, v2) spannen nur Ebene (d.h. R2) auf.• Vektor kann in verschiedenen Basen dargestellt werden.
v = 7e1 + 9e2 + 5e3 = [7 9 5]TBasis 2= 2v1 + 1v2 + 6v3 = [2 1 6]TBasis 1
• Anzahl der Basisvektoren ist für jede Basis gleich: T
dim[v1 v2 v3] = dim[e1 e2 e3] = 3
![Page 293: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/293.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.0
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
![Page 294: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/294.jpg)
Menge| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.1
Eine Menge ist eine Ansammlung von n Objekten, die keine zusätzlicheStruktur oder Eigenschaft haben.
Beispiel: Eine Ansammlung von n Bananenn Personenn Punkten
![Page 295: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/295.jpg)
Gruppe| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.2
Eine Gruppe G besteht aus1 einer Menge gi ∈ G i = 1, 2, . . . , n
Zusammen mit einer Operationα) Gruppenmultiplikation ◦,
so dass
1 (G, ◦) folgende Eigenschaften hat:1 gi, gj ∈ G⇒ gi ◦ gj ∈ G (Abgeschlossenheit)2 gi ◦ (gj ◦ gk) = (gi ◦ gj) ◦ gk (Assoziativität)3 g0 ◦ gi = gi (Identität)(g0 = 0)4 gi ◦ gk = g0 (Inverses Element gk = g−1
i )5 gi ◦ gj = gj ◦ gi (kommutative Gruppe)
Beispiel: (R,+), (C,+), (R\{0}, ·), (C\{0}, ·), die nichtsingulären MatrizenA ∈ Rn×n mit Matrixmultiplikation bilden eine Gruppe.
![Page 296: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/296.jpg)
Körper| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.3
Ein Körper K besteht aus1 einer Menge gi ∈ K i = 1, 2, . . . , n
Zusammen mit zwei Operationenα) Addition+
β) Skalarmultiplikation ·,so dass
1 (K,+) eine kommutative Gruppe mit Identität g0 ist.2 (K, ·) folgende Eigenschaften hat:
1 gi, gj ∈ G⇒ gi · gj ∈ G (Abgeschlossenheit)2 gi · (gj · gk) = (gi · gj) · gk (Assoziativität)3 g0 · gi = gi (Identität)(g0 = 1)4 gi · gk = gk · gi = g0 (Inverses Element gk = g−1
i , gi 6= g0)5 gi · (gj + gk) = gi · gj + gi · gk (Distributivität)6 gi · gj = gj · gi (kommutativer Körper)
Beispiel: R, C,
![Page 297: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/297.jpg)
Linearer Vektorraum I| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.4
Ein linearer Vektorraum V besteht aus
1 einer Menge von Vektoren vi ∈ V i = 1, 2, . . .
2 einer Menge von Skalaren ci ∈ F
zusammen mit zwei Operationenα) Vektoraddition+
β) Skalarmultiplikation ·,so dass
![Page 298: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/298.jpg)
Linearer Vektorraum II| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.5
1 (V,+) eine kommutative (abelsche) Gruppe ist:1 vi, vj ∈ V ⇒ vi + vj ∈ V (Abgeschlossenheit)2 vi + (vj + vk) = (vi + vj) + vk (Assoziativität)3 v0 + vi = vi (Identität)(v0 = 0)4 vi + (−vi) = v0 (Inverses Element)5 vi + vj = vj + vi (Kommutativität)
2 (V, ·) folgende Bedingungen erfüllt:1 fi ∈ F, vj ∈ V ⇒ fi · vj ∈ V (Abgeschlossenheit)2 fi · (fj · vk) = (fi · fj) · vk (Assoziativität)3 1 · vi = vi (Identität)4 fi · (vj + vk) = fi · vj + fi · vk (Bilinearität)
(fi + fj) · vk = fi · vk + fj · vk
![Page 299: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/299.jpg)
Beispiele für Vektorräume| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.6
• Eine Menge von Vektoren v ∈ Fn ist ein Vektorraum.• Die Menge der Matrizen A ∈ Fm×n ist ein Vektorraum.• Die komplexen Zahlen bilden einen Vektorraum über dem Körper derreellen Zahlen (Basis [1, j]T).• Die Funktionen f (Φ), die auf dem Einheitskreis (0 ≤ φ < 2π) definiertsind, mit
f (Φ) =∞
∑m=−∞
amejmφ
bilden einen Vektorraum.
![Page 300: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/300.jpg)
Lineare Algebra I| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.7
Eine Lineare Algebra A besteht aus
1 einer Menge von Vektoren vi ∈ V, i = 1, 2, . . .
2 ci ∈ F
zusammen mit drei Operatorenα) Vektoraddition+
β) Skalarmultiplikation ·
γ) Algebraische Multiplikation ∗
so dass
![Page 301: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/301.jpg)
Lineare Algebra II| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.8
1 (A1)-(A5) von V gilt2 (B1)-(B4) von V gilt
(C1) v1, v2 ∈ V ⇒ v1 ∗ v2 ∈ V (Abgeschlossenheit)(C2) v1 ∗ (v2 + v3) = v1 ∗ v2 + v1 ∗ v3 (Bilinearität)
(v1 + v2) ∗ v3 = v1 ∗ v2 + v2 ∗ v3
Es existieren verschiedene Varianten, je nachdem welche zusätzlichenPostulate erfüllt werden
(C3) v1 ∗ (v2 ∗ v3) = (v1 ∗ v2) ∗ v3 (Assoziativität)(C4) v1 ∗ 1 = v1 (Identität)(C5) v1 ∗ v2 = v2 ∗ v1 (Symmetrie)(C6) v1 ∗ v2 = −v2 ∗ v1 (Antisymmetrie)(C7) v1 ∗ (v2 ∗ v3) = (v1 ∗ v2) ∗ v3 + v2 ∗ (v1 ∗ v3) (Ableitung)
[(a · b)′ = a′b + b′a v1 ∗ = ddx ]
![Page 302: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/302.jpg)
Beispiel I| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.9
1 A ∈ Rn×n Vektorraum (s.o.); Standard Matrix-Matrix-Multiplikation
A ∗ B := AB = C : cik =n
∑j=1
aij bjk
(A1)-(A5)|(B1)-(B5) erfüllt, (C1), (C2) erfüllt⇒ lineare Algebraz.B. Identitäten 0,+ 1, · I, ∗(C3) und (C4) sind ebenfalls erfüllt⇒ A ∈ Rn×n assoziative lineareAlgebra mit Identität
2 S ∈ Rn×n, ST = S reelle symmetrische Matrizen(C1) nicht erfüllt
S1 · S2 6= (S1 · S2)T = ST
2 · ST1 = S2 · S1
MMM nicht kommutativ3 Definiere: A ∗ B :≡ AB+ BA (C1),(C2) und (C5)⇒ Lineare Algebra unterSymmetrierung
![Page 303: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/303.jpg)
Beispiel II| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.10
4 Definiere: A ∗ B :≡ AB− BA Antisymmetrie(C1),(C2) ja (C6) ja (C7) ja⇒ Lineare Algebra(C3),(C4),(C5) nein
In der Vorlesung behandeln wir ausschließlich lineare Algebra mit MMMgemäß Beispiel 1).
A ∈ Rm×n kann immer auf quadratische Form gebracht werden(Nullvektoren einfügen).
Kompakte Schreibweise (vgl. Faltung):A ∈ Rm1×n, B ∈ Rn×m2 , AB ∈ Rm1×m2
![Page 304: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/304.jpg)
Überblick: algebraische Strukturen| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.11
Anzahl/Arten Anzahl/Arten von Operationen
von Elementen 0 1 2 3
1 Menge Gruppe Körper
(G,+) oder (G, ·) (K,+, ·)
2 Vektorraum Algebra
(V,+, ·) (A,+, ·, ∗)
Anmerkung: Im Allgemeinen gilt, dass sich in strukturierteren Systemenmehr beweisen lässt. Auf der anderen Seite sind Ergebnisse, die für einweniger strukturiertes System bewiesen werden können, auch in einemhöher strukturierten System gültig.
![Page 305: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/305.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 10.0.0
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
![Page 306: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/306.jpg)
Herleitungen aus Axiomen| DT/IPLDT/IPLDT/IPL | TGIT | 10.0.1
1 P(∅) = 0A∩∅ = ∅, A∪∅ = AP(A) = P(A∪∅)
(III)= P(A) + P(∅)⇒ P(∅) = 0 �
2 P(A) = 1− P(A) ≤ 1
A∪ A = Φ, A∩ A = ∅⇒ 1 (II)= P(Φ) = P(A∪ A) (III)
= P(A) + P(A) �
3 P(A∪ B) = P(A) + P(B)− P(A∩ B) ≤ P(A) + P(B)A∪ B = A∪ (A ∩ B) (III)⇒ P(A∪ B) = P(A) + P(A ∩ B) (1)
B = (A∩ B) ∪ (A ∩ B) (III)⇒ P(B) = P(A∩ B) + P(A ∩ B) (2)(1)− (2) : P(A∪ B)− P(B) = P(A)− P(A∩ B) �
4 Wenn B ⊂ A, dannA = B ∪ (A∩ B), B ∩ (A∩ B) = ∅(III)⇒ P(A) = P(B) + P(A∩ B) ≥ P(B)
5 A und B sind gleich, falls P(A) = P(B)︸ ︷︷ ︸genügt nicht
= P(A∩ B)
![Page 307: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/307.jpg)
Beweis der Ergodizität desMittelwerts I| DT/IPLDT/IPLDT/IPL | TGIT | 10.0.2
E{|η − η|2} = E{| 1N
N−1
∑n=0
x(n)− η|2} = 1N2 E{|
N−1
∑n=0
(x(n)− η)|2} =
=1
N2 E{N−1
∑n=0
N−1
∑k=0
(x(n)− η)(x(k)− η)∗}
=1
N2
N−1
∑n=0
N−1
∑k=0
E{(x(n)− η)(x(k)− η)∗} = 1N2
N−1
∑n=0
N−1
∑k=0
c(n− k)
k\n 0 1 2 . . . N− 10 0 1 2 . . . N-11 -1 0 1 . . . N-22 -2 -1 0 . . . N-3...
......
.... . .
...N-1 -N+1 -N+2 -N+3 . . . 0
T
![Page 308: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/308.jpg)
Beweis der Ergodizität desMittelwerts I| DT/IPLDT/IPLDT/IPL | TGIT | 10.0.3
Mit l = n− k lässt sich die doppelte Summe über n und k wie folgtvereinfachen:
E{|η − η|2} =1
N2
N−1
∑l=−N+1
(N− |l|)c(l)
=1N
N−1
∑l=−N+1
(1− |l|N)c(l)
Es gilt
limN→∞
1N
N−1
∑l=−N+1
(1− |l|N)c(l) = 0
falls x(n) ein asymptotisch unkorrelierter stochastischer Prozess ist. �
In ähnlicher Weise lässt sich auch die Ergodizität von Autokorrelation undAutokovarianz zeigen.
![Page 309: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/309.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 11.0.0
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
![Page 310: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/310.jpg)
Problemstellung: Totale Minimierung| DT/IPLDT/IPLDT/IPL | TGIT | 11.0.1
Für X,E ∈ Rm×n,w ∈ Rn und b,e ∈ Rm löse
(X+ E)w = b+ e
Mit B = [X b], D = [E e] und z =
[w−1
]ergibt sich:
Xw− b+ Ew− e =([X b] + [E e]
)·[
w−1
]= 0(
B + D) · z = 0 (Nullraum)
⇒ TLS Problem: minb+e ∈SR(X+E)
||D||F , wobei ||D||F = (∑i
∑j
d2ij)
12
![Page 311: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/311.jpg)
Lösung von TLS| DT/IPLDT/IPLDT/IPL | TGIT | 11.0.2
Lösung: z ∈ NR(B+ D)
1 Berechne NR(B)mit SVD: B = UΣVT
2 Da NR(B+ D) 6= NR(B) bestimmeM = {σi(B)|σi > σn+1 + ε} ,wobei ε > 0 klein⇒ M = |M| (Anzahl großer Singulärwerte).
3 VNR = [vM+1, . . . , vn+1]
Die letzte Zeile von VNR sei zTv .
Berechne z = zv||zv||2 und y = [y1 . . . yn yn+1]
T = VNR · zEs giltwTLS = − 1
y(n+1) [y1 . . . yn]
Anwendung: Frequenzschätzung und lineare Prädiktion:Bestimme TLS-Lösung von
(X+ E)c = xp + e
Bestimme Px(f ) aus den berechneten Lösungsvektor c (siehe Folie 6.21)
![Page 312: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/312.jpg)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 12.0.0
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
![Page 313: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/313.jpg)
Inversion einer Diagonalmatrix:| DT/IPLDT/IPLDT/IPL | TGIT | 12.0.1
Λ ∈ Fn×n
Λ =
λ1 0 . . . 00 λ2 0...
. . ....
0 0 . . . λn
⇒ Λ−1 =
1
λ10 . . . 0
0 1λ2
0...
. . ....
0 0 . . . 1λn
Σ ∈ Fm×n
Σ =
σ1 0 . . . 00 σ2 0...
. . ....
0 0 . . . σn0 0 . . . 0...
.... . .
...0 0 . . . 0
⇒ Σ# =
1σ1
0 . . . 0 0 . . . 00 1
σ20 0 . . . 0
.... . .
......
. . ....
0 0 . . . 1σn
0 . . . 0
Σ# heißt Pseudoinverse von Σ.
![Page 314: Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4e414e88c9934a608bcec5/html5/thumbnails/314.jpg)
InverseMatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 12.0.2
Mit (M1 ·M2)−1 = M−1
2 ·M−11 ergibt sich aus den Matrixzerlegungen
1 A = YΛY−1 ⇒ A−1 = (Y−1)−1Λ−1Y−1 = YΛ−1Y−1
Bew.: A · A−1 = YΛY−1Y︸ ︷︷ ︸I
Λ−1Y−1 = YΛΛ−1︸ ︷︷ ︸I
Y−1 = YY−1 = I
2 A = QΛQT(A normal)⇒ A−1 = (QT)−1Λ−1Q−1 = QΛ−1QT
Bew.: A · A−1 = QΛQTQ︸︷︷︸I
Λ−1QT = QΛΛ−1︸ ︷︷ ︸I
QT = QQT = I
3 A = UΣVT ⇒ A−1 = (VT)−1Σ−1U−1 = VΣ−1UT
Bew.: AA−1 = UΣ VTV︸︷︷︸I
Σ−1UT = UΣΣ−1︸ ︷︷ ︸I
UT = UUT = I
4 X = UΣVT ⇒Pseudoinverse
X# = (VT)−1Σ#U−1 = VΣ#UT
Bew.: XX# = UΣ VTV︸︷︷︸I
Σ#UT = U ΣΣ#︸︷︷︸I
UT = U[In 00 0
]UT =
[In 00 0
]