kompression but life is short and information endless... aldous huxley a

Kompression

“But life is short and information endless...”

Aldous Huxley

A

Überblick Einführung & Grundlagen Dekorrelation

DCT (JPEG) DWT (JPEG2000)

Quantisierung Entropiekodierung

Huffman Run Length Encoding Arithmetische Codes Bitplane Coding Predictive Coding

Fraktale Kompression Videokompression

Einführung

Rasterung und Abtastung einer Intensitätsfunktion von Licht erzeugt große Datenmengen

→ hohe Anforderungen an die Datenspeicherung Datenübertragung

Wunsch nach kompakterer Darstellung/ Repräsentation digitaler Bilder und Videos

Einführung

Multimedia Data Grösse/DauerBits/Pixel bzw.

Bits/SampleUnkomprimierte Größe (in bytes)

Übertragungs-bandbreite (in

bits)

1 Seite Text A4variable

Auflösung4-8 kB

32-64 kbit/Seite

Telefon (Sprachqualität)

10 sec 8 bps 80 kB 64 kbit/s

Graustufenbild 512x512 8 bps 262 kB 2.1 Mbit/Bild

Farbbild 512x512 24 bpp 786 kB 6.29 Mbit/Bild

Medizinische Bilddaten 2048x2048 12 bpp 5.16 MB 41.3 Mbit/Bild

7.2 Megapixel Bild 3000x2400 24 bpp 20.59 MB 165 MBit/Bild

SD-Video(PAL Auflösung)

720x576, 1 min, 25 FPS

24 bpp933.12 MB

(1 min.)124.42 Mbit/s

HD-Video1920x1080 (interlaced)

24 bpp9.33 GB (1 min.)

1.24 GBit/s

Einführung

Problemstellungen: Reduktion der Daten zur Repräsentation einer

gegebenen Menge an visueller Information

Elimination von RedundanzAlgorithmische Transformation in einen statistisch

unkorrellierten Datensatz und anschließender Kodierung

Reduktion von Information, die für eine bestimmte Anwendung nicht interessant ist

Elimination von IrrelevanzVerringerung der Genauigkeit der Darstellung

Grundlagen

Information: Reduktion von Unsicherheit (Claude Shannon) Die minimale Anzahl an ja/nein Fragen um eine

Information eindeutig zu bestimmen

Informationsgehalt einer Information mit der Auftrittswahrscheinlichkeit p

12log)( ppI

Grundlagen

Shannon Entropie: Maß zur statistischen Bestimmung des Informationsgehaltes einer

Informationsquelle erlaubt die Bestimmung der minimalen Länge einer kodierten

“Nachricht”

Entropie einer Quelle dessen Alphabet aus den Symbolen i mit Auftrittswahrscheinlichkeit pi besteht

Annahme: Statistische Unabhängigkeit der Symbole

ii

i ppH 2log

Grundlagen

Daten Mittel zur Darstellung von Information Folgen von 0 und 1 Existenz mehrerer verschiedener Datendarstellungen

für dieselbe Information Teile der Daten enthalten keine Information

Datenredundanz

Kompression

Modell

Klassifikation

Verlustlose KompressionVerlustbehaftete Kompression

Kompression

KomprimierteDaten

Dekompression

Originaldaten

Rekonstruktion

Rate-Distortion-Theory: Rate

Datenrate

Kompressionsrate

Redundanz

CodeBits

SourceBitsr n

nC

RCd

r

11

(nBits-Source: Quell-Wortlänge , nBits-Code: Kodierungs-Wortlänge)

][bpsn

nR

Samples

Bits

Rate-Distortion-Theory: Distortion Größe des „Fehlers“ der durch die Kompression entstanden

ist Äussert sich in Form von Kompressionsartefakten Gemessen durch Vergleich einer Rekonstruktion mit dem

Original durch eine Metrik Typische Metrik: Mean Squared Error (MSE)

Abgeleitete Qualitätsmetrik: Peak Signal to Noise Ratio (PSNR)

Faustregel: 1 bpp mehr an Datenrate 6dB mehr an Qualität

Rate-Distortion-Theory: R/D - Kurve

Redundanzen

Kodierungen Nachbarschaftsbeziehungen

räumlichzeitlich (Video)

Nachbarschaftsbeziehungen

Histogramm Histogramm

Psychovisuelle Eindrücke

Wahrnehmungsmodell des Menschen→ z.B. Farbauflösung des menschlichen Auges

Abhängig von der Anwendung

Psychovisuelle Eindrücke

256 Graustufen 16 Graustufen (normal) 16 Graustufen mit Improved Gray-Scale Quantization (IGS)

KompressionspipelineKompression

KomprimierteDaten

Dekompression

Originaldaten Farbtrafo QuantisierungDekorrelationsTransformation

EntropieKodierung

Ratenallozierung

Rekonstruktion InverseFarbtrafo Dequantisierung

InverseDekorrelationsTransformation

EntropieDekodierung

Farbtransformation

RGB YCbCr Effekte:

DekorrelationAnpassung an Psychovisuelle Eindrücke

Gröbere Darstellung der FarbkanäleSubsampling in JPEG

Dekorrelation: Wahl der Transformation

Fourier Discrete Cosine Transform

(JPEG) Walsh-Hadamard Discrete Wavelet Transform

(JPEG 2000)

Dekorrelation: DCT in JPEG

DCT:

Pseudofrequenzdarstellung Exzellente Datendekorrelation

Energie im Direct Current Koeffizient konzentriert Alternating Current Koeffizienten üblicherweise klein

Koeffizienten enthalten keine Ortsinformation Aufteilung in Blöcke erforderlich

Effiziente SW, beschleunigte HW

01

0,2

1

f

fC f

n

ftpC

nG

n

ttff 2

)12(cos

2 1

0

Dekorrelation: DCT in JPEG

Differenzsignal

Dekorrelation: DCT in JPEG

Dekorrelation: DWT in JPEG2000 (Kontinuierliche) Wavelet-Transformation:

mit „Mutter“-Wavelet:

Verwandt mit Fourier-Transformation, aber mit lokalem Support durch „Fensterung“!

Beispiele für Mutter-Wavelets

Dekorrelation: DWT in JPEG2000 Diskrete Wavelet-Transformation kann als „Multi-

skalenfilter“ implementiert werden→ Diskretisierung der Parameter a und b!

Originalbild 1. Iteration 2. Iteration …

Dekorrelation: DWT in JPEG2000

DWT vs. DCT

Quantisierung Quantisierung: Abbildung einer wertkontinuierlichen

Quelle in eine wertdiskrete Quelle

Dequantisierung:Rekonstruktion der wertkontinuierlichen Quelle aus einer wertdiskreten Quelle

Reduktion von Irrelevanz (Verlustbehaftet!)

Quantisierung: Schwellwert-Kodierung

691636 543 203301429 161211

12 63 95 8110694 17 -39

-7 -26 -4 2957 17 -8

0 -1 0 -0-11 -1 0

8 6 -6 -1-93 0 14

-1 1 1 013 0 1

-6 -2 -3 431 4 -11

0 0 -0 002 6 1

691636543 203301429 161211

63 95 8110694 -39

-26 29

Standard-Basis(Ortsbereich)

Transformierte Basis(„Frequenzbereich“)

Transformation

Quantisierung

Rücktransformation

→ resultierender Fehler im Ortsbereich: ~37.4

Quantisierung in JPEG

691636543 203301429 161211

12 63 95 8110694 17 -39

-7 -26 -4 2957 17 -8

0 -1 0 -0-11 -1 0

8 6 -6 -1-93 0 14

-1 1 1 013 0 1

-6 -2 -3 431 4 -11

0 0 -0 002 6 1

Standard-Basis(Ortsbereich)

Transformierte Basis („Frequenzbereich“)

Transformation

Quantisierung

Rücktransformation

10 15 25 665137 82 100

15 19 28 675239 83 101

25 28 35 725845 88 105

100101105 130119111 142156

37 35 45 796654 94 111

82 83 88 11410394 127142

51 52 58 897666 103119

66 67 72 1018979 114130

690630550 198306444 164200

15 57 84 6710478 0 0

0 -28 0 000 0 0

0 0 0 000 0 0

0 0 0 000 0 0

0 0 0 000 0 0

0 0 0 000 0 0

0 0 0 000 0 0

69 42 22 3612 2 2

1 3 3 122 0 0

0 -1 0 000 0 0

0 0 0 000 0 0

0 0 0 000 0 0

0 0 0 000 0 0

0 0 0 000 0 0

0 0 0 000 0 0 Dequantisierung

Quantisierung in JPEG

© Girod – Video and Image Compression

Quantisierung in JPEG

25%

50% 5640 byte

3815 byte75% 8065 byte

10% 2334 byte

5% 1685 byte

1% 1310 byte100% 31810 byte

Original 142738 byte

Entropiekodierung

Variable-Length CodingHuffman CodeArithmetischer Code

Bit-Plane CodingBit-Plane Slicing / Run-Length Coding

Predictive Coding

Entropiekodierung: Huffman Code

Codewörter variabler Länge (ganzzahlige Anzahl von Bits)

Repräsentation von Zeichen mit größerer Wahrscheinlichkeit durch kürzere Codewörter

Codierung durch Erzeugen eines Huffman-Codebaumes

Präfix-Eigenschafteindeutige Dekodierung

Anwendung in JPEG

Entropiekodierung: Huffman Code

0.36

0.12

0.22

0.10

0.08

0.02

0.06

0.04

a7

a3

a5

a4

a6

a0

a1

a2

a2,a5,a6,a7

a2,a5,a6,a7

0.60

0.40

a0,a2,a5,a6,a7

a1,a3,a4

0.40

0.24

0.36

a1,a3,a4

a0

0.36

0.22

0.24

0.18a3,a4

a0

a1

0.36

0.18

0.22

0.12

0.12

a3,a4

a5,a6,a7

a0

a1

a2

0.36

0.12

0.22

0.10

0.08

0.06

0.06a6,a7

a0

a1

a2

a3

a4

a5

0.36

0.12

0.22

0.12

0.10

0.08

a5,a6,a7

a0

a1

a2

a3

a4

Entropiekodierung: Huffman Code

0.36

0.12

0.22

0.10

0.08

0.02

0.06

0.04

0.36

0.12

0.22

0.10

0.08

0.06

0.06

0.36

0.12

0.22

0.12

0.10

0.08

0.36

0.18

0.22

0.12

0.12

0.36

0.22

0.24

0.18

0.40

0.24

0.36

0.60

0.400

1

1

00

01

00

01

10

11

00

11

10

010

011

000000

101010

010 010 010

011

110

111

110 110

111 111

0111

01100110

01110

01111

a3,a0,a4,a0,a2 1100011100010

a7

a3

a5

a4

a6

a0

a1

a2

aufwendige Konstruktion !

Entropiekodierung: Arithmetischer Code

Codierung der gesamten Nachricht als ein Codewort

keine Diskrepanz zwischen Codewortlänge und Informationsgehalt

Repräsentation eines Codewortes durch ein Intervall reeller Zahlen zwischen 0.0 und 1.0

Codierung durch sukzessive Verkleinerung des Intervalls

Anwendung eines binären adaptiven arithmetischen Coders (MQ-Coder) in JPEG2000

Entropiekodierung: Arithmetischer Code

a7

a3

a5

a4

a6

a0

a1

a2

0

0.36

0.58

0.70

0.80

0.88

0.94

1 a7

a3

a5

a4

a6

a0

a1

a2

0.7

0.736

0.758

0.77

0.78

0.788

0.794

0.8 a7

a3

a5

a4

a6

a0

a1

a2

0.7

0.71296

0.72088

0.7252

0.7288

0.73168

0.73384

0.736 a7

a3

a5

a4

a6

a0

a1

a2

0.7288

0.7298368

0.7304704

0.730816

0.731104

0.7313344

0.7315072

0.73168 a7

a3

a5

a4

a6

a0

a1

a2

0.7288

0.729173248

0.729401344

0.72952576

0.72962944

0.729712384

0.729774592

0.7298368

a3 a0a4a0 a2

0.7295

Entropiekodierung: Run-Length Coding

3 4 4 21 6

Binärbild Kodierung Ausnutzung der Redundanz benachbarter Pixel

3 3 2110 3 10 3 3

2 Bit Code

0

3 Bit Code

3 4 214 6

24 bit

20 bit

18 bit

Entropiekodierung: Bit-Plane Coding

Bit-Plane Slicing

Entropiekodierung: Bit-Plane Coding

Bit-Plane Slicing: Binäre Kodierung

1 → 00002 → 00013 → 00104 → 0011

…

Entropiekodierung: Bit-Plane Coding

Bit-Plane Slicing: Gray Code

1 → 00002 → 00013 → 00114 → 00105 → 0110

…

Entropiekodierung: Bit-Plane Coding

Graycode Graycode

Entropiekodierung: Bit-Plane Coding in JPEG2000 (EBCOT)

DWT+ Quantisierung

Bitplane Coding + Binäre adaptive

arithmetische Kodierung (MQ-Coder)

Berechnung von

Datenrate / Distortion

Sortierung nach Rate/Distortion

Verhältnis

Komprimierter Datenstrom

Entropiekodierung: Bit-Plane Coding in JPEG2000 (EBCOT) Embedded Block Coding with Optimal Truncation

A posteriori Ratenallozierung Implizierte Quantisierung durch Weglassen von einzelnen

Bitplanes Abbruch des Kodierens/Dekodierens an einem beliebigen

Zeitpunkt: Optimale Beschreibung des Bildes für gegebene Datenrate

Ideal für Progressive Decoding (z.B. Erzeugung von Thumbnails)

Entropiekodierung: Predictive Coding

PredictorNearestInteger

SymbolEncoderImage

CompressedImage

+

_

SymbolDecoder

Predictor

ImageCompressed

Image

+

+

Entropiekodierung: Predictive Coding

6218. 1347.

H 6 93. H 4 83.

Weitere

Lempel-Ziv-Welch-Algorithmus (LZW)GIF,TIFF, … “Online”-CodebucherstellungKombination von Variable Length und Run-

Length Coding Löschen niederwertiger Bits beim Bit-plane

coding

Fraktale Kompression Nutzung von Redundanz in Bildern durch

Selbstähnlichkeit Fraktale - Selbstähnliche Geometrische Figuren:

… und in der Natur

Künstlich erzeugt …

Fraktale Kompression Prinzip Kodierung:

(1) Modelliere das Bild als Resultat eines iterativen Kopiervorgangs(= iteriertes Funktionensystem)

Fraktale Kompression Prinzip Kodierung:

(2) Ermittle die Parameter der Kopiermaschine.

Suche für alle Blöcke in Domain

den best-passenden Block in Range, unter

Nutzung erlaubter Transformationen

(z.B. Rotation, Helligkeitsanpassung,

Spiegelung, …)

iT

Fraktale Kompression Das komprimierte Bild besteht nur aus den Parametern

der in der Kodierung gefundenen Transformationen Dekodierung: Kopiere wiederholt ein Ausgangsbild mit

der Kopiermaschine

Fraktale Kompression

Fraktale Kompression vs JPEG

Fraktal Komprimiert (72:1) JPEG Komprimiert (71:1)

Fraktale Kompression Weitere Varianten: Quadtree-Zerlegung, … Hohe Kompressionsraten erzielbar (bis zu 1000:1) Asymmetrisches Verfahren: Kodierung wesentlich

aufwendiger als Dekodierung Dekodierung vom Ausgangsbild abhängig Fractal Image Format (FIF) Keine Durchsetzung am Markt, u.a. wegen Patentschutz

und mangelnder Verbreitung im Internet Moderne verwandte Verfahren: Bild-Interpolation (Up-

scaling)

Video

Folge von Einzelbilder PAL-Format

720x576 Pixel - 24 Bit Farbtiefe25 Bildern pro SekundeY (Helligkeitsinformation), Cb (blau-gelb-

Balance) und Cr (rot-grün-Balance) YCbCr 4:2:2 240 MBit/s oder 30 MByte/s drastische Reduzierung der Datenmenge

notwendig

Einzelbildkompression JPEG/JPEG2000 für jedes Bild?

JPEG-Video, Motion-JPEG, Moving JPEG JPEG 2000 – Part 3: Motion JPEG 2000 (Digitales Kino)

Kompressionsraten bis zu 1:20 Kompression / Dekompression mit gleichem

Zeitaufwand Zugriff auf jedes Einzelbild unmittelbar möglich

Kompression von Bildgruppen Intraframekompression

Einzelbildkompression (räumlichen Redundanz) Interframekompression

Kompression durch Vergleich aufeinanderfolgender Bilder (zeitlichen Redundanz)

Gruppenaufteilung (Group of Pictures – GOP) Gruppen von Bildern, die zusammenhängend komprimiert werden

Bildgruppen

Intrapicture (I-Bild) komprimiert / dekomprimiert wie einzelnes Standbild Referenz für nachfolgende P-Bilder sowie vorhergehende und

nachfolgende B-Bilder Predicted picture (P-Bild)

Interframe-Kodierung mit Bezug auf vorhergehendes I-Bild bzw. P-Bild (Referenzbild)

Speicherung des Verschiebungsvektor eines Bildbereiches Bidirectional picture (B-Bild)

Bezug auf vorhergehendes und nachfolgendes Bild Idee: Bewegliche Bildteile verdecken Hintergrund (in I-Bild zu

finden) oder geben ihn frei (in P-Bild zu finden)

B-Frames Bilder können durch vorausgegangene und nachfolgende

Frames geschätzt werden.

Beispiel: In Frame n+1 kann das schwarze Objekt nicht aus Frame n, aber aus Frame n+2 geschätzt werden (wegen Verdeckung).

Frame n Frame n+1 Frame n+2

… …

B-Frame Kodierung

Videokompression

Transformationskodierung Bewegungskompensation

Beispiel MPEG2

Datenrate von 2 bis 6 MBit üblich GOP = 12 Bilder Standardformat bei DVD, DVB Kompressionsrate bis zu 1:60 Nachfolger ist MPEG4 + H.264 (HDTV)

Erweiterung von MPEG2, u.a. mit Objektkodierung, Zerlegung des Bildes in Szenenelemente, …