compresión de vídeo. tema 2.2. estructura jerárquica del h · 2017-10-05 · compresión de...
TRANSCRIPT
![Page 1: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/1.jpg)
Tema 2.2. Estructura jerárquica del H.264
Compresión de Vídeo
Juan A. Michell MarBn Gustavo A. Ruiz Robredo
Departamento de Electrónica y Computadores
Este tema se publica bajo Licencia: Crea9ve Commons BY-‐NC-‐SA 4.0
![Page 2: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/2.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 2
ESTRUCTURA DEL VIDEO EN EL H.264/AVC
El H.264 codifica las secuencias de video en una estructura jerárquica decapas o layers.
Hay cuatro tipo de capas:
o GOP o Group of Pictures.
o Imagen o picture o frame.
o Slice o parte de una frame o una frame completa.
o Macroblock o MB de tamaño 16x16.
o Block de diferentes tamaños iguales o inferiores a un MB.
![Page 3: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/3.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 3
Frame
GOP
Un GOP generalmentecomienza con una frame I (intra) seguida de unasecuencia de P y/o B frames (inter).
Tipo I, P o B
Slice #0
Slice #1
Slice
BlocksMacrobloqueMB 16x16
![Page 4: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/4.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 4
Tipos de Slice
Una slice es una parte de una frame (mínimo tamaño 1MB) o una framecompleta que contiene un número entero de MB.
Existen tres tipos principales:
o I slice (I o intra). Todos los MB se codifican usando intra predicciónexplotando la correlación espacial. Profile all.
o P slice (P o Predicted). Además de codificar en tipo I, algunos MBpueden ser de tipo P usando predicción inter con correlación temporalde slices I o P pertenecientes a frames anteriores. Profile all.
o B slice (B o Bi-directionally predicted). Además de codificiar un MB detipo P, algunos MB de una slice B pueden ser codificados usandopredicción inter con slices (I, P o B) de frames anteriores o futuras.Profile extended & Main.
Cada slice se procesa independientemente.
![Page 5: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/5.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 5
I MB 16x16
I P Skip
I P B Skip
I slice
P slice
B slice
![Page 6: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/6.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 6
Existen otros dos tipos de slice especiales para video streaming:
o SP slice (Switching P). Permite intercambio entre diferentes frames pre-codificadas. Profile extended.
o SI slice (Switching I). Permite la exacta coincidencia de un MB en unslice SP para aplicaciones de acceso aleatorio y recuperación de errores.Profile extended.
Motivación de slices tipo SP y SI:
o El ancho de banda de las redes (internet) actuales presentanfluctuaciones. Los servidores ajustan constantemente su velocidad detransmisión de datos de acuerdo a su ocupación.
o En aplicaciones de video streaming, los parámetros de codificación devideo deben modificarse y ajustarse en tiempo real.
o Cada secuencia de videos debe ser codificada en múltiples y diferentesstreams.
![Page 7: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/7.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 7
GOP o Group of Pictures
GOP con solo frames tipo I (intra) o P (inter): Secuencia IP…..P
I P P P P IGOP
Valores típicos de un GOP es de 10 a 30 frames.
![Page 8: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/8.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación
El número máximo de frames referenciadas es de 16. H.
264
Frame 1 Frame 2 Frame 3 Frame 4
MPE
G-2
MPE
G-4
Frame 1 Frame 2 Frame 3 Frame 4
Máx
ima
com
pres
ión
No
reco
noce
Mov
imie
nto
perió
dico
![Page 9: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/9.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 9
I0 B1
GOP
Frames tipo I, P y B. Secuencia IBBPBBP….I
B2 P3 B4 B5 P6 B7 B8 I9
Orden de codificación: I0, P3, B1, B2, P6, B4, B5, I9, P7, B7….
Orden de reproducción: I0, B1, B2, P3, B4, B5, P6, B7, B8, I9….
![Page 10: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/10.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 10
Las operaciones de block-matching pueden ser extendidas para predicciónbi-direccional (tipo B), donde un block puede ser estimado a partir de unblock en:
o Frame previa.o Frame futura.
Cada block en una frame tipo B se obtiene a partir del promedio de unblock en la frame previa y frame futura.
![Page 11: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/11.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 11
BitRate [Mbit/s]
PSN
R Y
[dB
]Mobile & Calendar (CIF, 30 fps)
0 1 2 3 426272829303132333435363738
PBB... with B pictures PPP... with 5 previous references PPP... with 1 previous reference
>25%
Análisis del efecto de frames tipo P y B
![Page 12: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/12.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 12
SINTAXIS DEL H.264
MB
![Page 13: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/13.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 13
H.264 STREAM
Diferentes maneras de enpaquetar la sintaxis del H.264.
SODB (String Of Data Bits)
o Representación binaria (real raw H.264 stream) de acuerdo alestándar ISO/IEC 14496-10
![Page 14: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/14.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 14
RBSP (Raw Byte Sequence Payload)
o Es un SOBP alienado para adaptarse a un byte (8 bit) stream.
8 bit
Stop bit (=1) rbsp_alignment_zero_bit
NAL Unit (Network Abstraction Layer)
o NAL Unit es un RBSP formato con sincronización.
RBSP RBSP RBSP
NAL Unit Header Emulation_prevention_three_byte
SODB
8 bit 8 bit 8 bit
![Page 15: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/15.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 15
Byte Stream Format
o Es un formato de sincronización que consiste en poner la secuencia0x000001 o 0x00000001) en cada NAL Unit.
o Por razones practicas, este formato es el más usado en almacenamientoo streaming.
NAL Unit00 00 00 01 00 00 01 NAL Unit
![Page 16: Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de video Grado en Ingeniería de Tecnologías de Telecomunicación 2 ESTRUCTURA DEL VIDEO](https://reader030.vdocuments.net/reader030/viewer/2022040301/5e730ef13a752763c826066d/html5/thumbnails/16.jpg)
Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 16
Bit stream del H.264