lhe valladolid
TRANSCRIPT
![Page 1: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/1.jpg)
1
CODIFICACION LHE ULTRARRÁPIDA PARA CLOUD GAMING
Jose Javier García ArandaMarina Gonzalez Casquete
![Page 2: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/2.jpg)
2
Agenda
0| Introducción
2| LHE básico3| LHE avanzado4| Video LHE5| Conclusiones y trabajo futuro
1| Estado del arte
Codificación LHE ultrarrápida para cloud gaming
![Page 3: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/3.jpg)
0| Introducción: online gaming vs cloud gamingcloud gaming concept
23
4 5 6Video Encoding
network
Video Decoding
Game server 1
![Page 4: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/4.jpg)
4
Huyes, pero no huyes realmente hasta 130ms +80ms =210ms después de que te disparasen
80ms
El disparo sale realmente 20 ms después
Te enteras de que te han disparado 40+80+10=130ms después de que lo han hecho
20ms 80ms + video decoding
40ms Video encoding
Cuanto Tiempo tienes para huir?
0| Introducción: problemática cloud gaming
![Page 5: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/5.jpg)
5
Recursos Costes
0| Introducción: ¿merece la pena el progreso?
Demanda
Cloud gaming
![Page 6: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/6.jpg)
6
0| Introducción: motivación
Problema no resuelto : latencia de codificación en “cloud gaming” limita el despegue comercial de estos servicios.
Retos:
El “time-memory” trade-off.
La mejora de la calidad.
El problema de las patentes que afecta a la difusión de los
algoritmos.
LHE: nuevo algoritmo de baja complejidad computacional (lineal) y sin patentes ,
con calidad superior a JPEG.
![Page 7: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/7.jpg)
7
Agenda
2| LHE básico3| LHE avanzado4| Video LHE5| Conclusiones y trabajo futuro
Codificación LHE ultrarrápida para cloud gaming
0| Introducción1| Estado del arte
![Page 8: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/8.jpg)
8
J. Cooley y J. W. Tukey, «An Algorithm for the Machine Calculation of Complex Fourier Series,»Mathematics of Computation, vol. 19, nº 90, p. 297–301, 1965.
JPEG 1986 -1994
JPEG 2000
H264 intra 2003
JPEGXR 2009
WebP ( VP8 intraframe) 2010
Mp3 (audio) 1993
MPEG1 Intraframe ( JPEG) 1992
MPEG2 Intraframe ( JPEG) 1994
H265 intraframe “HEVC” 2013
GIF 1987
1| Estado del arte: transform compressors
Transform compressors(dominan la compresión con
pérdidas)
Non- Transform compressors(dominan la compresión sin
pérdidas)G721 (ADPCM speech codec) 1984
Lossless JPEG (1993)
PNG 1996
JPEG- LS (2003)
…
…
vsFLAC (audio) 2000
![Page 9: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/9.jpg)
9
Espacio-tiempo
Paralelización
Selección y diseño de algoritmos
Calidad del resultado
Típico diagrama R-D No muestra la complejidad, sólo el resultado
1| Estado del arte: complejidad
calidad
Bit-rate
criterios
![Page 10: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/10.jpg)
10
JPEG
JPEG XR
JPEG 2000
PNGGIF WEBP
FRACTAL RNA
BMP LHE
H264 intra
tiempo
espacio
Usan algoritmos de diccionario
Usan DCT
Usa convolución
Usa RLE
Usan predicción espacial
Usa Ley de weber
Aun no viables
Usa DCT jerárquica
Sin pérdidas
Espacio: memoria RAM consumida durante la ejecuciónTiempo: tiempo consumido durante la ejecución
Esta gráfica muestra la complejidad computacional y no cuanto comprime cada formato ni cuanta calidad proporciona.
1| Estado del arte: algoritmos/formatos
![Page 11: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/11.jpg)
11
0| Introducción
2| LHE básico3| LHE avanzado4| Video LHE5| Conclusiones y trabajo futuro
1| Estado del arte
AgendaCodificación LHE ultrarrápida para cloud gaming
![Page 12: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/12.jpg)
12
Basado en modelado del ojo humano
•La respuesta logarítmica al estímulo luminoso (ley de Weber)
•El umbral mínimo de contraste lumínico para detectar cambios
•El proceso de acomodación del ojo al brillo medio local
2| LHE básico
Diagrama de bloques del compresor LHE básico
![Page 13: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/13.jpg)
13
2| LHE básico: respuesta logarítmica al estímulo luminoso
(Información sensorial)
Modelado de la respuesta logarítmica del ojo humano
(Información perceptuall)
![Page 14: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/14.jpg)
14
2| LHE básico: respuesta logarítmica al estímulo luminoso
![Page 15: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/15.jpg)
15
2| LHE básico: umbral de detección h1
Fracción de Weber:
penumbra deslumbramiento
![Page 16: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/16.jpg)
16
Los valores que se alejan del brillo medio “local” se interpretan con menos precisión, ya sea por exceso (izquierda) o por defecto (derecha)
2| LHE básico: acomodación al brillo medio local
h1 min=4
h1 max
Zona lisa o suaveborde
X
Rango de variación de h1
Acomodación del ojo al brillo medio
![Page 17: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/17.jpg)
17
¿Cuántos hops diferentes usar?
2| LHE básico: número de hops
Ejemplo de asignación de hops y reconstrucción realizada por LHE
![Page 18: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/18.jpg)
18
Por último se calculan códigos binarios de longitud variable mediante Huffman estático
hop SímboloRedundancia espacial
Huffman estático Código binario
2| LHE básico: codificador entrópico
Hop Orden de comprobación
h0 1Up 2h1 3h-1 4h2 5h-2 6h3 7h-3 8h4 9h-4 10
Símbolo: número de comprobaciones [1..9]Distribución estadística de hops
![Page 19: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/19.jpg)
19
2| LHE básico: resultados
•Estrictamente lineal O(N)•Bit-rate no elegible
![Page 20: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/20.jpg)
20
3| LHE básico: modelo de color
Aplicación de YUV a LHE: • Métricas sólo sobre Y ( U, V no consumen estos cálculos)
• Sub-muestreado de U,V más intenso que Y
Modelos de color: CIE, RGB, HSB, CMYK, YUVYUV: es el modelo de los “lossy compresors” (JPEG, JP2K, h264 intra, webp…)
YUV prioriza la resolución vertical porque el ojo posee mas sensibilidad vertical que horizontal
![Page 21: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/21.jpg)
21
6| LHE básico: validación modelo de color
![Page 22: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/22.jpg)
22
6| LHE básico: validación modelo de color
![Page 23: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/23.jpg)
23
0| Introducción
2| LHE básico3| LHE avanzado4 | Video LHE5 | Conclusiones y trabajo futuro
1| Estado del arte
AgendaCodificación LHE ultrarrápida para cloud gaming
![Page 24: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/24.jpg)
LHE avanzado está basado en:• LHE básico
• Métrica de relevancia perceptual (PR)
• Downsampling elástico
Necesidad: El LHE básico ofrece un solo ratio de compresión, que además no podemos elegir
3| LHE avanzado
1st LHE
PR metric
Elastic Downsampling
2nd LHE
From Hops to signal
Elastic Interpolation
Encoder Decoder
![Page 25: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/25.jpg)
25
Sub-muestreado elástico
cada bloque de la imagen es sub-muestreado con diferente intensidad
Dentro de un bloque la cadencia de muestras es variable entre sus 4 esquinas
3| LHE avanzado
![Page 26: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/26.jpg)
26
3| LHE avanzado: PPP (Pixels Per Pixel)
![Page 27: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/27.jpg)
27
3| LHE avanzado: Relevancia Perceptual
muestra
Muestra Interpolable
Distintas percepciones en fragmentos de una imagen Interpolabilidad de la señal
Información sensorial y perceptual
![Page 28: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/28.jpg)
28
Al ser una media, esta métrica es independiente de la resolución.
Menos relevante Más relevante
3| LHE avanzado: Relevancia Perceptual
Relevancia es independiente del número de bordes
![Page 29: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/29.jpg)
29
3| LHE avanzado: Relevancia PerceptualMétricas de PR en los vértices de la malla
![Page 30: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/30.jpg)
30
Malla de bloques sin tamaño fijo: numero de bloques constante (sin precedentes)La información de malla es la misma en SD, HD o UHD
Malla de bloques sin tamaño fijo
3| LHE avanzado: malla
24 + 44 imágenes
Diferentes resultados con kodim21 usando diferente número de bloques en la malla
![Page 31: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/31.jpg)
Umbral de saturaciónPR=0.5
31
3| LHE avanzado: Saturación de PR
Igual número de muestras
Nuestros sentidos se llegan a saturar
Histograma de valores de la métrica de PRx y PRy para dos imágenes diferentes
Resultados sin topar y topando la PR en 0.5. Ambas imágenes igualmente reducidas al 10%
![Page 32: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/32.jpg)
32
3| LHE avanzado: expansión de PR
Expansión del histograma de PR antes de cuantizar
![Page 33: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/33.jpg)
33
3| LHE avanzado: traducción de PR’ a PPP
Máxima compresión
1st LHE
PR metric
Elastic Downsampling
2nd LHE
From Hops to signal
Elastic Interpolation
Encoder Decoder
hops PPP luminancias hops luminancias
luminancias
![Page 34: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/34.jpg)
34Dos imágenes con el mismo valor de QL tendrán la misma “calidad equivalente”
3| LHE avanzado: traducción de PR’ a PPP
Un valor de QL define una “calidad equivalente”Una misma Relevancia perceptual (PR) se transforma en los mismos PPP
23,8dB 16,4dB
Dos imágenes con igual nivel de calidad (QL) y distinto PSNR y tasa de bit
Nivel de calidad (“QL” o “Quality Level”) y reformulación de PPP
![Page 35: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/35.jpg)
35
Restricción rectangularEl resultado debe ser un rectángulo para poder ser traducido a hops
3| LHE avanzado: traducción de PR’ a PPP
Ajuste de gradiente de PPPLos lados deben tener un numero entero de pixels
![Page 36: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/36.jpg)
36
Separabilidad3| LHE avanzado: Downsampling Elástico
Downsampling Elástico separable
Media o mediana
![Page 37: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/37.jpg)
37
3| LHE avanzado: Downsampling Elástico
![Page 38: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/38.jpg)
38
3| LHE avanzado: Downsampling Elástico
![Page 39: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/39.jpg)
39
3| LHE avanzado: Downsampling ElásticoComparación de Downsampling Elástico vs Downsampling homogéneo
![Page 40: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/40.jpg)
40
3| LHE avanzado: segundo LHE
Píxels frontera necesarios para estimar el color de fondo
Interpolar es adaptar longitud pero también adaptar los PPP
![Page 41: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/41.jpg)
41
3| LHE avanzado: paralelización del segundo LHE
16 veces (63 pasos frente a 1024)
Incremento de velocidad ( lado =32 bloques)
bloque
sin usar fronteras, se pueden paralelizar todos los bloques 1024 veces
Usando fronteras
N : número de bloques de lado
![Page 42: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/42.jpg)
42
3| LHE avanzado: codificadores entrópicos
Las dos etapas del codificador binario de hops
![Page 43: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/43.jpg)
43
3| LHE avanzado: complejidad y paralelización
1st LHE
PR metric
Elastic Downsampling
2nd LHE
From Hops to signal
Elastic Interpolation
Encoder
Decoder
hops PPP luminancias hops luminancias
luminancias
Todos los bloques son paralelizables al 100% incluido el segundo LHE, el cual gana algo de calidad si se paraleliza de forma limitada
O(N/4) O(1) O(N) O(N’)
![Page 44: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/44.jpg)
44
3| LHE avanzado: decodificador
Recuperación de la Señal
no solo son de diferente tamaño sino que tienen diferente PPP
![Page 45: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/45.jpg)
45
3| LHE avanzado: decodificador
Interpolación
Nuestra Interpolación debe ser “elástica”
![Page 46: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/46.jpg)
46
Interpolación por vecino cercano (separable)3| LHE avanzado: decodificador
• El brillo de cada pixel sub-muestreado se traslada a todos los pixels finales que cubre.
• Los pixels cubiertos parcialmente se calculan mezclando.
Interpolación de un bloque por vecino cercano
![Page 47: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/47.jpg)
47
Interpolación bilineal Pixeles parcialmente cubiertos. Dos opciones:• Pintar si se recubre mas del x% ( óptimo con 25%)• Interpolar su luminancia
3| LHE avanzado: decodificador
Área pintada por una interpolación bilineal Estrategia de interpolación con píxels ya interpolados
Resultado de la interpolación
![Page 48: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/48.jpg)
48
Interpolación bilineal de costuras
3| LHE avanzado: decodificador
Interpolación horizontal de costuras
Interpolación de costuras
![Page 49: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/49.jpg)
49
3| LHE avanzado: resultados
24 imágenes
44 imágenes
![Page 50: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/50.jpg)
50
3| LHE avanzado: resultados
El mayor beneficio es computacional
![Page 51: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/51.jpg)
51
3| LHE avanzado: resultados
Diagrama de distorsión PSNR para la imagen “Lena”
![Page 52: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/52.jpg)
52
3| LHE avanzado: resultados
![Page 53: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/53.jpg)
53
3| LHE avanzado: resultados
![Page 54: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/54.jpg)
54
Lena @ 0.1bpp JPEG, LHE, JP2K
3| LHE avanzado: resultados
![Page 55: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/55.jpg)
55
No hay efecto de bloques en LHE porque los bloques comparten los PPP en las esquinas y no hay saltos de resolución
No hace falta deblocking filter como se hace en h264 intraframe
JPEG y LHE a 0.3bpp3| LHE avanzado: resultados
hay efecto de bloques en JPEGporque hay saltos de cuantización de las componentes de las distintas frecuencias entre bloques
![Page 56: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/56.jpg)
56
0| Introducción
2| LHE básico3| LHE avanzado4| Video LHE5| Conclusiones y trabajo futuro
1| Estado del arte
AgendaCodificación LHE ultrarrápida para cloud gaming
![Page 57: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/57.jpg)
4| Video LHE
1st LHE
New frame(Y2)
PR metric
Elastic Downsampling
DifferentialFrame info
2nd LHE
Δy
Interpol (Y1’’)
Vector computation
Y2’Δy= y2’- interp(y1’’)
Y2’’
Y1’’
{wi}
Bloque de Frame Y2
Bloque de Frame Y1
Antes de calcular la info diferencial debemos adaptar resoluciones con una interpolación por vecino (sin coste)
Δy= y2’- interp(y1’)
Yi’: submuestreada sin cuantizarYi’’: submuestreada cuantizada
![Page 58: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/58.jpg)
58
4| Video LHE: error de cuantización
Fracción de weber
Valor de la función dy
La función inversa de dy
![Page 59: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/59.jpg)
59Cuanto mas se saca partido de los vectores, mas se aleja h264
4| Video: resultados
Una efecto general observable y mejorable son los bordes difuminados de LHE, sobre todo a bajos bit-rates, debidos a los algoritmos de downsampling e interpolación utilizados. Es esperable que con el uso de la mediana en downsampling y algoritmos “pixel-art” en interpolación se puedan conseguir bordes bien definidos a cualquier ratio de compresión
Otra característica interesante es el paralelismo de la tendencia de la curva de distorsión PSNR entre h264 y LHE. Son paralelas, lo cual es prometedor. Esto no siempre ocurre entre diferentes algoritmos, como es el caso de las curvas de PSNR de JPEG y JPEG2000
15 Videos licencia creative commons
![Page 60: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/60.jpg)
60
football LHE @ 1000kbps football h264 @ 1000kbps
H264 fast: solo frames P
H264 normal: P y B
4| Video: resultados
![Page 61: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/61.jpg)
61
Soccer LHE @ 930kbps Soccer h264 @ 930kbps
H264 fast: solo frames P
H264 normal: P y B
4| Video: resultados
![Page 62: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/62.jpg)
62
0| Introducción
2| LHE básico3| LHE avanzado4| Video LHE5| Conclusiones y trabajo futuro
1| Estado del arte
AgendaCodificación LHE ultrarrápida para cloud gaming
![Page 63: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/63.jpg)
63
Conclusiones:• Es posible comprimir en el dominio del espacio reduciendo la complejidad algorítmica,
mediante un modelado fisiológico del ojo• La información sensorial es equiparable a hops logarítmicos, siendo 9 el número óptimo• LHE permite aplicar el modelo de color YUV• La relevancia perceptual se puede medir mediante el análisis de los hops de un modo
independiente de la resolución de la imagen• Es posible traducir analíticamente la métrica de PR a valores de PPP que permitan un sub-
muestreado elástico, permitiendo así que la métrica sea el criterio de asignación de PPP.• El sub-muestreado elástico es superior en calidad al sub-muestreado convencional• El sub-muestreado elástico funciona de forma óptima con un número fijo (malla) de bloques • La calidad de dos imágenes puede ser considerada equivalente cuando los mismos valores de
relevancia perceptual son traducidos a los mismos PPP (parámetro “QL” de LHE)• LHE permite aplicar el modelo de color YUV• LHE no presenta efecto de bloques aunque procese la imagen dividiéndola en bloques debido
a que los bloques comparten valores similares de PPP en sus esquinas• LHE produce bordes difuminados a bajos bit-rates• LHE permite compresiones de hasta 0.05 bpp• LHE es apto para comprimir información diferencial temporal , base del codificador de video.• La compresión de video LHE (sin compensación de movimiento) genera diagramas de
distorsión paralelos a H264 y muy cercanos a h264 sin frames B
5| Conclusiones y trabajo futuro
LHELHE BASICO LHE AVANZADO VIDEO LHE
![Page 64: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/64.jpg)
64
Diseminación (artículos)Revista: IET Image Processing. Titulo “Logarithmical hopping encoding: a low computational complexity algorithm for image compression”.Autores: J. J. Garcia Aranda, M. Gonzalez, M. Cao, J. Navarro y F. Gonzalez.Accepted on 10th December 2014Published: Volume 9, Issue 8, August 2015, p. 643 – 651DOI: 10.1049/iet-ipr.2014.0421 , Print ISSN 1751-9659, Online ISSN 1751-9667http://digital-library.theiet.org/content/journals/10.1049/iet-ipr.2014.0421
Revista: IET Image Processing. Titulo “Logarithmical Hopping Encoding: physiological fundamentals”.Autores: J. J. Garcia Aranda, M. Gonzalez, M. Cao, J. Navarro y F. Gonzalez.Submited on 29 August 2015
Published
Submitted
5| Conclusiones y trabajo futuro
![Page 65: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/65.jpg)
65
Diseminación (conferencias)2014 Universidad de Valladolid. Master universitario de investigación en TIC. marzo de
2014Titulo: “LHE: una nueva tecnología de codificación de imagen y video”
2013 Evento “GameMe5” organizado por HTML5 Spain , Diciembre 2013 (lugar campus UPM Vallecas). titulo :”LHE: una nueva tecnología de codificación para cloud gaming”
2013 UPM , Escuela superior de telecomunicación, Octubre 2013.Máster Universitario en Ingeniería de Redes y Servicios Telemáticos Programa de Doctorado en Ingeniería de Sistemas TelemáticosTitulo :” Codificación logarítmica: calidad wavelet a precio de DPCM”http://www.dit.upm.es/~doct/SI/2013-2014/2013-10-22-LHE_v003.pdf
5| Conclusiones y trabajo futuro
![Page 66: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/66.jpg)
66
“VIRTUOSE” programa CELTIC, 2015 (ganado sello condicional)Convocatorias a proyectos futuros presentados con tecnología LHE
Las ideas y contribuciones de esta tesis han sido de gran utilidad en el desarrollo del proyecto de investigación “VideoXperience: Mejora Efectiva de la Experiencia de Usuario en la Nueva Era de Servicios Digitales mediante la Provisión de nuevas Tecnologías de Supercompresión en Streaming”. Este proyecto forma parte del subprograma INNPACTO del Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica 2008-2011, y está financiado por el Ministerio de Ciencia e Innovación, actual Ministerio de Economía y Competitividad
Proyectos de I+D realizados con tecnología LHE
Proyectos en curso de I+D con tecnología LHE“VINTAGE” convocatoria MINETUR-RETOS 2015“ARQUEOPTERIX”. Convocatoria CDTI- CIEN 2015 (7 empresas, 4 OPIs)
5| Conclusiones y trabajo futuro
![Page 67: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/67.jpg)
67
• Mejora de velocidad en el primer LHE: mediante un sub-muestreo por SPS. HD y UHD • Mejora de la predicción en el segundo LHE usando las metricas PR: al estilo PNG•Capacidad de transparencias: • Compresión sin pérdidas: capas de hops• Mejora de la interpolación: con algoritmos pixel art basados en XBR• Compensación de movimiento basada en evolución de la métrica de Relevancia Perceptual • Difusión: impulsar el algoritmo en organismos de estandarización como W3C• Audio LHE
5| Conclusiones y trabajo futuro
![Page 68: Lhe valladolid](https://reader036.vdocuments.net/reader036/viewer/2022062400/58859fd81a28abd2498b6ccf/html5/thumbnails/68.jpg)
• Proyecto Github https://github.com/magonzalezc/LHE branch: lhe_develop• Articulo IET image processing Journal: http://digital-library.theiet.org/content/journals/10.1049/iet-ipr.2014.0421
5| Conclusiones y trabajo futuro
Enlaces de interés