TACC1 Multimedia

Tema 1 Introducción

EPS, 2007, Kostadin Koroutchev

GeneralidadesProfesores:

Kostadin Koruchev, Desp. 406-2 , tel 91-497-3210,email: k.koroutchev@uam.esTutoría: previo acuerdo por e-mail. (16-17 L-J)Skype – para la gente que no puede venir.

Teoría:WEB: http://www.ii.uam.es/~kostadin/mm/Examen (67%)Problemas en clase (33%). Mínimo entregas 1-3.Posible sustitución de problemas con trabajo propuesto de cada alumno.

Practicas:WEB: http://www.ii.uam.es/~tacc1/Asignación grupos – con el formularioConvalidación – solo del año pasado.

Hay foro. Comunicación ENTRE LOS ALUMNOS

Definición de Multimedia

Tecnología orientada a ordenadorMulti-media Media – modalidad, forma de transferir

información de humanos a humanos Múltiples modalidades de transferir

información entre humanos

No consideramos la televisión o el cine Es necesaria actividad interactiva del

receptor

Definición de Multimedia

Definición Multimedia: Tecnología basada a ordenador,

Para presentar varias modalidades de información en sincronía entre si

Dirigida a seres humanos Con uso interactivo del contenido.

Aplicación Genérica

Productor del contenido: Captura/grabación de datos Manipulación de datos

Entorno de transferencia de los datos Off line – CD/DVD; On-line red

Receptor Capacidad de reproducir los datos HW &

SW Ser humano

Aplicación genérica

Componentes: Ser humano – Impone limitaciones a

la capacidad de recibir información (ejemplo 20-20000Hz).

Da importancia a otros aspectos de la aplicación:

Artísticos, estéticos, éticos Propagandísticos, legales Técnicos – los únicos aspectos que se

consideran en este curso.

Componentes: ordenador

Salida: Oído

Voz Música Ruidos

Modalidad visual: Texto (hipertexto) Imágenes-gráficos video

Otras (no se consideran): Tacto, calor, aceleración

Medios Continuos y discretos

Entrada Interacción

Tiempo de respuesta limitado Teclado Ratón o parecidos

Interacción intuitiva con enlaces e iconos.

Emergente – voz Para uso humano:

Imágenes Audio video

Limita las modalidades de información disponibles

Ordenador: Requisitos La salida continua (todo salvo texto e imágenes)

necesita respuesta “casi” en tiempo real. La coordinación de los medios – también. La interacción con el usuario necesita intervalo

de respuesta limitado. La demanda de recursos del ordenador es

importante CPU Ancho de banda

La información de video y audio ocupa mucho espacio:

Capacidad de almacenamiento Ancho de banda

Requisitos hardwareCapacidad de representación/adquisición Pantalla, Tarjetas de sonido Cameras, escáner etc.

Capacidad de procesamiento CPU/RAM

Capacidad de almacenamiento CD/ DVD

Ancho de banda Red Bus, periferia

Multimedia es posible a partir del año 1990.

Requisitos SoftwareEntornos heterogenias Normativas

Formatos de datos Transferencia y sincronismo de datos Organismos que proporcionan los estándares.

Flujos enormes compresión Voz, música, sonido en general (LPC,MIDI,MP3) Imágenes JPEG, JPEG2000, Video MPEG, MPEG2

Interactividad -- texto: Hipertexto XML,XSL, HTML; compresión sin

perdidas

Requisitos Software Sincronismo

Near real time Planificación de procesos RMA, EDF, ETF RTP, RTCP

Si hay tiempo: Tecnología de desarrollo de Multimedia MPEG-4, H. 264 Otras

Clases de Aplicaciones Multimedia

Formación Bibliotecas multimedia digitales Educación a distancia

Forma barata de hacerlo.

Sistemas de comunicación Vídeo conferencia Vídeo en demanda SL

Medicina & militar: Diagnostico y tratamiento Mantenimiento a distancia.

Comerciales: Anuncios Compras a distancia

Modalidades Multimedia Texto Gráficos Imágenes Audio Vídeo

Entrada creando formas sintéticas

Teclado y procesador de textos

Programa de manipulación de datos

Programa de dibujo

MIDI Teclado Texto Voz

Animación 2D y 3D

Entrada capturando formas naturales

Voz texto

Escáner Cámara digital Grabador de frames

Micrófono Adaptador de audio

Captura de video analógico y digital

Salidas Pantalla Impresora

Pantalla Plotter

Pantalla Impresora

Adaptador de audio Altavoces

Pantalla

J.A. Sigüenza

Ciclo del producto multimedia

El fabricante crea la tecnologíaLa producción genera aplicaciones y da utilidad a la idea del fabricante.El editor organiza y define las aplicaciones.La distribución acerca al consumidor el producto.El consumidor adquiere el producto.

Punto de vista del desarrollador

Necesidad de especialistaFactor clave: realizar una buena coordinación entre el desarrollo y los especialistas implicados: Redactores y correctores de texto Diseñadores y manipuladores de gráficos Músicos Psicólogos e ingenieros del conocimiento Programadores

Clasificación de los medios (1)

Por la forma de ser percibidos: vinculados a las capacidades preceptúales

humanas: fundamentalmente vista y oído.

Por el medio de representación: vinculado a la forma en que es codificada la

información: diferentes tipos de formato: GIF, MPEG, etc..

Por el medio de presentación: A través de que dispositivo es presentada la

información: p. e. periféricos del ordenador.

J.A. Sigüenza

Clasificación de los medios (2)

Por el medio de almacenamiento: disco duro, CD-ROM, DVD...

Por el medio de transmisión: vía telefónica, cable coaxial, fibra

óptica...

Por el medio de intercambiar la información: transmisión directa por la red, uso de

e-mail, TV digital, off-line...J.A. Sigüenza

Ancho de banda, Capacidad, Respuesta temporal

Análisis simplificado de sistemas multimedia: Medimos la capacidad C en medidas de entropía

(bit, byte, [MB]). Medimos el ancho de banda B en [MB/s]. Medimos la respuesta temporal con el tiempo de

retraso D [s] para completar la tarea con cierta probabilidad (p>99%). El percentil de la distribución.

En cada momento la información tiene un volumen, retraso y velocidad. Para cada proceso tenemos cociente de de-compresión de la información k. k<1 compresión, k>1 decomprensión.

No es nada mas que sentido común

Ancho de Banda, Capacidad,Retraso

{B,D,k}{Ce,Be,De}

{Cs = k Ce,Bs = k min(Be ,B ),Ds = u(De+D)}

• u=1.02 si la probabilidad de retraso es a nivel p=99%.• Si el proceso bifurca/adjunta flujos hay que sumar/ dividir por el fan-in fan-out.• Si C es limitado, lo único que se puede medir es el tiempo de retraso, es decir C/B+D. Pequeño B se puede compensar con D grande.• Si B es un recuso compartido (CPU) hay que escalarlo con el numero de procesos que lo comparten.• No funciona si se utiliza mas de 70% de un recurso

Ancho de Banda, Capacidad,Retraso

{B,D,k}{C2,B2,D2}

{C1,B1,D1}

{C3,B3,D3}

{Cs,Bs,Ds}

{C2,B2,D2}

{C1,B1,D1}

{C3,B3,D3}

{C = Ci,

B = Bi,D = max(Di)} {C/n,B/n,D}

{C/n,B/n,D}

{C/n,B/n,D}

.... n=3

Ancho de banda, Capacidad, Respuesta temporal

Falta de ancho de banda: Multiplicar los recursos del sistema Bifurcar el proceso Incrementar el retraso (diferir la

respuesta) Funciona solo si el flujo no es continuo Ejemplo – Transmisión de video por la red.

Hacer el proceso off-line. Ejemplo – compresor de MPEG muy lento –

comprimir una vez y guardar.

Programa1. Introducción – 12. Tecnología de almacenamiento – 13. Estándares. Formatos de ficheros – 14. Texto estructurado: Hipertexto, ODA, HTML, XML, XSL – 25. Audio: Percepción, Adquisición, MIDI, Filtrado – 26. Imágenes: Percepción, Adquisición, Manipulación – 27. Vídeo: Percepción, Adquisición, Edición – 28. Compresión: – 2

1. Sin perdidas: Huffman, LZ, DWT, otras2. Imágenes: JPEG, JPEG20003. Audio: -Log, Voz: LPC, PCM; Música-voz: MP3

9. Sincronización – 21. Near-real time, Real time planificación: RSA, EDF, ETF.2. Generalidades. SMIL, RTP, RTCP

3. Introducción multicasting.10. Tecnología de Desarrollo de aplicaciones MM ???