Componenti e tecnologie multimediali

Andrea VituzziCersi – Centro Ricerca Sistemi Informativi

Segnali multimediali

Un segnale è una funzione che restituisce informazioni ed è in genere caratterizzata da trasformazioni spazio-temporali: temporali:

- Segnale che varia nel tempo: Suono - Segnale che varia nello spazio: Immagine

- Segnale in evoluzione spazio temporale: Video

Il multimediale

con il termine“multimediale” si intende la possibilità di generare e percepire segnali contenenti informazioni di natura diversa

I media più comuni sono il testo, il suono, la grafica, l’immagine fissa o in movimento

Sistema multimediale distribuito è un sistema costituito da più calcolatori collegati tra di loro attraverso una rete di telecomunicazione che permette la cooperazione multimediale tra utenti remoti.

Real time streaming

determinati media, come audio e video implicano una presentazione che si sviluppa lungo un certo intervallo temporale, tali media vengono per questo detti dinamici o real- time.

Le tecnologie di streaming si preoccupano di risolvere i problemi relativi alla trasmissione di dati multimediali con caratteristiche real-time su Internet.

il protocollo HTTP, non è nato per consentire la riproduzione di filmati in streaming ma solamente per servire file testuali e grafici

I protocolli che supportano specificamente la trasmissione live di contenuti audio/video sono tre: l'RTSP (Real Time Streaming Protocol), l'RTP (Real Time Protocol) e l'RTCP (Real Time Control Protocol)

Scenari applicativi

Servizi interattivi bidirezionali VoiP: trasmissione di voce in tempo reale su di una

rete IP, conosciuta anche come Voice over IP (VoIP), -consente di effettuare chiamate internazionali al

costo di una chiamata locale -software facilmente reperibile esempi di software

VoIP sono: Microsoft NetMeeting, e VocalTec,: Microsoft NetMeeting, e VocalTec, Videoconferenza: connessione "dal vivo" tra

persone che si trovano in luoghi diversi, - coinvolge sistemi audio e video - consente una comunicazione interattiva

Scenari applicativi Broadcasting Live (Webcasting)trasmissione via Internet di contenuti audio/video in diretta - es.: trasmissioni radio e tv sulla rete-- problemi causati da ritardi, qualità audio scadente,

Servizi on-demandconsentono di visualizzare, contenuti multimediali che risiedono su di un server collegato ad Internet - es.: archivio filmati in rete

Streaming

tecnologia in continua evoluzione che consente l’accesso a contenuti multimediali video/audio attraverso il Web

Tipologie di streaming

- live: trasmissione in diretta

- on-demand: trasm. su richiesta

Streaming

Software

Microsoft Media Player

Real Networks

Apple Quicktime

Darwin

Standard IETF

Internet Engineering Task Force (IETF) fornisce agli sviluppatori una serie di specifiche standard ed open per la creazione delle applicazioni di streaming

UDP-Traffico real-time-Nessuna ritrasmissione-Fruizione dei dati man mano che arrivano a destinazione

Standard IETF

RTP (Real Time Protocol)

fornisce un supporto specifico per la trasmissione di flussi dati multimediali

associa le informazioni relative alla temporizzazione ai dati trasportati, permettendo la ricostruzione alla destinazione del segnale audio e video.

RTCP definito per verificare la qualità del servizio offerto insieme a RTP

registra alcuni dati relativi alla trasmissione

fornisce i mezzi per effettuare l'analisi della qualità del collegamento

Standard IETF

RTSP (Real-Time Streaming Protocol)

sviluppato da RealNetworks, Netscape Communications, e la Columbia University

controlla i dati con funzionalità simili concettualmente a quelle di un videoregistratore Play, fast-forward, pause,

stop, e record

Sincronizzazione

In un sistema multimediale la Sincronizzazione si riferisce alle relazioni temporali tra oggetti di differenti tipi di media. Es: presentazione di slide in sincronia con il filmato di una lezione.Es: sincronizzazione fra audio e video in un filmato

In presenza di più file multimediali diventa indispensabile effettuare la sincronizzazione ordinare temporalmente i file.

SMIL (Synchronized Multimedia Integration Language)

Sviluppato dal W3C prima versione è stata rilasciata nel 1998

Il suo compito è, l'integrazione nelle pagine Web di suoni, filmati e testi in modo da manipolarli agendo grazie a specifici marcatori

Come Html e Xml, Smil è un linguaggio a marcatori (e quindi non può essere definito un vero linguaggio di programmazione).

Sintassi basata su XML

Trasmissione di Segnali multimediali

I sistemi di telecomunicazione trasferiscono le informazioni da una sorgente ad una destinazione

L‘informazione viene trasportata sotto forma elettrica

Serve un trasduttore, alla sorgente, per trasformare l’informazione in un segnale elettrico (es. microfono) e a destinazione per effettuare l’operazione inversa (es. altoparlante)

I fenomeni fisici reali generano segnali continui

Segnali multimediali

Segnali analogici (continui): variano in maniera continua nel tempo

Segnali digitali (numerici): insieme finito di valori presi a diversi istanti temporali

Per consentire l’elaborazione da parte degli elaboratori elettronici occorre trasformare i segnali continui in segnali numerici

Segnali multimediali Le fasi per la trasformazione analogico->digitale

sono:- Campionamento- Quantizzazione

Campionamento: - consente la rappr. di un segnale continuo tramite

un insieme di valori discreti

- si misura il livello di ogni campione ad intervalli discreti.- il numero di campioni in un intervallo di tempo è detto sampling rate (ed è una frequenza,ovvero si misura in numero di volte al secondo).

Segnali multimediali

Quantizzazione:

- il campionamento genera valori di precisione virtualmente infinita- la quantizzazione arrotonda i valori introducendo perdita di informazione “rumore di quantizzazione”

Es:

Segnali vocali

Produzione e percezione

Gli organi di fonazione comprendono i polmoni, le corde vocali e il tratto vocale; a seconda della loro posizione vengono prodotti diversi tipi di suoni.

se le corde vocali non sono tese vengono emessi suoni sordi; se le corde vocali sono invece tese l’aria non riesce a fuoriuscire se non quando la pressione prodotta dai polmoni non riesca a vincere l’azione di chiusura dei muscoli che tendono le corde vocali.

Segnali vocali

Tale azione crea vibrazioni la cui frequenza è misurabile con il numero di oscillazioni al sec (Hz)

La frequenza Udibile (da orecchio umano): va da 20 Hz a 22 KHz

Il parlato copre un sottoinsieme dell’udibile in particolare quello che va (circa) da 600 a 5 KHz

Segnali vocali

Codifica

La codifica audio rappresenta un insostituibile mezzo per la trasmissione e l’elaborazione di un qualunque segnale audio,

la qualità di un segnale audio presente su un supporto digitale è proporzionale alla memoria occupata.

Segnali vocali

Approccio parametrico

utilizza le conoscenze della struttura del segnale vocale.

Al lato di emissione avviene un’estrazione e codifica di opportuni parametri del segnale originario,

una volta trasmessi consentono al lato ricezione di generare un segnale sintetico dotato di caratteristiche le più simili possibili a quelle del segnale originario.

Es. GSM

Segnali vocali

Codificatori analisi per sintesi

capaci di mantenere la qualità del discorso a bassi bit-rate (<10 kbit/sec e <4.8 kbit/sec)

La voce passa attraverso un filtro che modella lo spettro del rumore, in modo da concentrarne la potenza alle frequenze centrali dello spettro del segnale vocale, mascherando così il rumore.

Segnali audio

I suoni sono vibrazioni meccaniche che si propagano attraverso l'aria. La propagazione

avviene sottoforma di un'onda longitudinale di compressioni e rarefazioni dell'aria.

L’audio è un media continuo media continuo e dunque la digitalizzazione richiede il campionamento e la quantizzazione

Il segnale campionato e quantizzato deve essere ricostruito per poter essere riprodotto.

Segnali audio - Campionamento

Esiste una frequenza di campionamento (detta valore di Nyquist) che garantisce la ricostruzione fedele del segnale.

Teorema Nyquist : Il segnale può essere ricostruito se è stato campionato ad una frequenza maggiore del doppio della frequenza della componente del segnale di frequenza più alta

l’orecchio umano è in grado di percepire frequenze tra i 20Hz e i 22 KHz la frequenza di , campionamento massima per l’audio (limite di Nyquist) si pone attorno ai 44 KHz.

Segnali audio - Quantizzazione

I campioni sono rappresentati da un valore

I valori tipici per i livelli nel suono sono: 8 bit per valore pari a 256 valori e 16 bit per valore pari a 65536 valori (qualità CD)

Il media è continuo, quindi la misura è in bps

Segnali audio

Es. la musica

1. Frequenza massima 22,05 kHz

2. Si raddoppia (teorema Nyquist)

3. 16 bit di codifica x ogni campione (2 byte)

4. Considerando 2 canali si ottiene: 44100*16*2=1411200 bps =176400 Bps

Segnali audio

Compressione Un brano di circa 3 minuti quindi occupa circa 35

MB.

Per facilitare la trasmissione in rete di flussi multimediali (sia audio e che video) si ricorre ad algoritmi di compressione

tipo source encoding e lossy

Segnali audio – MP3 sistemi di compressione (lossy source encoding) di

particolare successo sono quelli proposti da MPEG (Moving Pictures Experts Group)

con MPEG Audio si indicano gli algoritmi di compressione audio, che si distinguono in tre livelli (layer I, II e III)

Il layer III è comunemente detto MP3.

MP3 è un algoritmo di compressione con perdite

Segnali audio – MP3

lo scopo è : quello di produrre un segnale che suoni come l’originale, pur essendo differente come forma d’onda.

riduce la risoluzione dei campioni e non lavora sulla frequenza di campionamento

Si avvale di operazioni losses (codifica Huffman) e di altre lossy (mascheramento, sfruttamento ridondanze stereo, bit rate variabile)

Segnali audio – MP3

Mascheramento:Elimina le informazioni non necessarie in quanto non udibili dall’uomo

Sfruttamento ridondanze stereo:elimina le ridondanze tra i due canali stereo

Bit rate variabile:consente di scegliere il livello di compressione da applicare (da 16 bps a 300 Kbps) 128 Kbps è il più usato

Le immagini - Rappresentazione

Segnale che varia nello spazio

Un immagine digitale può essere rappresentata :- per puntiImmagine rappresentata come una griglia di punti Il valore di ogni pixel memorizzato singolarmente - in formato vettorialedescritta da un insieme di linee e forme

Immagini - Bitmap

Le immagini bitmap sono costituite da una matrice di punti ciascuno dei quali è associato ad un colore. I punti sono denominati pixel.

Le immagini bitmap sono caratterizzate da: Risoluzione spaziale Risoluzione cromatica

La risoluzione numero di punti per pollice ( Il dot per inch, dpi)

Immagini vettoriali

Le immagini vettoriali sono costruite da descrizioni matematiche di uno o più elementi grafici.

I vettori sono definiti da:- un punto di partenza, un punto di partenza,- una lunghezza - una direzione;

Nessuna informazione va perduta nelle trasformazioni

non possono essere usati facilmente per codificare immagini reali

Immagini - Formati TIFF (Tagged Image File Format): formato bitmap supportato da quasi tutte le applicazioni

grafiche, molto utilizzato perché consente di scambiare file tra programmi e piattaforme diverse.

JPEG (Joint Photographic Experts Group) formato con compressione lossy. 24 bit x pixel true color. Indicato per memorizzare immagini fotografiche

GIF (Graphic Interchange Format) Metodi di colore: 256 colori con palette non adatto a immagini di tipo fotografico

PNG utilizza stessa compressione di GIF ma con versione non brevettata consente true color

Codifica DCT (Trasformata Discreta del Coseno )

Alla base della compressione JPEG

Non comporta perdite di informazione significative

Rientra nella categoria della codifica a blocchi, l’immagine viene codificata analizzando un intero blocco, generalmente di 8 8 pixel

Video – Compensazione del moto

La compensazione del moto è la principale tecnica di compressione dello standard MPEG.

Sfrutta le somiglianze esistenti tra frame successivi (ridondanza temporale)

trova per ogni macroblocco la sua migliore predizione (best match) nel frame di riferimento

Video - MPEG

Lo standard MPEG video ente che sviluppa MP3 (Moving Picture Experts Group) .

versioni:

MPEG-1 1988

MPEG-2 1990

MPEG-4 1998

MPEG-7 2000...

Video – MPEG 1

La compressione è effettuata rimuovendo:

Ridondanza spaziale compressione dei singoli fotogrammi (JPEG)

Ridondanza temporale: compressione che sfrutta le relazioni tra i diversi fotogrammi, per rimuovere informazioni ridondanti

qualità del filmato paragonabile a quella di un videoregistratore VHS.

Video – MPEG 2

E’ scalabile: prevede diversi profili con diverse qualità adatti ad applicazioni differenti e diversi livelli di compressione per ciascun profilo.

Offre la possibilità di gestire differenti aspect-ratio (tra cui il 16:9 WideScreen)

E’ adatto alla trasmissione streaming.

Mantiene informazioni sull’origine del materiale video

Video – MPEG 4 Introduce il concetto di VOP (Video Object Planes), in cui ogni

parte della sequenza video di ingresso viene divisa in un numero di regioni con immagini di forma arbitraria.

Il singolo oggetto audiovisivo può essere sia sintetico che naturale.

Ogni oggetto può essere manipolato dall'utente in ogni sua caratteristica

La codifica di ogni oggetto riporta le sue caratteristiche essenziali

Compressione Huffman Ideato nel 1952 dal matematico D.A. Huffman

Metodo di compressione senza perdita

gli elementi che si ripetono frequentemente sono identificati da un codice breve,gli elementi rari nel file originale ricevono nel file compresso una codifica lunga

è tanto più efficace quanto più ampie sono le differenze di frequenza degli elementi del file originale,

Compressione Huffman

Albero di Huffman- alla base gli elementi più rari- elementi frequenti vicini alla radice- il codice ident. di ogni elemento è, partendo dalla radice, 0 se si va verso il figlio di sinistra e 1 se si va verso quello di destra

- es..: b=01

Compressione LZW

è il risultato delle modifiche apportate nel 1984 da Terry Welch ai due algoritmi sviluppati nel 1977 e nel 1978 da Jacob Ziv e Abraham Lempel,

permette di comprimere archivi di dati sfruttando la ricorsivita' delle stringhe relative alle informazioni in essi contenute.

Viene creato un dizionario delle stringhe di simboli ricorrenti nel file, costruito in modo tale che ad ogni nuovo termine aggiunto al dizionario sia accoppiata in modo esclusivo un'unica stringa. Esiste un dizionario di partenza costituito dai 256 simboli

Qualità di servizio (QoS)

I servizi dei sistemi multimediali possono essere misurati in base a certe caratteristiche che essi forniscono, con lo scopo di offrire servizi flessibili e personalizzati.

In generale la QoS definisce quanto buoni sono i servizi offerti.

La rete di trasmissione dati offre qualità di servizio quando è in grado di trattare il traffico prodotto da particolari applicazioni in maniera tale da soddisfarne le richieste.

Qualità di servizio (QoS)

La qualità di servizio permette quindi di offrire a flussi di dati diversi una gestione diversa .

La qualità di servizio deve essere presente lungo l’intero percorso del flusso dati (end to end).

Qualità di servizio (QoS)

Parametri QoS Ritardo della creazione di connessione Probabilità di fallimento nella creazione di

una connessione Capacità (Throughput): numero di byte

trasferiti in un secondo Ritardo di trasmissione (Transit Delay):

tempo trasmissione-ricezione

Qualità di servizio (QoS)

Tipologie di servizi in base a differenti QoS

Guaranteed Guaranteed Forniscono garanzie di QoS in base ai valori di certi specifici parametri considerati

Predictable Predictable Services In alcuni casi non si è in grado di fornire garanzie ma si può

comunque offrire una stima dei valori dei parametri di QoS

Best effort Service Non sono fornite garanzie oppure solo garanzie parziali.

Non vengono specificati i parametri di QoS.