1

Fondamenti di elaborazione multimediale

2

Scopo del modulo

Introdurre aspetti concettuali e tecnici dei sistemi di elaborazione di dati multimediali

3

Sistema multimediale

Un insieme di componenti hardware e software che consentono la produzione integrata di più media di diverso tipo.

4

Multimediale

Multimediale: un sistema che si avvale di diversi tipi di media

I sistemi multimediali digitali sono capillarmente diffusi, per esempio i DVD

5

Proprietà

Proprietà di base dei media digitali: Facilmente riproducibili Alta qualità che si mantiene nel tempo Supporti di dimensioni piccole e

facilmente trasportabili

6

Analogico

Una grandezza analogica può assumere, in un dato intervallo, qualsiasi valore numerico. Es. teperatura

7

Digitale

Una grandezza digitale può assumere, in un dato intervallo, solo determinati valori e non altri Termometro digitale o analogico?

8

Digitalizzazione - 1

Tutti i media per essere elaborati da un computer devono essere trasformati da quella che è la loro forma naturale, (analogica), in forma "digitale".

Questo complesso processo è detto "digitalizzazione".

9

Digitalizzazione - 2

La digitalizzazione consente a segnali reali di essere convertiti in una sequenza di cifre manipolabili da un computer

Per contro, l’apparato digitale deve ritrasformare la sequenza di cifre in una forma percepibile dall’uomo (forma analogica).

10

Digitalizzazione - 3

11

Media e percezione

Ogni media è fisicamente esprimibile come un segnale: ci sono meccaniche fisiche di generazione, propagazione...

Ci interessa capire come deve essere rappresentato un segnale per poter essere ricostruito in modo fedele.

Ogni media è destinato all’uomo, che ha un sistema sensoriale specifico (che può essere sfruttato)

12

Media e percezione

Tra tutti i media considerati nella composizione di un multimedia, il testo è quello che più facilmente si presta ad una rappresentazione digitale.

Tutti gli altri media sono invece in maniera nativa analogici e dunque ci dovremo occupare di come trasformarli in versione digitale e viceversa.

13

Media Discreti

I media discreti sono indipendenti dal tempo e possono essere scomponibili in sequenze di sotto-elementi che non sono temporizzabili.

Il numero di byte necessari a memorizzare un media discreto non ha relazioni con la sua durata. Es: testo

14

Media continui

I media continui sono dipendenti dal tempo. Es: audio, video, animazioni

Il segnale varia con il tempo Il flusso di informazioni corrispondente

ad un certo media digitale si misura in bit al secondo (bps, bits per secondo).

15

Segnali

I media sono rappresentati da segnali, funzioni matematiche del tempo o dello spazio.

Un esempio di segnale che varia sia nello spazio che nel tempo è quello che rappresenta il video, Per esempio dalla funzione f(x,y,t),

dove x e y sono le coordinate spaziali e t è il tempo.

16

Digitalizzazione

La digitalizzazione è il processo che trasforma un segnale analogico in segnale digitale. Le operazioni proprie della digitalizzazione sono essenzialmente due: il campionamento la quantizzazione.

17

Campionamento

Per digitalizzazione di un segnale continuo, si intende la misurazione del valore assunto dal segnale ad intervalli discreti, ricavandone ogni volta un campione.

Il numero di campioni in un intervallo di tempo è detto sampling rate, che esprime quante volte al secondo il campionamento è eseguito (frequenza).

18

Esempi di Frequenze

19

Valori reali e valori possibili

I valori possibili per i segnali multimediali nel mondo reale sono infiniti (o comunque troppi)

Es: quante tonalità di blu ci sono nel cielo?

Quando un media viene digitalizzato i valori disponibili sono una quantità finita

Ogni segnale digitale è rappresentato da valori "approssimati".

20

Quantizzazione

Fissare i possibili valori di un segnale digitale.

I livelli di quantizzazione devono essere fissati in modo tale da non alterare in modo sensibile il segnale originale.

Es: Se scegliessimo di rappresentare il suono di una ottava di un piano con solo 8 valori, non potremmo rappresentare bemolli/diesis...

21

Audio: la quantizzazione

22

Frequenza e Ampiezza

I segnali continui sono onde, descritti da frequenza e ampiezza

A e B sono picchi, la frequenza misura il numero di picchi per secondo (Hertz)

Ampiezza misura l'energia (A-B)

23

Valore di Nyquist

È una frequenza di campionamento Garantisce una ricostruzione fedele (per

un essere umano) solo se il segnale è stato campionato ad una frequenza maggiore del doppio della frequenza della componente del segnale di frequenza più alta".

Esempio: se una certa onda ha una frequenza massima di 1.000 Hz, allora campionando al doppio, ovvero 2.000 volte al secondo

24

Sottocampionamento

Sottocampionare, ovvero campionare a frequenza minore del valore di Nyquist, significa perdere informazioni e ottenere una ricostruzione del segnale imprecisa.

Le conseguenze sulla percezione finale dipendono dalla natura del segnale nelle immagini si ottengono bordi

confusi, nel video si nota il fenomeno di

movimenti a strappi.

25

Sottoquantizazzione

L’uso di un insufficiente numero di livelli di quantizzazione corrisponde all’incapacità di rappresentare tutte i possibili valori delle ampiezze. Nelle immagini annulla le differenze tra

i colori della figura.

26

27

Compressione

L’obiettivo è quello di generare un file compresso che abbia una dimensione minore del file originale.

Compressione con perdita Compressione senza perdita

28

Suoni

29

Suoni Vibrazioni che si propagano nell’aria

sotto forma di onde. Il numero delle vibrazioni che si

propagano al secondo è la frequenza In base alla frequenza:

Infrasuoni: da 0 a 20 Hz Udibile: da 20 Hz a 22 KHz Ultrasuoni: da 22 KHz a 1 GHz Ipersuoni: da 1 GHz a 10 THz

30

Digitalizzazione

La scheda sonora è un dispositivo che: in input, collegata ad un microfono,

campiona i suoni dall’esterno trasformando il segnale audio analogico in segnale audio digitale.

in output, collegata alle casse, è in grado di

riprodurre audio trasformando il segnale digitale in segnale analogico.

31

Input/Output audio digitale

32

La digitalizzazione dell’audio Il campionamento (o sampling) avviene

misurando il segnale audio analogico ad intervalli discreti.

Il numero dei campioni è detto sampling rate.

33

Esempi di Frequenze

34

Audio: la quantizzazione

La quantizzazione consiste nel rappresentare ogni campione con un valore prefissato

Più grande è il numero di valori numerici possibili (per ogni un campione) e più grande sarà il numero di bit necessari per rappresentarlo.

35

Audio: la quantizzazione

36

Dimensioni: la voce

Le frequenze per la voce sono comprese in un intervallo di circa 4.000 Hz; dobbiamo campionare ad una frequenza che sia pari almeno al doppio, cioè a 8.000 Hz, quindi dobbiamo misurare il segnale 8.000 volte al secondo.

37

Dimensioni: la musica

Consideriamo che le frequenze per la musica sono tutte quelle udibili comprese in un intervallo di circa 22.050 Hz; secondo il teorema di Nyquist dobbiamo campionare ad una frequenza che sia pari almeno al doppio e cioè a 44.100 Hz, ovvero dobbiamo misurare il segnale 44.100 volte al secondo.

38

Supporti digitali (a tecnologia ottica) I supporti di tipo ottico sono utilizzati

per la memorizzazione di dati e sono di grande ausilio come supporti audio e video data la loro enorme capacità di memorizzazione dei dati.

Le informazioni in essi contenute vengono memorizzate sottoforma di incisioni su uno strato di materiale in grado di riflettere la luce.

39

CD I Compact Disc (CD) sono supporti ottici

di media capacità, disponibili su mercato a partire dagli anni ottanta e largamente utilizzati per memorizzare audio.

Le informazioni possono essere memorizzate soltanto su uno solo dei due lati del CD.

La capacità tipicamente offerta da questo tipo di supporto è di circa 650 Mbyte, ciò che serve a contenere circa 70 minuti di musica.

40

Compressione Le onde udibili sono in un intervallo di

22KHz Nyquist: dobbiamo campionare almeno 44KHz

Quantizziamo a 16 bit (8 sono troppo pochi)

In un CD (700M) ci stanno 70 minuti di musica

Risulta evidente che i file audio hanno dimensioni molto elevate.

Necessità di applicare una forma di compressione, per risparmiare spazio.

41

MPEG

MPEG (Moving Picture Experts Group), si occupa di sviluppare algoritmi di compressione sia per i file audio che per i file video.

Compressione percettiva (lossy) elimina informazione che influisce scarsamente sulla qualità della digitalizzazione

Vari livelli di compressione: MP3 è il terzo di essi

42

Immagini

43

Immagini

La grafica digitale può essere resa in due differenti modalità: Le immagini bitmap sono memorizzate

attraverso griglie (o matrici) di punti colorati denominati pixel.

Le immagini vettoriali sono invece rappresentate attraverso descrizioni matematiche degli elementi grafici che le compongono

44

Bitmap

L’immagine digitale in formato bitmap è memorizzata come una griglia di NxM di punti

La qualità dell'immagine dipende da: la sua risoluzione spaziale, che

specifica la dimensione della griglia. la sua risoluzione cromatica, che

definisce quanti e quali colori sono utilizzati.

45

Risoluzione spaziale

Numero di punti per pollice (dpi, dot per inch)

Più è elevato, più è fedele Es: 72dpi

46

Risoluzione cromatica

1 bit per pixel: monocromia 1 byte per pixel: palette di 256 colori 3 byte per pixel: true color (16 milioni)

47

Immagini vettoriali

Le immagini vettoriali sono rappresentazioni grafiche definite attraverso descrizioni matematiche degli elementi che le costituiscono.

Gli elementi di base della grafica vettoriale bidimensionale sono sostanzialmente elementi geometrici quali: punti, rette, poligoni e curve “particolari”.

48

Immagini vettoriali - esempi

49

Le trasformazioni

50

Bitmap v.s. Vettoriale – 1 Bitmap: si presta meglio alla

visualizzazione su video in quanto il monitor è formato da una griglia

Bitmap: rende con qualità maggiore immagini con un numero elevato di colori (fotografie)

Bitmap: produce immagini piccole solo se si riduce la definizione o il numero di colori, ma proporzionalmente diminuisce anche la qualità

51

Bitmap v.s. Vettoriale - 2

Vettoriale: è più definita e di qualità maggiore

Vettoriale: rende i file molto compatti, ma richiedono calcoli complessi per essere ricomposte.

Bitmap: cambiando le dimensioni la qualità peggiora

Vettoriale: cambiando le dimensioni di la qualità si conserva perché le immagini vettoriali sono scalabili senza perdite.

52

Video

53

Video - 1

Sistema di riproduzione di immagini in movimento.

L’occhio umano percepisce una sequenza sufficientemente veloce di immagini statiche come se fosse un movimento continuo a causa di un fenomeno di persistenza delle immagini sulla retina, detto Persistence of Vision .

54

Video - 2

Nel digitalizzare il video si ripresentano tutte le tematiche relative alla digitalizzazione delle immagini: Per ogni fotogramma si devono definire

risoluzione spaziale e risoluzione cromatica.

Deve essere digitalizzato un numero di immagini al secondo sufficiente per sfruttare la P.O.V.

55

Video - 3

Alla traccia video è solitamente associata almeno una traccia audio e dunque vanno in realtà prese in considerazione anche le problematiche relative alla digitalizzazione dell’audio, in termini di campionamento e quantizzazione.

56

Frequenza di framing

Teleconferenza: 10 frame al secondo. Il video è lento, con movimenti a scatti.

Film muto: 16 frame al secondo. Il movimento non è fluido, con scarsa continuità.

Televisione: 25-30 frame al secondo. Movimento fluido.

Televisione ad alta definizione: 50-60 frame al secondo. Movimento fluido.

57

Compressione MPEG

La compressione è effettuata su entrambe le dimensioni del video rimuovendo: la ridondanza spaziale la ridondanza temporale

58

Ridondanza spaziale

Comprimere i singoli fotogrammi in modo che si riduca la quantità di byte necessaria a memorizzarli.

La riduzione della ridondanza spaziale avviene attraverso meccaniche lossy (ovvero con perdita), basate su considerazioni di tipo percettivo. l’occhio umano è maggiormente

sensibile alle variazioni di luce (dunque di luminanza) piuttosto che a quelle di colore (ovvero di crominanza),

59

La ridondanza temporale

60

DVD

Il DVD (Digital Versatile/Video Disk) è un supporto digitale di tipo ottico molto più capiente rispetto al CD: può raggiungere infatti una capacità di 17 GByte, contro i 750 MByte offerti dal CD.

Ciò grazie ad incisioni più fitte sulla superficie riflettente, alla possibilità di incidere su entrambi i lati e su due livelli, di diversa profondità, in modo tale che il laser possa focalizzarli entrambi.

61

Regional Code I DVD Video sono emessi con un codice,

detto Regional Code che consente di controllarne la distribuzione, identificando l’area geografica in cui vengono venduti.

I DVD prodotti con un certo Regional Code possono essere letti soltanto dai lettori DVD che vengono venduti nell’area geografica corrispondente.

ll Regional Code 0 (zero) è leggibile in tutte le aree geografiche

62

Blu Ray

Con l’avvento delle nuove tecnologie video ad alta definizione anche il DVD è stato superato, dal Blu-ray Disc, un supporto proposto originalmente da Sony (nel 2002) ed ora sostenuto da molti produttori

Una singola superficie registrabile (ogni layer di ogni faccia) può contenere 25 GByte.

63

Flussi multimediali su Internet

64

Come fruire file multimediali in rete Esiste un primo gruppo di applicazioni

che richiedono o che comunque privilegiano il download completo delle risorse multimediali

Esistono applicazioni che non necessitano dello scaricamento completo delle risorse o che addirittura in alcuni casi non possono realizzarlo.

65

Streaming

è utilizzato per la trasmissione di audio e video.

l’applicazione ricevente comincia a mostrare il media continuo prima di averlo ricevuto completamente

66

Come funziona lo streaming L’applicazione sorgente inizia la

trasmissione del flusso L’applicazione destinazione riceve il

primo pacchetto dalla sorgente e prima di farlo ascoltare o di farlo vedere all’utente aspetta un certo periodo durante il quale accumula pacchetti che arrivano a destinazione.

Terminato il periodo d’attesa, l’applicazione destinazione comincia il playout dei pacchetti che ha accumulato

67

Distribuzione di file multimediali su

Internet

68

P2P una parte significativa della

distribuzione di contenuti multimediali attraverso Internet avviene attraverso applicazioni P2P

le applicazioni di rete possono essere basate su due modelli architetturali diversi: sistemi client/server Sistemi P2P

69

File Sharing

L’utente reperisce la risorsa multimediale chiedendola ai peer che la possiedono e ne produce una copia locale

Lo scaricamento può avvenire in parallelo da diversi peer

70

P2P: vantaggi tecnici

la memorizzazione delle risorse si distribuisce tra i pari

Le risorse vengono replicate e dunque se una copia non è più a disposizione è possibile trovarne un’altra equivalente altrove.

71

P2P

I sistemi P2P rappresentano una modalità di reperimento di risorse multimediali a costi nulli o minimi che compete con le modalità tradizionali

Dal punto di vista del diritto d’autore, questo tipo di copie è quasi sempre vietato

Questo tipo di applicazione si è diffusa capillarmente e ha radicalmente cambiato il consumo globale di media digitali

72

Prima generazione: Napster Napster fu il primo sistema P2P usato in

modo massivo per la distribuzione di file multimediali, ed in particolare di musica in formato MP3.

Napster non usava un P2P puro ma utilizzava un sistema di server centrali che mantenevano la lista dei pari connessi e dei file condivisi. Le scambio di file avveniva invece direttamente tra pari.

73

Seconda generazione: Gnutella Gnutella, un P2P puro in cui non esiste

server centrale e ogni pari, per individuare gli altri nodi e le risorse a disposizione, invia un messaggio di richiesta a tutti i suoi vicini.

Ciascuno di questi rimbalza la richiesta a sua volta sui suoi vicini. Questo meccanismo, detto di diffusione limitata, si ripete fino a 7 volte.

74

Seconda generazione: Gnutella In considerazione della perdita

economica derivante dal file sharing sono stati inaspriti i controlli nei confronti dei singoli utenti che condividono i file e questi hanno sentito l’esigenza di maggior anonimato nelle transazioni.

75

Terza generazione: Kadmlia e Freenet La terza generazione di sistemi P2P si

propone di superare queste criticità della seconda generazione, modificando i meccanismi di base usati per la memorizzazione e la distribuzione delle informazioni tra i pari.

76

Freenet Un protocollo progettato per

massimizzare l’anonimato dei pari che prevede una indicizzazione dei contenuti indipendente dalla loro localizzazione fisica.

Rende impossibile determinare l’origine e la destinazioni dei dati che passano attraverso un pari e dunque quale pari ha fornito o ha scaricato un certo contenuto.

E’ molto affidabile dal punto di vista dell’anonimato, ma poco efficiente in termini di velocità di trasmissione.

77

Bittorrent

è un sistema di file sharing P2P ibrido progettato per rendere molto efficiente la distribuzione dei file.

Il file non viene distribuito come unico elemento, ma come un insieme di tanti blocchi della stessa dimensione.

Il trasferimento avviene un blocco per volta e l’applicazione Bittorrent che scarica si occupa di ricostruire il contenuto nella sua completezza.

78

Podcast

Podcasting, è neologismo formato a partire dalle parole: iPod , il lettore MP3 portatile della

Apple. In realtà non è assolutamente necessario utilizzare un iPod per fare podcasting

Broadcasting , inteso come il tipo di trasmissione multimediale proprio della TV e della radio, il quale prevede un sistema trasmittente centrale che comunica in modo unidirezionale ad un insieme di sistemi riceventi non definito a priori.