SENALES Y SISTEMASClase 6

Carlos H. Muravchik

26 de Marzo de 2020

1 / 44

Habıamos visto:

1. Variables aleatorias2. Esperanza. Distribuciones destacadas.3. Funcion de VA.4. Momentos y Funcion caracterıstica

Y se vienen:I Momentos y Funcion caracterıstica discretosI Distribucion y densidad conjunta.I Distribucion Condicional.I Procesos Estocasticos. Familia de realizaciones. Ejemplos.

Interpretacion, clases.I Distribucion, densidad.I Independencia. Planteo.

3 / 44

Momentos – VA discretas

Definicion: momento (no–central) de orden r -simo

mr = E X r =∞∑

k=−∞x r

k pk r ∈ Z

Definicion: momento central de orden r -simo, con r ∈ Z

µr = E (X − E X)r = E (X − µX )r =∞∑

k=−∞(xk − µX )r pk

con pk = PX = xk y µX = m1.

I Al ver TFTD comentaremos la relacion entre densidades,momentos y funciones caracterısticas para xkequiespaciados.

I La media µX es m1, el valor cuadratico medio m2 y lavarianza µ2.

4 / 44

Distribucion conjunta de 2 VA

I Experimento aleatorio que produce salidas que afectan a 2VA, X e Y . P.ej.: 2 electrodos de EEG registrando actividadde un conjunto activo de neuronas.

I Hay eventos que solo pueden ser definidos a partir deambas VA.

I Tambien hay eventos que pueden describirse con 1 solaVA.

Definicion: X e Y son VA independientes si cualquier eventoconjunto Axy puede descomponerse como Axy = Ax ∩ Ay ,donde PAxy = PAxPAy.

6 / 44

Distribucion acumulativa conjunta

Definicion:

FXY (x , y) , Pω ∈ Ω : (X (ω) ≤ x) ∩ (Y (ω) ≤ y)= P(X ≤ x) ∩ (Y ≤ y)

I Si X e Y son VA independientesFXY (x , y) = FX (x)FY (y); ∀(x , y) ∈ R2.

I FX (x) y FY (y) son las distribuciones marginales.

7 / 44

VA discretas 1

La distribucion podrıa verse como una tabla, posiblemente delargo infinito

X \ Y y1 y2 · · · yk · · · ys · · ·

x1 p11 p12 · · · p1k · · · p1s · · ·x2 p21 p22 · · · p2k · · · p2s · · ·...

......

. . ....

. . ....

. . .xm pm1 pm2 · · · pmk · · · pms · · ·...

......

. . ....

. . ....

. . .xr pr1 pr2 · · · prk · · · prs · · ·...

......

. . ....

. . ....

. . .

FXY (xm, yk ) =m∑

l=1

k∑n=1

pln

8 / 44

VA discretas 2

PA =∑

(xm,yk )∈A

pmk

9 / 44

Densidad conjunta de probabilidad

Definicion:

fXY (x , y) =∂2FXY (α, β)

∂α∂β

∣∣∣∣(x ,y)

Con esto,

PA =

∫∫A

fXY (α, β)dα dβ

En la figuraA = (X ≤ x) ∩ (Y ≤ y) yPA = FXY (x , y)

PA =

∫ y

−∞

∫ x

−∞fXY (α, β)dα dβ

10 / 44

Propiedades

I FXY (−∞, y) = P(X ≤ −∞) ∩ (Y ≤ y) = P∅ = 0 yFXY (x ,−∞) = 0.

I FXY (∞,∞) = P(X ≤ ∞) ∩ (Y ≤ ∞) = PΩ = 1.I FXY (∞, y) = P(X ≤ ∞) ∩ (Y ≤ y) = PΩ ∩ (Y ≤ y) =

P(Y ≤ y) = FY (y).I similarmente, FXY (x ,∞) = FX (x).

Definicion: Esperanza matematica

E g(X ,Y ) =

∫∫g(α, β)fXY (α, β)dα dβ

con propiedades similares al caso univariable.

y en el caso de VA discretas

E g(X ,Y ) =∑

m

∑k

g(xm, yk )pXY (xm, yk )

11 / 44

Momentos bivariados

Definicion: Momento bivariado de orden r ∈ Z+

E X sY t =

∫∫ ∞−∞

αsβt fXY (α, β) dα dβ con s, t ∈ Z+ : s+t = r

y en el caso discreto

E X sY t =

(∞,∞)∑(m,k)=(−∞,−∞)

xsmy t

kpmk cons, t ∈ Z+ : s+t = r

12 / 44

Distribuciones multivariadas

I Se generaliza esto para multiples VA.I Es la base para los procesos estocasticos.I Ver, por ejemplo, en Topicos...

13 / 44

Distribucion Condicional I

Para ayudar en los calculos es util definir

Definicion: Distribucion condicionada a un evento A

FX |A(x |A) = P(X ≤ x)|A =P(X ≤ x) ∩ A

PA

y tambien

fX |A(x |A) =∂

∂xFX |A(x)

I esto es facilmente extensible a FX ,Y |A(x , y |A) yfX ,Y |A(x , y |A).

I Si A = Y = y para una VA continua, PA = 0 y no sepuede usar lo anterior!

15 / 44

Densidad condicional

Para VA continuas, la densidad condicional puede hallarseinformalmente haciendo A = y < Y ≤ y + dy

Luego PA ≈ fY (y) dy

Px < X ≤ x + dx |A = fX |Y (x |y) dx

y como P(x < X ≤ x + dx) ∩ A = fXY (x , y) dx dy se puedever que

Densidad condicional:

fX |Y (x |y) =fXY (x , y)

fY (y)

16 / 44

Esperanza condicional

Esperanza condicional:

E X |Y = y =

∫ ∞−∞

λfX |Y (λ|y) dλ = µX |Y (y)

Notar: E X |Y es una funcion de Y = y

Observe la utilısima relacion

E E X |Y = E µX |Y =

∫ ∞−∞

µX |Y (ρ)fY (ρ) dρ

= E X

17 / 44

Ejemplo 1

0 1000 2000

−0.5

−0.4

−0.3

−0.2

−0.1

0

0.1

0.2

0.3

0.4

0.5

muestras

ampl

itud

2000 2200 2400

−0.5

−0.4

−0.3

−0.2

−0.1

0

0.1

0.2

0.3

0.4

0.5

muestras2360 2380 2400

−0.5

−0.4

−0.3

−0.2

−0.1

0

0.1

0.2

0.3

0.4

0.5

muestras

Registros del fonema “a”Otros registros: distinta oportunidad, momento condicion, ...

19 / 44

Ejemplo 2

0 200 400 600 800−150

−100

−50

0

50

100

150

Bal

ance

de

Cau

dal[m

3 ]

Tiempo0 200 400 600 800

−0.4

−0.3

−0.2

−0.1

0

0.1

0.2

0.3

0.4

0.5

Tiempo

Dife

renc

ia d

e P

resi

on

Registros simultaneos de balance (caudal deentrada menos caudal de salida) y diferenciade presion en un tramo de oleoducto. GentilezaRepsol-YPF

Otros registros: distinta oportunidad, momento condicion, ...

20 / 44

Ejemplo 3

−10

0

10

−10

0

10

−10

0

10

−10

0

10

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

−10

0

10

Pot

enci

al E

léct

rico

[ µV

]

Tiempo [ s ]

Registros simultaneos de potencial en lugares vecinos de lacabeza. Gentileza Dra. Silvia Kochen (CONICET y HospitalRamos Mejıa)Otros registros: distinta oportunidad, momento condicion, ...

Intervalo 5 minutos21 / 44

Senal aleatoria o proceso estocastico

Es una funcion de dos variables:

X (t , ζ) : I × Ω→ R

donde I es un intervalo de R, p.ej.: [0,∞) o (−∞,∞)

I t = t0, ζ la salida de un experimento aleatorio⇒X (t0, ζ) = Xt0(ζ) es VA.

I ζ = ζ0 una salida fija,⇒ Xζ0(t) es una funcion del tiempo orealizacion.

I Si t = t0, ζ = ζ0 ⇒; X (t0, ζ0) = es un numero real.

22 / 44

Interpretacion

-

6

6

-

6

-

t

t

t

X(t, ζ0)

X(t, ζ1)

X(t, ζj)

.....................................................................................

.....................................................................................

t0

t0

t0

t1

t1

t1

I Coleccion de realizaciones indexadas por la ζ ∈ Ω.I Coleccion de VAs indexadas por t ∈ I ⊆ R.

23 / 44

Procesos estocasticos: ¿para que?

I Modelizacion y analisis.I ¿que modelizan? situaciones que si uno tratara de repetir

en iguales condiciones, no lograrıa que la senal se repitaexactamente. Se producen una cantidad senales posibles,cada una con “cierta probabilidad” de ocurrir.

I ¿que se analiza? se trata de obtener informacion delproceso; es decir “comun” a todas (o a muchas)realizaciones. En cada realizacion individual la mismainformacion podrıa diferir significativamente de la delconjunto.

24 / 44

Clases de procesos I

I Coleccion de realizaciones indexadas por la ζ ∈ Ω, por suvariable independiente:

1. VIC: procesos (propiamente dichos).2. VID: secuencias aleatorias, denotamos X [n, ζ].

I Coleccion de VAs indexadas por t ∈ I ⊆ R, por su rangode amplitudes:

1. Espacio de estados discreto: todas las VA (sean de X (t , ζ)o sean de X [n, ζ]) son discretas (numero de llamadastelefonicas, senal telegrafica).

2. Espacio de estados continuo (ruido termico, modelo deloscilador).

25 / 44

Procesos discretos

X [n, ζ] ζ ∈ Ω; n ∈ I ⊆ Z

-

6

6

-

6

-

n

n

n

X[n, ζ0]

X[n, ζ1]

X[n, ζj ]

.....................................................................................

n0

n0

n0

n1

n1

n1

... .......

......

........

.......

................

........

..

..

......

................

..

....

...

........

..

..

..

..

.

..

..

..

..

.

..

..

..

......

......

.....

.....................................................................................

26 / 44

Clases de procesos II

I Proceso parametrico finito : tienen un numero finito deparametros aleatorios. P.ej.: generador senoidal.

s(t , φ) = Asen(2πf0t + φ) con A, f0 ∈ R; φ ∼ U [−π, π)

Notar la predictibilidad.I Regulares: o genuinamente aleatorios. Tienen un numero

infinito de VA y son “completamente impredecibles”. P.ej.:ruido termico.

Los procesos que usamos, en general, combinan las dosvariantes anterior. P.ej.: en forma aditiva.

27 / 44

Distribuciones asociadas – VIC

PROCESOS ESTOCASTICOS como conjunto de infinitas VA.

Caso VIC

-

6

....................................................................................................................................................................................................

..

..

..

..

..

.

..

..

..

..

..

..

..

..

.

..

..

..

..........

tt2t1

x0 + dx

x0

x

fX(x; t)

.................

....

....

........................

..

..

..

..

..

..

.

..

..

..

..

..

..

..

.

..

..

..

..

..

..

..

..

..

..

.

..

..

..

..

..

..........

..

..

....

..

.fX(x; t1)

fX(x; t2)

Realizaciones: en el plano x − t .

29 / 44

Distribuciones asociadas – VIC – 1VA

Para 1 VA

FX (x ; t) = PXt ≤ x = Pζ ∈ Ω : X (t , ζ) ≤ x

fX (x ; t) =∂FX (x ; t)

∂x

fX (x ; t)dx = Px ≤ Xt ≤ x + dx =

Pζ ∈ Ω : x ≤ X (t , ζ) ≤ x + dx

-

6

....................................................................................................................................................................................................

..

..

..

..

..

.

..

..

..

..

..

..

..

..

.

..

..

..

..........

tt2t1

x0 + dx

x0

x

fX(x; t)

.................

....

....

........................

..

..

..

..

..

..

.

..

..

..

..

..

..

..

.

..

..

..

..

..

..

..

..

..

..

.

..

..

..

..

..

..........

..

..

....

..

.fX(x; t1)

fX(x; t2)

30 / 44

Distribuciones asociadas – VIC – 2VA

Para 2 VA

FX (x1, x2; t1, t2) = P(X (t1) ≤ x1) ∩ (X (t2) ≤ x2)

fX (x1, x2; t1, t2) dx1 dx2 =∂2FX (x1, x2; t1, t2)

∂x1∂x2=

P(x1 ≤ X (t1) ≤ x1 + dx1) ∩ (x2 ≤ X (t2) ≤ x2 + dx2)

y logicamente

fX (x1; t1) =

∫ ∞−∞

fX (x1, x2; t1, t2) dx2 =∂FX (x1, ∞; t1, t2)

∂x1

fX (x2; t2) =

∫ ∞−∞

fX (x1, x2; t1, t2) dx1 =∂FX (∞, x2; t1, t2)

∂x2

31 / 44

Distribuciones asociadas – VIC – multiples VA

FX (x1, x2, . . . , xn; t1, t2, . . . , tn) =

P(X (t1) ≤ x1) ∩ (X (t2) ≤ x2) ∩ · · · ∩ (X (tn) ≤ xn)

fX (x1, x2, . . . , xn; t1, t2, . . . , tn) =

∂nFX (x1, x2, . . . , xn; t1, t2, . . . , tn)

∂x1∂x2 . . . ∂xn

fX (x1, x2, . . . , xn; t1, t2, . . . , tn)dx1 dx2 . . . dxn =

P

n⋂

i=1

(xi ≤ X (ti) < xi + dxi)

32 / 44

Distribuciones asociadas – VID

FX (x ; t1) = PXt1 ≤ x = PX [t1] ≤ x

y

fX (x ; t1) dx =∂FX (x ; t1)

∂xdx = Px ≤ Xt1 ≤ x + dx =

= Px ≤ X [t1] ≤ x + dx

-

6

....................................................................................................................................................................................................

..

..

..

..

..

.

..

..

..

..

..

..

..

..

.

..

..

..

..........

tt2t1

x0 + dx

x0

x

fX(x; t)

.................

....

....

........................

..

..

..

..

..

..

.

..

..

..

..

..

..

..

.

..

..

..

..

..

..

..

..

..

..

.

..

..

..

..

..

..........

..

..

....

..

.fX(x; t1)

fX(x; t2)

33 / 44

Distribuciones asociadas – VID – multiples VA

Distribucion y densidad conjuntas de orden n

FX (x1, x2, . . . , xn; t1, t2, . . . , tn) = P

n⋂

i=1

(X [ti ] ≤ xi)

y en caso de que exista (espacio de estado continuo), ladensidad de probabilidad conjunta,

fX (x1, x2, . . . , xn; t1, t2, . . . , tn) =

∂nFX (x1, x2, . . . , xn; t1, t2, . . . , tn)

∂x1∂x2 . . . ∂xn

34 / 44

Operaciones aritmeticas

I Detalle: ω ∈ Ω, con ω = (ξ, ζ) y 2 procesos X (t , ξ) eY (t , ζ).

I De la manera previsible: el proceso suma esZ (t , ω) = X (t , ξ) + Y (t , ζ) y de modo similar las otrasoperaciones.

35 / 44

Senales Aleatorias – Resumen

Caracterizacion de procesos estocasticos X (t , ζ) o X [n, ζ]

I Como una coleccion de variables aleatorias, se necesitaconocer:I la distribucion de cada VA (FX (x ; t) o FX (x ; n)).I la distribucion conjunta de cada par de VA (FX (x1, x2; t1, t2)

o FX (x1, x2; n1,n2)).I la distribucion conjunta de cualesquiera tres VA del

proceso.I en general, la distribucion conjunta de cualesquiera m VA

del proceso:

VIC FX (x1, x2, . . . , xm; t1, t2, . . . , tm)

VID FX (x1, x2, . . . , xm; n1, n2, . . . , nm)

I Como una coleccion de realizaciones (VID o VIC):I Las propiedades suelen derivarse de la estructura

probabilıstica (FX (· · · )).I Para ciertos procesos, alcanzan los promedios temporales.

36 / 44

Procesos independendientes

Definicion VIC: Dos procesos X (t , ξ) e Y (t , ζ) sonindependientes cuando cualquier evento generado porcualquier numero de variables aleatorias de X (t , ξ) esindependiente de cualquier evento generado por cualquiernumero de variables aleatorias de Y (t , ζ).

Definicion VID: Dos procesos X [n, ξ] e Y [n, ζ] sonindependientes cuando cualquier evento generado porcualquier numero de variables aleatorias de X [n, ξ] esindependiente de cualquier evento generado por cualquiernumero de variables aleatorias de Y [n, ζ].

Atencion: no basta con la independencia de a pares de VA...

38 / 44

Secuencias identicamente distribuidas

Uno de los procesos discretos mas simples y utiles es

Secuencia aleatoria identicamente distribuida:X [n, ζ], n ∈ Z, ζ ∈ Ω es identicamente distribuıdo cuando ladistribucion de cada variable aleatoria Xn(ζ) es la misma paratodo n.

FX (x ; n) = PX [n] ≤ x = FX (x) ∀n

y (pensando en espacio de estados continuo)

fX (x ; n) =∂FX (x)

∂x= fX (x) ∀n

Observar que “no se dice nada” sobre las distribuciones demayor orden.

39 / 44

Secuencias i.i.d.

Secuencia aleatoria independiente e identicamente distribuida:X [n, ζ] con n ∈ Z, ζ ∈ Ω se denomina independiente eidenticamente distribuida cuandoi) las variables aleatorias Xn(ζ) son independientes entre sı yii) la distribucion de cada variable aleatoria Xn(ζ) es la mismapara todo n.

Ahora si,

FX (x1, x2, . . . , xm; n1, n2, . . . , nm) =

=m∏

i=1

PX [ni ] ≤ xi =m∏

i=1

FX (xi)

40 / 44

Secuencias i.i.d.

Ejemplo 1: secuencia binaria semi-aleatoria

0 5 10 15 20 25 30 35 40 45 50−0.5

0

0.5

1

1.5

n

Amplit

ud

Ejemplo 2: secuencia de amplitudes normales N (0,1).

0 100 200 300 400 500 600 700 800 900 1000−3

−2

−1

0

1

2

3

n

Ampl

itud

205 210 215 220 225 230 235 240 245 250−3

−2

−1

0

1

2

3

n

Ampl

itud

Izquierda: 1000 muestras. Derecha: muestras 201 a 250 de la realizacion de laizquierda. Generacion en Matlab: randn()

(Llevada a audio ya escuchamos como “suena”) 41 / 44

Y en VIC?

No existen rigurosamente procesos iid de VIC

Algo parecido matematicamente es el ruido blanco: ya loveremos.

42 / 44

Proxima Clase

I Media estadıstica.I Correlacion de senales determinısticas (de energıa y

potencia).I Funciones de correlacion y covarianza estadısticas. Otros

momentos.I Correlacion: concepto; notacion: orden, conjugada y

desplazamiento de las variables, propiedadesautocorrelacion e intercorrelacion.

44 / 44