introducción a las cadenas de markov: i tiempo discretorivero/vrivero/material_para... · 2012. 9....
TRANSCRIPT
1/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion a las cadenas de Markov: ITiempo discreto
Vıctor RIVERO
Centro de Investigacion en Matematicas A. C.
XI Escuela de Probabilidad y Estadıstica, 29 de Febrero a 2 de Marzo,2012, CIMAT
2/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Preliminares
Preliminares(Ω,F ,P) un espacio de probabilidad
• Probabilidad condicional A,B ∈ F , tal que P(B) > 0, laprobabilidad del evento A dado B
P(A|B) =P(A ∩ B)
P(B).
• Formula de probabilidad total Sean B1, . . . ,Bn , . . . ∈ Ω, tales que∪∞k=1Bk = Ω entonces ∀A ∈ F
P(A) =∞∑
k=1
P(A ∩ Bk ) =∞∑
k=1
P(A|Bk ) P(Bk ).
• Formula de Bayes Sean A,B ,B1, . . . ,Bn ∈ F , tales que P(B) > 0 yΩ = ∪n
k=1Bk se tiene que
P(A|B) =P(B |A) P(A)∑nk=1 P(B ∩ Bk )
=P(B |A) P(A)∑n
k=1 P(B |Bk ) P(Bk ).
2/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Preliminares
Preliminares(Ω,F ,P) un espacio de probabilidad
• Probabilidad condicional A,B ∈ F , tal que P(B) > 0, laprobabilidad del evento A dado B
P(A|B) =P(A ∩ B)
P(B).
• Formula de probabilidad total Sean B1, . . . ,Bn , . . . ∈ Ω, tales que∪∞k=1Bk = Ω entonces ∀A ∈ F
P(A) =∞∑
k=1
P(A ∩ Bk ) =∞∑
k=1
P(A|Bk ) P(Bk ).
• Formula de Bayes Sean A,B ,B1, . . . ,Bn ∈ F , tales que P(B) > 0 yΩ = ∪n
k=1Bk se tiene que
P(A|B) =P(B |A) P(A)∑nk=1 P(B ∩ Bk )
=P(B |A) P(A)∑n
k=1 P(B |Bk ) P(Bk ).
2/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Preliminares
Preliminares(Ω,F ,P) un espacio de probabilidad
• Probabilidad condicional A,B ∈ F , tal que P(B) > 0, laprobabilidad del evento A dado B
P(A|B) =P(A ∩ B)
P(B).
• Formula de probabilidad total Sean B1, . . . ,Bn , . . . ∈ Ω, tales que∪∞k=1Bk = Ω entonces ∀A ∈ F
P(A) =∞∑
k=1
P(A ∩ Bk ) =∞∑
k=1
P(A|Bk ) P(Bk ).
• Formula de Bayes Sean A,B ,B1, . . . ,Bn ∈ F , tales que P(B) > 0y Ω = ∪n
k=1Bk se tiene que
P(A|B) =P(B |A) P(A)∑nk=1 P(B ∩ Bk )
=P(B |A) P(A)∑n
k=1 P(B |Bk ) P(Bk ).
3/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Preliminares
• A,B ∈ F son independientes si
P(A ∩ B) = P(A) P(B)
• A,B ⊆ F son independientes si
P(A ∩ B) = P(A) P(B), ∀A ∈ A y ∀B ∈ B.
• X : Ω→ E es una variable aleatoria si para todo A ⊂ E ,B := X ∈ A := ω ∈ Ω|X (ω) ∈ A ∈ F .
Traduccion: ω ∈ Ω un experimento, X (ω) una caracterıstica delexperimento; B es el evento “los experimentos son tales que lacaracterıstica de interes toma un valor en A” y le podemos calcularprobabilidad ya que B ∈ F .
• X ,Y variables aleatorias son independientes si para todo A,B ⊂ E ,los eventos X ∈ A y Y ∈ B son independientes.
3/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Preliminares
• A,B ∈ F son independientes si
P(A ∩ B) = P(A) P(B)
• A,B ⊆ F son independientes si
P(A ∩ B) = P(A) P(B), ∀A ∈ A y ∀B ∈ B.
• X : Ω→ E es una variable aleatoria si para todo A ⊂ E ,B := X ∈ A := ω ∈ Ω|X (ω) ∈ A ∈ F .
Traduccion: ω ∈ Ω un experimento, X (ω) una caracterıstica delexperimento; B es el evento “los experimentos son tales que lacaracterıstica de interes toma un valor en A” y le podemos calcularprobabilidad ya que B ∈ F .
• X ,Y variables aleatorias son independientes si para todo A,B ⊂ E ,los eventos X ∈ A y Y ∈ B son independientes.
3/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Preliminares
• A,B ∈ F son independientes si
P(A ∩ B) = P(A) P(B)
• A,B ⊆ F son independientes si
P(A ∩ B) = P(A) P(B), ∀A ∈ A y ∀B ∈ B.
• X : Ω→ E es una variable aleatoria si para todo A ⊂ E ,B := X ∈ A := ω ∈ Ω|X (ω) ∈ A ∈ F .
Traduccion: ω ∈ Ω un experimento, X (ω) una caracterıstica delexperimento; B es el evento “los experimentos son tales que lacaracterıstica de interes toma un valor en A” y le podemos calcularprobabilidad ya que B ∈ F .
• X ,Y variables aleatorias son independientes si para todo A,B ⊂ E ,los eventos X ∈ A y Y ∈ B son independientes.
3/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Preliminares
• A,B ∈ F son independientes si
P(A ∩ B) = P(A) P(B)
• A,B ⊆ F son independientes si
P(A ∩ B) = P(A) P(B), ∀A ∈ A y ∀B ∈ B.
• X : Ω→ E es una variable aleatoria si para todo A ⊂ E ,B := X ∈ A := ω ∈ Ω|X (ω) ∈ A ∈ F .Traduccion: ω ∈ Ω un experimento, X (ω) una caracterıstica delexperimento; B es el evento “los experimentos son tales que lacaracterıstica de interes toma un valor en A” y le podemos calcularprobabilidad ya que B ∈ F .
• X ,Y variables aleatorias son independientes si para todo A,B ⊂ E ,los eventos X ∈ A y Y ∈ B son independientes.
3/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Preliminares
• A,B ∈ F son independientes si
P(A ∩ B) = P(A) P(B)
• A,B ⊆ F son independientes si
P(A ∩ B) = P(A) P(B), ∀A ∈ A y ∀B ∈ B.
• X : Ω→ E es una variable aleatoria si para todo A ⊂ E ,B := X ∈ A := ω ∈ Ω|X (ω) ∈ A ∈ F .Traduccion: ω ∈ Ω un experimento, X (ω) una caracterıstica delexperimento; B es el evento “los experimentos son tales que lacaracterıstica de interes toma un valor en A” y le podemos calcularprobabilidad ya que B ∈ F .
• X ,Y variables aleatorias son independientes si para todo A,B ⊂ E ,los eventos X ∈ A y Y ∈ B son independientes.
4/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Procesos Estocasticos
DefinicionSea (Ω,F ,P) un espacio de probabilidad y E un conjunto no vacıo. Unproceso estocastico es una coleccion de variables aleatorias,Xt : Ω→ E , t ∈ T, indexadas por algun conjunto T .
Usualmente,
T =
0, 1, 2, . . . proceso estocastico a tiempo discreto,
R o R+ proceso estocastico a tiempo continuo.
El conjunto E es el espacio de estados. Si E es numerable se dice que elproceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.
Estudiaremos solamente procesos estocasticos con espacio deestados y tiempo discreto.
4/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Procesos Estocasticos
DefinicionSea (Ω,F ,P) un espacio de probabilidad y E un conjunto no vacıo. Unproceso estocastico es una coleccion de variables aleatorias,Xt : Ω→ E , t ∈ T, indexadas por algun conjunto T . Usualmente,
T =
0, 1, 2, . . . proceso estocastico a tiempo discreto,
R o R+ proceso estocastico a tiempo continuo.
El conjunto E es el espacio de estados. Si E es numerable se dice que elproceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.
Estudiaremos solamente procesos estocasticos con espacio deestados y tiempo discreto.
4/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Procesos Estocasticos
DefinicionSea (Ω,F ,P) un espacio de probabilidad y E un conjunto no vacıo. Unproceso estocastico es una coleccion de variables aleatorias,Xt : Ω→ E , t ∈ T, indexadas por algun conjunto T . Usualmente,
T =
0, 1, 2, . . . proceso estocastico a tiempo discreto,
R o R+ proceso estocastico a tiempo continuo.
El conjunto E es el espacio de estados. Si E es numerable se dice queel proceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.
Estudiaremos solamente procesos estocasticos con espacio deestados y tiempo discreto.
4/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Procesos Estocasticos
DefinicionSea (Ω,F ,P) un espacio de probabilidad y E un conjunto no vacıo. Unproceso estocastico es una coleccion de variables aleatorias,Xt : Ω→ E , t ∈ T, indexadas por algun conjunto T . Usualmente,
T =
0, 1, 2, . . . proceso estocastico a tiempo discreto,
R o R+ proceso estocastico a tiempo continuo.
El conjunto E es el espacio de estados. Si E es numerable se dice que elproceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.
Estudiaremos solamente procesos estocasticos con espacio deestados y tiempo discreto.
5/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplos de proceso estocastico
Ejemplo
Lanzamiento de una moneda, E = aguila, sol = 0, 1.
Xn =
aguila psol 1− p
, p ∈ [0, 1], n ∈ Z+ .
Ejemplo (Pacientes)
Sea Xn el numero de pacientes graves que solicitan tratamiento el dıa nen la sala de emergencias del hospital la Raza en Mexico D.F.E = 0, 1, . . . ,K donde K es el numero maximo de pacientes quepuede ser recibido en la recepcion de emergencias por dıa.
En ambos ejemplos las variables aleatorias son independientesentre si.
5/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplos de proceso estocastico
Ejemplo
Lanzamiento de una moneda, E = aguila, sol = 0, 1.
Xn =
aguila psol 1− p
, p ∈ [0, 1], n ∈ Z+ .
Ejemplo (Pacientes)
Sea Xn el numero de pacientes graves que solicitan tratamiento el dıa nen la sala de emergencias del hospital la Raza en Mexico D.F.E = 0, 1, . . . ,K donde K es el numero maximo de pacientes quepuede ser recibido en la recepcion de emergencias por dıa.
En ambos ejemplos las variables aleatorias son independientesentre si.
5/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplos de proceso estocastico
Ejemplo
Lanzamiento de una moneda, E = aguila, sol = 0, 1.
Xn =
aguila psol 1− p
, p ∈ [0, 1], n ∈ Z+ .
Ejemplo (Pacientes)
Sea Xn el numero de pacientes graves que solicitan tratamiento el dıa nen la sala de emergencias del hospital la Raza en Mexico D.F.E = 0, 1, . . . ,K donde K es el numero maximo de pacientes quepuede ser recibido en la recepcion de emergencias por dıa.
En ambos ejemplos las variables aleatorias son independientesentre si.
6/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Ajedrez)
Sea Xn la posicion de un caballo en un tablero de ajedrez despues de nmovimientos.
Ejemplo
Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre ola autopista de cuota. Sea Xn la distancia recorrida despues den-minutos por un automovil que se dirige a Guanajuato desde el D.F.
Claramente, Xn+1 = Xn + Y (X0)n+1 donde Y (X0)
n+1 denota la distanciarecorrida en el periodo [n,n + 1[ y esta depende del punto inicial.
En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn−1.
Ejemplo (El merenguero)
Si el resultado de un volado es aguila el merenguero gana un peso y encaso contrario nosotros ganamos un peso. Sea Sn la fortuna delmerenguero despues de n-lanzamientos y n ∈ 0, 1, 2, . . .. El espacio deestados es E = 0, 1, . . . ,N + M , donde N =nuestra fortuna yM =fortuna del merenguero.
6/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Ajedrez)
Sea Xn la posicion de un caballo en un tablero de ajedrez despues de nmovimientos.
Ejemplo
Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre ola autopista de cuota. Sea Xn la distancia recorrida despues den-minutos por un automovil que se dirige a Guanajuato desde el D.F.
Claramente, Xn+1 = Xn + Y (X0)n+1 donde Y (X0)
n+1 denota la distanciarecorrida en el periodo [n,n + 1[ y esta depende del punto inicial.
En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn−1.
Ejemplo (El merenguero)
Si el resultado de un volado es aguila el merenguero gana un peso y encaso contrario nosotros ganamos un peso. Sea Sn la fortuna delmerenguero despues de n-lanzamientos y n ∈ 0, 1, 2, . . .. El espacio deestados es E = 0, 1, . . . ,N + M , donde N =nuestra fortuna yM =fortuna del merenguero.
6/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Ajedrez)
Sea Xn la posicion de un caballo en un tablero de ajedrez despues de nmovimientos.
Ejemplo
Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre ola autopista de cuota. Sea Xn la distancia recorrida despues den-minutos por un automovil que se dirige a Guanajuato desde el D.F.
Claramente, Xn+1 = Xn + Y (X0)n+1 donde Y (X0)
n+1 denota la distanciarecorrida en el periodo [n,n + 1[ y esta depende del punto inicial.
En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn−1.
Ejemplo (El merenguero)
Si el resultado de un volado es aguila el merenguero gana un peso y encaso contrario nosotros ganamos un peso. Sea Sn la fortuna delmerenguero despues de n-lanzamientos y n ∈ 0, 1, 2, . . .. El espacio deestados es E = 0, 1, . . . ,N + M , donde N =nuestra fortuna yM =fortuna del merenguero.
6/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Ajedrez)
Sea Xn la posicion de un caballo en un tablero de ajedrez despues de nmovimientos.
Ejemplo
Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre ola autopista de cuota. Sea Xn la distancia recorrida despues den-minutos por un automovil que se dirige a Guanajuato desde el D.F.
Claramente, Xn+1 = Xn + Y (X0)n+1 donde Y (X0)
n+1 denota la distanciarecorrida en el periodo [n,n + 1[ y esta depende del punto inicial.
En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn−1.
Ejemplo (El merenguero)
Si el resultado de un volado es aguila el merenguero gana un peso y encaso contrario nosotros ganamos un peso. Sea Sn la fortuna delmerenguero despues de n-lanzamientos y n ∈ 0, 1, 2, . . .. El espacio deestados es E = 0, 1, . . . ,N + M , donde N =nuestra fortuna yM =fortuna del merenguero.
7/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Evolucion de una epidemia en una poblacion)
Un individuo de la poblacion puede estar en los siguientes estados:enfermo(e), contagiado y por lo tanto contagioso (c), inmune a laenfermedad (i), sano pero no inmune (s), muerto (m).
Segun lainformacion dada por el sistema de salud de la poblacion se tienen lassiguientes transiciones:
sano —>
contagiado (contagioso)
no contagiado (sano)
contagiado (contagioso)—>
enfermo
sano inmune
enfermo —>
sano inmune
muerto
sano inmune —> sano inmune,
muerto —> muerto.
7/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Evolucion de una epidemia en una poblacion)
Un individuo de la poblacion puede estar en los siguientes estados:enfermo(e), contagiado y por lo tanto contagioso (c), inmune a laenfermedad (i), sano pero no inmune (s), muerto (m). Segun lainformacion dada por el sistema de salud de la poblacion se tienen lassiguientes transiciones:
sano —>
contagiado (contagioso)
no contagiado (sano)
contagiado (contagioso)—>
enfermo
sano inmune
enfermo —>
sano inmune
muerto
sano inmune —> sano inmune,
muerto —> muerto.
8/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Procesos de Ramificacion)
Al tiempo inicial n = 0 hay una partıcula. Al tiempo n = 1 esta partıculamuere y da nacimiento a X partıculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partıculaexistente muere y da nacimiento a un numero aleatorio de partıculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X .
Sea(Zn ,n ≥ 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+, yel numero de partıculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho
Zn+1 =Zn∑i=1
X (n)i ,
donde X (n)i el numero de descendientes del i -esimo individuo presente en
la poblacion en la n-esima generacion. Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.
8/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Procesos de Ramificacion)
Al tiempo inicial n = 0 hay una partıcula. Al tiempo n = 1 esta partıculamuere y da nacimiento a X partıculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partıculaexistente muere y da nacimiento a un numero aleatorio de partıculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n ≥ 0) los tamanos de las poblacion en la n-esima generacion.
Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+, yel numero de partıculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho
Zn+1 =Zn∑i=1
X (n)i ,
donde X (n)i el numero de descendientes del i -esimo individuo presente en
la poblacion en la n-esima generacion. Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.
8/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Procesos de Ramificacion)
Al tiempo inicial n = 0 hay una partıcula. Al tiempo n = 1 esta partıculamuere y da nacimiento a X partıculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partıculaexistente muere y da nacimiento a un numero aleatorio de partıculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n ≥ 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion.
E = Z+,y el numero de partıculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho
Zn+1 =Zn∑i=1
X (n)i ,
donde X (n)i el numero de descendientes del i -esimo individuo presente en
la poblacion en la n-esima generacion. Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.
8/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Procesos de Ramificacion)
Al tiempo inicial n = 0 hay una partıcula. Al tiempo n = 1 esta partıculamuere y da nacimiento a X partıculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partıculaexistente muere y da nacimiento a un numero aleatorio de partıculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n ≥ 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+,y el numero de partıculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho
Zn+1 =Zn∑i=1
X (n)i ,
donde X (n)i el numero de descendientes del i -esimo individuo presente en
la poblacion en la n-esima generacion.
Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.
8/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Procesos de Ramificacion)
Al tiempo inicial n = 0 hay una partıcula. Al tiempo n = 1 esta partıculamuere y da nacimiento a X partıculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partıculaexistente muere y da nacimiento a un numero aleatorio de partıculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n ≥ 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+,y el numero de partıculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho
Zn+1 =Zn∑i=1
X (n)i ,
donde X (n)i el numero de descendientes del i -esimo individuo presente en
la poblacion en la n-esima generacion. Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.
9/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Inventarios)
Una tienda de aparatos electronicos vende televisiones y opera bajo elsiguiente esquema. Si al final del dıa el numero de unidades disponibles es1 o 0, se ordenan nuevas unidades para llevar el total a 5. Supondremosque la mercancıa llega antes de que la tienda abra al dıa siguiente. SeaXn el numero de unidades disponibles en la tienda al final del n-esimodıa y supongamos que diariamente el numero de clientes que compran unipod es 0, 1, 2 o 3 con probabilidad 0.3; 0.4; 0.2; y 0.1 respectivamente.
Xn+1 =
(Xn −Dn+1)+ si Xn > 1(5−Dn+1)+ si Xn ≤ 1
Con Dn+1 la demanda el dıa n + 1.
9/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Introduccion
Procesos Estocasticos
Ejemplo (Inventarios)
Una tienda de aparatos electronicos vende televisiones y opera bajo elsiguiente esquema. Si al final del dıa el numero de unidades disponibles es1 o 0, se ordenan nuevas unidades para llevar el total a 5. Supondremosque la mercancıa llega antes de que la tienda abra al dıa siguiente. SeaXn el numero de unidades disponibles en la tienda al final del n-esimodıa y supongamos que diariamente el numero de clientes que compran unipod es 0, 1, 2 o 3 con probabilidad 0.3; 0.4; 0.2; y 0.1 respectivamente.
Xn+1 =
(Xn −Dn+1)+ si Xn > 1(5−Dn+1)+ si Xn ≤ 1
Con Dn+1 la demanda el dıa n + 1.
10/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Definicion de Cadena de Markov
En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto.
Esto eslo que se llama la propiedad de MarkovDicho de otro, dado el presente, el futuro es independientemente delpasado,
P (Evento del pasado ∩ Evento del futuro|Evento del presente)= P (Evento del pasado|Evento del presente)× P (Evento del futuro|Evento del presente) .
10/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Definicion de Cadena de Markov
En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto. Esto eslo que se llama la propiedad de Markov
Dicho de otro, dado el presente, el futuro es independientemente delpasado,
P (Evento del pasado ∩ Evento del futuro|Evento del presente)= P (Evento del pasado|Evento del presente)× P (Evento del futuro|Evento del presente) .
10/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Definicion de Cadena de Markov
En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto. Esto eslo que se llama la propiedad de MarkovDicho de otro, dado el presente, el futuro es independientemente delpasado,
P (Evento del pasado ∩ Evento del futuro|Evento del presente)= P (Evento del pasado|Evento del presente)× P (Evento del futuro|Evento del presente) .
11/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Definicion de Cadena de Markov
Cadenas de Markov
DefinicionSea (Ω,F ,P) un espacio de probabilidad y E un conjunto no vacıo, finitoo numerable. Un proceso estocastico o sucesion de variables aleatorias
Xn : Ω→ E ,n ∈ N,
se llama cadena de Markov con espacio de estados E si satisface lacondicion de Markov, es decir, si para todo n ≥ 1 y toda sucesionx0, x1, . . . , xn−1, xn , xn+1 ∈ E , se cumple:
P (Xn+1 = xn+1|Xn = xn ,Xn−1 = xn−1, . . . ,X0 = x0)= P (Xn+1 = xn+1|Xn = xn) .
(1)
La distribucion de X0 se llama distribucion inicial de la cadena y enmuchos casos la denotaremos por π(x ) = P(X0 = x ), x ∈ E .
12/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Algunas precisiones
• Supondremos que E ⊆ Z, y en consecuencia E es ordenado.
• La familia
P (Xn+1 = y |Xn = x ) ,n ∈ N, x , y ∈ E,
se le llama familia de probabilidades de transicion de la cadena.Estas describen la evolucion de la cadena en el tiempo.
• Para todo n ∈ N y x ∈ E se tiene que
1 = P (Xn+1 ∈ E |Xn = x )= P (∪y∈EXn+1 = y|Xn = x )
=∑y∈E
P (Xn+1 = y |Xn = x ) .
12/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Algunas precisiones
• Supondremos que E ⊆ Z, y en consecuencia E es ordenado.
• La familia
P (Xn+1 = y |Xn = x ) ,n ∈ N, x , y ∈ E,
se le llama familia de probabilidades de transicion de la cadena.Estas describen la evolucion de la cadena en el tiempo.
• Para todo n ∈ N y x ∈ E se tiene que
1 = P (Xn+1 ∈ E |Xn = x )= P (∪y∈EXn+1 = y|Xn = x )
=∑y∈E
P (Xn+1 = y |Xn = x ) .
12/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Algunas precisiones
• Supondremos que E ⊆ Z, y en consecuencia E es ordenado.
• La familia
P (Xn+1 = y |Xn = x ) ,n ∈ N, x , y ∈ E,
se le llama familia de probabilidades de transicion de la cadena.Estas describen la evolucion de la cadena en el tiempo.
• Para todo n ∈ N y x ∈ E se tiene que
1 = P (Xn+1 ∈ E |Xn = x )= P (∪y∈EXn+1 = y|Xn = x )
=∑y∈E
P (Xn+1 = y |Xn = x ) .
13/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Algunas precisiones
• Si las probabilidades de ir de un estado a otro en una unidad detiempo no depende del instante de tiempo en el cual se inicia, esdecir si
P (Xn+1 = y |Xn = x ) = Px ,y no depende de n, ∀x , y ∈ E ,
diremos que la cadena es homogenea con respecto al tiempo.
• En este curso solo nos interesaremos por las cadenas de Markovhomogeneas en el tiempo y en la mayorıa de los casos con espacio deestados E finito.
• La familia de probabilidades de transicion
P = Px ,y , (x , y) ∈ E × E,
sera llamada matriz de transicion de la cadena. P cumple que∑y∈E
Px ,y =∑y∈E
P (Xn+1 = y |Xn = x ) = 1, x ∈ E .
Se dice que P , es una matriz estocastica o de Markov.• Diremos que el proceso estocastico Xn ,n ∈ N es una cadena de
Markov (π,P), donde π es la distribucion de X0 y P es la matriz deprobabilidades de transicion.
13/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Algunas precisiones
• Si las probabilidades de ir de un estado a otro en una unidad detiempo no depende del instante de tiempo en el cual se inicia, esdecir si
P (Xn+1 = y |Xn = x ) = Px ,y no depende de n, ∀x , y ∈ E ,
diremos que la cadena es homogenea con respecto al tiempo.• En este curso solo nos interesaremos por las cadenas de Markov
homogeneas en el tiempo y en la mayorıa de los casos conespacio de estados E finito.
• La familia de probabilidades de transicion
P = Px ,y , (x , y) ∈ E × E,
sera llamada matriz de transicion de la cadena. P cumple que∑y∈E
Px ,y =∑y∈E
P (Xn+1 = y |Xn = x ) = 1, x ∈ E .
Se dice que P , es una matriz estocastica o de Markov.• Diremos que el proceso estocastico Xn ,n ∈ N es una cadena de
Markov (π,P), donde π es la distribucion de X0 y P es la matriz deprobabilidades de transicion.
13/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Algunas precisiones
• Si las probabilidades de ir de un estado a otro en una unidad detiempo no depende del instante de tiempo en el cual se inicia, esdecir si
P (Xn+1 = y |Xn = x ) = Px ,y no depende de n, ∀x , y ∈ E ,
diremos que la cadena es homogenea con respecto al tiempo.• En este curso solo nos interesaremos por las cadenas de Markov
homogeneas en el tiempo y en la mayorıa de los casos con espacio deestados E finito.
• La familia de probabilidades de transicion
P = Px ,y , (x , y) ∈ E × E,
sera llamada matriz de transicion de la cadena. P cumple que∑y∈E
Px ,y =∑y∈E
P (Xn+1 = y |Xn = x ) = 1, x ∈ E .
Se dice que P , es una matriz estocastica o de Markov.
• Diremos que el proceso estocastico Xn ,n ∈ N es una cadena deMarkov (π,P), donde π es la distribucion de X0 y P es la matriz deprobabilidades de transicion.
13/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Algunas precisiones
• Si las probabilidades de ir de un estado a otro en una unidad detiempo no depende del instante de tiempo en el cual se inicia, esdecir si
P (Xn+1 = y |Xn = x ) = Px ,y no depende de n, ∀x , y ∈ E ,
diremos que la cadena es homogenea con respecto al tiempo.• En este curso solo nos interesaremos por las cadenas de Markov
homogeneas en el tiempo y en la mayorıa de los casos con espacio deestados E finito.
• La familia de probabilidades de transicion
P = Px ,y , (x , y) ∈ E × E,
sera llamada matriz de transicion de la cadena. P cumple que∑y∈E
Px ,y =∑y∈E
P (Xn+1 = y |Xn = x ) = 1, x ∈ E .
Se dice que P , es una matriz estocastica o de Markov.• Diremos que el proceso estocastico Xn ,n ∈ N es una cadena de
Markov (π,P), donde π es la distribucion de X0 y P es la matriz deprobabilidades de transicion.
14/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
El sistema Bonus-Malus en el seguro de automoviles
En Hong Kong y en otros lugares del mundo, se usa un sistema para fijarlas primas de seguro de automovil conocido como Bonus-Malus queconsiste de 6 clases de tarificacion, de 1 fort bonus a 6 fort malus, que serige por las siguientes reglas:
si un asegurado no tuvo siniestros durante el periodo, entonces pasade la categorıa i a la categorıa max1, i − 1,si el asegurado tiene al menos un siniestro entonces pasa de lacategorıa i a la 6.
Si Xn denota la categorıa en cual se encuentra un individuo al n-esimoperiodo entonces Xn ,n ≥ 0 es una cadena de Markov con espacio deestados 1, 2, . . . , 6. Un asegurado tiene un siniestro con probabilidad1− p en un periodo.
15/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
La matriz de transicion asociada esta dada por
P =
p 0 0 0 0 1− pp 0 0 0 0 1− p0 p 0 0 0 1− p0 0 p 0 0 1− p0 0 0 p 0 1− p0 0 0 0 p 1− p
.
¿Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n−1N j
n , dado que X0 = j ?¿Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categorıa. c es unafuncion definida en 1, 2, . . . , 6 no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:
1n
n∑j=1
c(Xj ),=6∑
j=1
c(j )N (n)
j
n
15/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
La matriz de transicion asociada esta dada por
P =
p 0 0 0 0 1− pp 0 0 0 0 1− p0 p 0 0 0 1− p0 0 p 0 0 1− p0 0 0 p 0 1− p0 0 0 0 p 1− p
.
¿Cual es la proporcion de tiempo que un cliente pasa en el estadoj despues de n pasos, n−1N j
n , dado que X0 = j?
¿Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categorıa. c es unafuncion definida en 1, 2, . . . , 6 no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:
1n
n∑j=1
c(Xj ),=6∑
j=1
c(j )N (n)
j
n
15/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
La matriz de transicion asociada esta dada por
P =
p 0 0 0 0 1− pp 0 0 0 0 1− p0 p 0 0 0 1− p0 0 p 0 0 1− p0 0 0 p 0 1− p0 0 0 0 p 1− p
.
¿Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n−1N j
n , dado que X0 = j ?¿Cual es la prima promedio que paga un asegurado?
Sea c unafuncion que determina la prima a pagar en funcion de la categorıa. c esuna funcion definida en 1, 2, . . . , 6 no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:
1n
n∑j=1
c(Xj ),=6∑
j=1
c(j )N (n)
j
n
15/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
La matriz de transicion asociada esta dada por
P =
p 0 0 0 0 1− pp 0 0 0 0 1− p0 p 0 0 0 1− p0 0 p 0 0 1− p0 0 0 p 0 1− p0 0 0 0 p 1− p
.
¿Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n−1N j
n , dado que X0 = j ?¿Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categorıa. c es unafuncion definida en 1, 2, . . . , 6 no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:
1n
n∑j=1
c(Xj ),=6∑
j=1
c(j )N (n)
j
n
16/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
Ejemplo (Merenguero)
En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p laprobabilidad de aguila, y de que el merenguero gane un peso, y Sn =lafortuna del merenguero despues de n volados, n ≥ 0. Sn ,n ≥ 0 es unacadena de Markov con matriz de transicion
P(Sn+1 = j |Sn = i) = Pi,j =
1, si i , j = 0p si 0 < i < N + M , j = i + 11− p si 0 < i < N + M , j = i − 11 si i , j = N + M0 en otro caso
y ley inicial P(S0 = M ) = 1. ¿Cuando retirarse del juego? ¿Cual es laprobabilidad de que el merenguero pierda todo su capıtal?¿Cual esel tiempo promedio que durara el juego?
16/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
Ejemplo (Merenguero)
En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p laprobabilidad de aguila, y de que el merenguero gane un peso, y Sn =lafortuna del merenguero despues de n volados, n ≥ 0. Sn ,n ≥ 0 es unacadena de Markov con matriz de transicion
P(Sn+1 = j |Sn = i) = Pi,j =
1, si i , j = 0p si 0 < i < N + M , j = i + 11− p si 0 < i < N + M , j = i − 11 si i , j = N + M0 en otro caso
y ley inicial P(S0 = M ) = 1.
¿Cuando retirarse del juego? ¿Cual es laprobabilidad de que el merenguero pierda todo su capıtal?¿Cual esel tiempo promedio que durara el juego?
16/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
Ejemplo (Merenguero)
En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p laprobabilidad de aguila, y de que el merenguero gane un peso, y Sn =lafortuna del merenguero despues de n volados, n ≥ 0. Sn ,n ≥ 0 es unacadena de Markov con matriz de transicion
P(Sn+1 = j |Sn = i) = Pi,j =
1, si i , j = 0p si 0 < i < N + M , j = i + 11− p si 0 < i < N + M , j = i − 11 si i , j = N + M0 en otro caso
y ley inicial P(S0 = M ) = 1. ¿Cuando retirarse del juego? ¿Cual es laprobabilidad de que el merenguero pierda todo su capıtal?¿Cual esel tiempo promedio que durara el juego?
17/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
LemaSea Sn ,n ≥ 0 una caminata aleatoria simple en 0, 1, . . . ,N , conbarreras absorbentes en 0 y N ; Pi,i+1 = p y q = Pi,i−1 = 1− p,0 < i < N , P0,0 = 1 = PN ,N . Se tiene que
P(Caminata absorbida en 0|S0 = j ) =
( q
p )j−( qp )N
1−( qp )N , si p 6= q
N−jN , si p = q = 1/2.
Si T es el tiempo de absorcion en 0,N , T = infn ≥ 0 : Sn ∈ 0,N entonces
E (T |S0 = j ) =
jq−p −
Nq−p
1−( qp )j
1−( qp )N , si p 6= q
j (N − j ), si p = q = 1/2.
18/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
Demostracion: Tecnica del primer paso
h(j ) = P(Caminata absorbida en 0|S0 = j ) es solucion al sistema deecuaciones lineales
h(j ) = ph(j + 1) + qh(j − 1), 0 < j < N , h(0) = 1, h(N ) = 0.
L(j ) = E (T |S0 = j ) , es solucion al sistema de ecuaciones lineales
L(0) = 0 = L(N ), L(j ) = 1 +pL(j + 1) + qL(j −1), 0 < j < N .
19/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
Caminatas aleatorias en Zd
S0 ∈ Zd , (Yi , i ≥ 1) v.a.i.i.d. toman en Zd , y son independientes de S0.Al proceso estocastico (Sn ,n ≥ 0)
Sn+1 = Sn + Yn+1, n ≥ 0,
se le llama caminata aleatoria.
En Z2 se ve
19/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
Caminatas aleatorias en Zd
S0 ∈ Zd , (Yi , i ≥ 1) v.a.i.i.d. toman en Zd , y son independientes de S0.Al proceso estocastico (Sn ,n ≥ 0)
Sn+1 = Sn + Yn+1, n ≥ 0,
se le llama caminata aleatoria. En Z2 se ve
20/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
En Z3,
mientras que en Londres se ve como
20/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
En Z3, mientras que en Londres se ve como
21/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
Ejemplo (La cadena de Ehrenfest)
T. Ehrenfest describio un experimento con 2 urnas, A y B , dentro de lascuales estan distribuidas N moleculas. En cada paso del experimento, seescoge al azar una y solo una molecula, esta es removida de la urna en lacual se encuentra y es colocada en la otra urna. El proceso estocasticoXn ,n ∈ N definido por
Xn = #moleculas presentes en la urna A al instante n, n ∈ N,
es una cadena de Markov y su espacio de estados 0, 1, 2, . . . ,N .¿Cuales son las probabilidades de transicion? Se tiene que
P0,j =
1 si j = 1,0 en otro caso
PN ,j =
1 j = N − 1,0 en otro caso,
Pi,j =
0, si|i − j | > 1,iN si j = i − 1,N−iN si j = i + 1,
0 si i = j .
, para i ∈ 1, 2, . . . ,N − 1.
21/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
Ejemplo (La cadena de Ehrenfest)
T. Ehrenfest describio un experimento con 2 urnas, A y B , dentro de lascuales estan distribuidas N moleculas. En cada paso del experimento, seescoge al azar una y solo una molecula, esta es removida de la urna en lacual se encuentra y es colocada en la otra urna. El proceso estocasticoXn ,n ∈ N definido por
Xn = #moleculas presentes en la urna A al instante n, n ∈ N,
es una cadena de Markov y su espacio de estados 0, 1, 2, . . . ,N .
¿Cuales son las probabilidades de transicion? Se tiene que
P0,j =
1 si j = 1,0 en otro caso
PN ,j =
1 j = N − 1,0 en otro caso,
Pi,j =
0, si|i − j | > 1,iN si j = i − 1,N−iN si j = i + 1,
0 si i = j .
, para i ∈ 1, 2, . . . ,N − 1.
21/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
Ejemplo (La cadena de Ehrenfest)
T. Ehrenfest describio un experimento con 2 urnas, A y B , dentro de lascuales estan distribuidas N moleculas. En cada paso del experimento, seescoge al azar una y solo una molecula, esta es removida de la urna en lacual se encuentra y es colocada en la otra urna. El proceso estocasticoXn ,n ∈ N definido por
Xn = #moleculas presentes en la urna A al instante n, n ∈ N,
es una cadena de Markov y su espacio de estados 0, 1, 2, . . . ,N .¿Cuales son las probabilidades de transicion?
Se tiene que
P0,j =
1 si j = 1,0 en otro caso
PN ,j =
1 j = N − 1,0 en otro caso,
Pi,j =
0, si|i − j | > 1,iN si j = i − 1,N−iN si j = i + 1,
0 si i = j .
, para i ∈ 1, 2, . . . ,N − 1.
21/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Ejemplos de matrices de transicion
Ejemplo (La cadena de Ehrenfest)
T. Ehrenfest describio un experimento con 2 urnas, A y B , dentro de lascuales estan distribuidas N moleculas. En cada paso del experimento, seescoge al azar una y solo una molecula, esta es removida de la urna en lacual se encuentra y es colocada en la otra urna. El proceso estocasticoXn ,n ∈ N definido por
Xn = #moleculas presentes en la urna A al instante n, n ∈ N,
es una cadena de Markov y su espacio de estados 0, 1, 2, . . . ,N .¿Cuales son las probabilidades de transicion? Se tiene que
P0,j =
1 si j = 1,0 en otro caso
PN ,j =
1 j = N − 1,0 en otro caso,
Pi,j =
0, si|i − j | > 1,iN si j = i − 1,N−iN si j = i + 1,
0 si i = j .
, para i ∈ 1, 2, . . . ,N − 1.
22/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Recurrencia aleatoria y simulacion
Recurrencia aleatoria y simulacion
Sean X0 es una variable aleatoria que toma valores en E ,Yn : Ω→ S ,n ∈ N, una sucesion de variables aleatoriasindependientes entre si y de X0 y F : E × S → E . En general, cualquierfenomeno descrito por una relacion en recurrencia aleatoria de la forma
Xn+1 = F (Xn ,Yn+1), n ∈ N,
es una cadena de Markov.
23/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Recurrencia aleatoria y simulacion
Toda cadena de Markov con espacio de estados finito se puede simularusando esto. Sea Xn ,n ≥ 0 una cadena de Markov (π,P) y
E = 0, 1, . . . ,M . El proceso estocastico definido mediante X0 ∼ X0,
Xn+1 = F (Xn ,Yn+1),
para n ≥ 0,
con F : E × [0, 1]→ E , definida como x ∈ E , z ∈ [0, 1],
F (x , z ) = mini ∈ E :i∑
j=0
Px ,j > z,
y Yi ∼ Uniforme[0, 1], tiene la misma distribucion que
X = (Xn ,n ≥ 0)
.
Las probabilidades de transicion de X estan dadas por
P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)
= P
(l−1∑j=0
Px ,j ≤ Yn+1 <
l∑j=0
Px ,j
)= Px ,l .
23/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Recurrencia aleatoria y simulacion
Toda cadena de Markov con espacio de estados finito se puede simularusando esto. Sea Xn ,n ≥ 0 una cadena de Markov (π,P) y
E = 0, 1, . . . ,M . El proceso estocastico definido mediante X0 ∼ X0,
Xn+1 = F (Xn ,Yn+1),
para n ≥ 0, con F : E × [0, 1]→ E , definida como x ∈ E , z ∈ [0, 1],
F (x , z ) = mini ∈ E :i∑
j=0
Px ,j > z,
y Yi ∼ Uniforme[0, 1], tiene la misma distribucion que
X = (Xn ,n ≥ 0).
Las probabilidades de transicion de X estan dadas por
P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)
= P
(l−1∑j=0
Px ,j ≤ Yn+1 <
l∑j=0
Px ,j
)= Px ,l .
23/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Recurrencia aleatoria y simulacion
Toda cadena de Markov con espacio de estados finito se puede simularusando esto. Sea Xn ,n ≥ 0 una cadena de Markov (π,P) y
E = 0, 1, . . . ,M . El proceso estocastico definido mediante X0 ∼ X0,
Xn+1 = F (Xn ,Yn+1),
para n ≥ 0, con F : E × [0, 1]→ E , definida como x ∈ E , z ∈ [0, 1],
F (x , z ) = mini ∈ E :i∑
j=0
Px ,j > z,
y Yi ∼ Uniforme[0, 1], tiene la misma distribucion que
X = (Xn ,n ≥ 0). Las probabilidades de transicion de X estan dadas por
P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)
= P
(l−1∑j=0
Px ,j ≤ Yn+1 <
l∑j=0
Px ,j
)= Px ,l .
24/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Probabilidades de Trayectorias
• La probabilidad de que una cadena de Markov siga la trayectoriax0, x1, . . . , xn esta dada por
P(X0 = x0,X1 = x1, . . . ,Xn = xn)= P(X0 = x0) Px0,x1 Px1,x2 · · ·Pxn−1,xn
.
¿Como se justifica esta identidad?
• Si A ⊆ En+1 es tal que
A = ∪(x0,x1,...,xn)∈Ax0, x1, . . . , xn
entonces
P ((X0,X1, . . . ,Xn) ∈ A)
=∑
(x0,x1,...,xn)∈A
P(X0 = x0) Px0,x1 Px1,x2 · · ·Pxn−1,xn.
24/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Probabilidades de Trayectorias
• La probabilidad de que una cadena de Markov siga la trayectoriax0, x1, . . . , xn esta dada por
P(X0 = x0,X1 = x1, . . . ,Xn = xn)= P(X0 = x0) Px0,x1 Px1,x2 · · ·Pxn−1,xn
.
¿Como se justifica esta identidad?
• Si A ⊆ En+1 es tal que
A = ∪(x0,x1,...,xn)∈Ax0, x1, . . . , xn
entonces
P ((X0,X1, . . . ,Xn) ∈ A)
=∑
(x0,x1,...,xn)∈A
P(X0 = x0) Px0,x1 Px1,x2 · · ·Pxn−1,xn.
25/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Inferencia para matrices de transicion
¿Como se estima la matriz de transicion?Usando verosimilitud.
P(X0 = x0,X1 = x1,X2 = x2, . . . ,Xn = xn)
= P(X0 = x0)Px0,x1Px1,x2 · · ·Pxn−1,xn = P(X0 = x0)∏
i,j∈E
Pn∗i,ji,j ,
donde n∗i,j = #transiciones de i a j en la sucesion x0, x1, x2, . . . , xn.
Se debe maximizar en (Pi,j , i , j ∈ E , λa , a ∈ E ), la funcion∑i,j∈E
n∗i,j log Pi,j +∑i∈E
λi(1−∑j∈E
Pi,j ).
Derivando e igualando a ceron∗a,bPa,b
− λa = 0 ⇐⇒ Pa,b =n∗a,bλa
, a, b ∈ E . Usando la restriccion∑j∈E Pa,j = 1 y definiendo n∗a :=
∑j∈E n∗a,j , se ve que el EMV es
Pa,b =n∗a,bn∗a
, a, b ∈ E .
25/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Inferencia para matrices de transicion
¿Como se estima la matriz de transicion?Usando verosimilitud.
P(X0 = x0,X1 = x1,X2 = x2, . . . ,Xn = xn)
= P(X0 = x0)Px0,x1Px1,x2 · · ·Pxn−1,xn = P(X0 = x0)∏
i,j∈E
Pn∗i,ji,j ,
donde n∗i,j = #transiciones de i a j en la sucesion x0, x1, x2, . . . , xn.Se debe maximizar en (Pi,j , i , j ∈ E , λa , a ∈ E ), la funcion∑
i,j∈E
n∗i,j log Pi,j +∑i∈E
λi(1−∑j∈E
Pi,j ).
Derivando e igualando a ceron∗a,bPa,b
− λa = 0 ⇐⇒ Pa,b =n∗a,bλa
, a, b ∈ E . Usando la restriccion∑j∈E Pa,j = 1 y definiendo n∗a :=
∑j∈E n∗a,j , se ve que el EMV es
Pa,b =n∗a,bn∗a
, a, b ∈ E .
25/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Inferencia para matrices de transicion
¿Como se estima la matriz de transicion?Usando verosimilitud.
P(X0 = x0,X1 = x1,X2 = x2, . . . ,Xn = xn)
= P(X0 = x0)Px0,x1Px1,x2 · · ·Pxn−1,xn = P(X0 = x0)∏
i,j∈E
Pn∗i,ji,j ,
donde n∗i,j = #transiciones de i a j en la sucesion x0, x1, x2, . . . , xn.Se debe maximizar en (Pi,j , i , j ∈ E , λa , a ∈ E ), la funcion∑
i,j∈E
n∗i,j log Pi,j +∑i∈E
λi(1−∑j∈E
Pi,j ).
Derivando e igualando a ceron∗a,bPa,b
− λa = 0 ⇐⇒ Pa,b =n∗a,bλa
, a, b ∈ E . Usando la restriccion∑j∈E Pa,j = 1 y definiendo n∗a :=
∑j∈E n∗a,j , se ve que el EMV es
Pa,b =n∗a,bn∗a
, a, b ∈ E .
26/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Inferencia para matrices de transicion
Ejemplo (Pesquerıas)
En Karnataka, costa oeste de India, se pesca principalmente lo que seencuentra en las capas superiores del mar abierto: Sardina (A), Mackerel(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es laespecie dominante.
Se tiene evidencia estadıstica de que la predominancia de especies en untrimestre solo depende del trimestre anterior.Xn =especie dominante el trimestre n, Xn ∈ A,B ,C ,D. Xn ,n ≥ 0es una cadena de Markov.Usando muestreos realizados entre 1961 y 2003 y el EMV de lasprobabilidades de transicion se obtuvo
P =
A B C D
A 0.6786 0.22619 0.0238 0.0714B 0.2879 0.5606 0.1212 0.0303C 0.3333 0.3889 0.2778 0D 0.25 0.375 0.375 0
.
Solamente puede ser usado para estudiar lo ocurrido en el periodomuestreado mas no para predecir.
26/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Inferencia para matrices de transicion
Ejemplo (Pesquerıas)
En Karnataka, costa oeste de India, se pesca principalmente lo que seencuentra en las capas superiores del mar abierto: Sardina (A), Mackerel(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es laespecie dominante.Se tiene evidencia estadıstica de que la predominancia de especies en untrimestre solo depende del trimestre anterior.
Xn =especie dominante el trimestre n, Xn ∈ A,B ,C ,D. Xn ,n ≥ 0es una cadena de Markov.Usando muestreos realizados entre 1961 y 2003 y el EMV de lasprobabilidades de transicion se obtuvo
P =
A B C D
A 0.6786 0.22619 0.0238 0.0714B 0.2879 0.5606 0.1212 0.0303C 0.3333 0.3889 0.2778 0D 0.25 0.375 0.375 0
.
Solamente puede ser usado para estudiar lo ocurrido en el periodomuestreado mas no para predecir.
26/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Inferencia para matrices de transicion
Ejemplo (Pesquerıas)
En Karnataka, costa oeste de India, se pesca principalmente lo que seencuentra en las capas superiores del mar abierto: Sardina (A), Mackerel(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es laespecie dominante.Se tiene evidencia estadıstica de que la predominancia de especies en untrimestre solo depende del trimestre anterior.Xn =especie dominante el trimestre n, Xn ∈ A,B ,C ,D. Xn ,n ≥ 0es una cadena de Markov.
Usando muestreos realizados entre 1961 y 2003 y el EMV de lasprobabilidades de transicion se obtuvo
P =
A B C D
A 0.6786 0.22619 0.0238 0.0714B 0.2879 0.5606 0.1212 0.0303C 0.3333 0.3889 0.2778 0D 0.25 0.375 0.375 0
.
Solamente puede ser usado para estudiar lo ocurrido en el periodomuestreado mas no para predecir.
26/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Inferencia para matrices de transicion
Ejemplo (Pesquerıas)
En Karnataka, costa oeste de India, se pesca principalmente lo que seencuentra en las capas superiores del mar abierto: Sardina (A), Mackerel(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es laespecie dominante.Se tiene evidencia estadıstica de que la predominancia de especies en untrimestre solo depende del trimestre anterior.Xn =especie dominante el trimestre n, Xn ∈ A,B ,C ,D. Xn ,n ≥ 0es una cadena de Markov.Usando muestreos realizados entre 1961 y 2003 y el EMV de lasprobabilidades de transicion se obtuvo
P =
A B C D
A 0.6786 0.22619 0.0238 0.0714B 0.2879 0.5606 0.1212 0.0303C 0.3333 0.3889 0.2778 0D 0.25 0.375 0.375 0
.
Solamente puede ser usado para estudiar lo ocurrido en el periodomuestreado mas no para predecir.
26/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Nociones basicas de cadenas de Markov
Inferencia para matrices de transicion
Ejemplo (Pesquerıas)
En Karnataka, costa oeste de India, se pesca principalmente lo que seencuentra en las capas superiores del mar abierto: Sardina (A), Mackerel(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es laespecie dominante.Se tiene evidencia estadıstica de que la predominancia de especies en untrimestre solo depende del trimestre anterior.Xn =especie dominante el trimestre n, Xn ∈ A,B ,C ,D. Xn ,n ≥ 0es una cadena de Markov.Usando muestreos realizados entre 1961 y 2003 y el EMV de lasprobabilidades de transicion se obtuvo
P =
A B C D
A 0.6786 0.22619 0.0238 0.0714B 0.2879 0.5606 0.1212 0.0303C 0.3333 0.3889 0.2778 0D 0.25 0.375 0.375 0
.
Solamente puede ser usado para estudiar lo ocurrido en el periodomuestreado mas no para predecir.
27/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
• Para x , y ∈ E se define a P(0)x ,y como
P(0)x ,y = δx ,y =
1 si x = y0 si x 6= y
.
A la funcion δ·,· se le conoce como la delta de Kronecker. A lamatriz cuyas entradas estan dadas por δx ,y , x , y ∈ E se ledenotara por I .
• Para m ≥ 1 y para x , y ∈ E denotaremos por P(m)x ,y a la probabilidad
de ir del estado x al estado y en m pasos, es decir
P(m)x ,y = P (Xn+m = y |Xn = x ) , para n ≥ 0.
27/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
• Para x , y ∈ E se define a P(0)x ,y como
P(0)x ,y = δx ,y =
1 si x = y0 si x 6= y
.
A la funcion δ·,· se le conoce como la delta de Kronecker. A lamatriz cuyas entradas estan dadas por δx ,y , x , y ∈ E se ledenotara por I .
• Para m ≥ 1 y para x , y ∈ E denotaremos por P(m)x ,y a la probabilidad
de ir del estado x al estado y en m pasos, es decir
P(m)x ,y = P (Xn+m = y |Xn = x ) , para n ≥ 0.
28/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Se dice que un vector λi , i ∈ E, es un vector de probabilidad si∑i∈E λi = 1. El producto de dos matrices estocasticas se define como
ABx ,y =∑z∈E
Ax ,zBz ,y ,
y la de una matriz estocastica A y un vector de probabilidad λ como
λAy =∑x∈E
λxAx ,y .
El producto de dos matrices estocasticas es una matriz estocasticay el producto por la izquierda de un vector de probabilidad con unamatriz estocastica es un vector de probabilidad
28/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Se dice que un vector λi , i ∈ E, es un vector de probabilidad si∑i∈E λi = 1. El producto de dos matrices estocasticas se define como
ABx ,y =∑z∈E
Ax ,zBz ,y ,
y la de una matriz estocastica A y un vector de probabilidad λ como
λAy =∑x∈E
λxAx ,y .
El producto de dos matrices estocasticas es una matriz estocasticay el producto por la izquierda de un vector de probabilidad con unamatriz estocastica es un vector de probabilidad
29/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Proposicion (Ecuaciones de Chapman-Kolmogorov)
Sea Xn ,n ∈ N una cadena de Markov con matriz de transicion P yvector de probabilidad inicial π(x ) = P(X0 = x ), x ∈ E . Se tiene que
P(Xn = y |X0 = x ) = P(n)x ,y =
∑z∈E
P(s)x ,z P(r)
z ,y , ∀n ∈ N ∀x , y ∈ E ,
donde r , s son cualesquiera dos enteros tales que r + s = n. En
particular, la matriz P (n)x ,y , (x , y) ∈ E × E es la n-esima potencia de la
matriz P . Ademas,P(Xn = y) = πP(n)
y .
30/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La probabilidad de que en el intervalo [m,m + n] la cadena realice latrayectoria xm , xm+1, . . . , xm+n esta dada por
P(Xm = xm ,Xm+1 = xm+1, . . . ,Xm+n = xm+n)= P(Xm+1 = xm+1, . . . ,Xm+n = xm+n |Xm = xm) P(Xm = xm)= P(Xm = xm) Pxm ,xm+1 Pxm+1,xm+2 · · ·Pxm+n−1,xm+n
= πP(m)xm︸ ︷︷ ︸
ir del estado inicial a xm
Pxm ,xm+1 Pxm+1,xm+2 · · ·Pxm+n−1,xm+n︸ ︷︷ ︸realizar la trayectoria xm , xm+1, . . . xm+n
31/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Un ejemplo menos simple pero mas interesante es: la probabilidad delevento “X visita el estado x en el instante k por la primera vez” estadada por
P (X visita el estado x en el instante k por la primera vez)
=∑
x0,x1,...,xk−1∈E\x
P(X0 = x0,X1 = x1, . . . ,Xk−1 = xk−1,Xk = x )
=∑
x0,x1,...,xk−1∈E\x
π(x0) Px0,x1 Px1,x2 · · ·Pxk−1,x .
32/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
Cadena con dos estados
Sea Xn ,n ≥ 0 una cadena de Markov con dos estados E = 0, 1, ymatriz de transicion dada por(
1− α αβ 1− β
),
para algunos α, β ∈ [0, 1], tales que 0 < α+ β < 2.
¿Cual es el valor dela probabilidad de ir de un estado a otro en n-pasos? La ecuacion deChapman-Kolmogorov implica
P(Xn = 0|X0 = 0) = P(n)0,0 , n ≥ 1.
32/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
Cadena con dos estados
Sea Xn ,n ≥ 0 una cadena de Markov con dos estados E = 0, 1, ymatriz de transicion dada por(
1− α αβ 1− β
),
para algunos α, β ∈ [0, 1], tales que 0 < α+ β < 2. ¿Cual es el valor dela probabilidad de ir de un estado a otro en n-pasos?
La ecuacion deChapman-Kolmogorov implica
P(Xn = 0|X0 = 0) = P(n)0,0 , n ≥ 1.
32/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
Cadena con dos estados
Sea Xn ,n ≥ 0 una cadena de Markov con dos estados E = 0, 1, ymatriz de transicion dada por(
1− α αβ 1− β
),
para algunos α, β ∈ [0, 1], tales que 0 < α+ β < 2. ¿Cual es el valor dela probabilidad de ir de un estado a otro en n-pasos? La ecuacion deChapman-Kolmogorov implica
P(Xn = 0|X0 = 0) = P(n)0,0 , n ≥ 1.
33/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
Se tiene que P(0)(0,0) = 1, y para n ≥ 0,
P(n+1)(0,0) =
(P(n)×P
)(0,0)
= (1− α) P(n)(0,0) +βP(n)
(0,1) condicionando % posicion al tiempo n,
= (1− α) P(n)(0,0) +β(1−P(n)
(0,0)) P(n)(0,0) + P(n)
(0,1) = 1
= (1− α− β) P(n)(0,0) +β;
Se verifica mediante induccion que
P(n)(0,0) =
β
α+ β+
α
α+ β(1− α− β)n , n ∈ 1, 2, 3, . . .
Y por lo tanto
P(n)(0,1) =
α
α+ β− α
α+ β(1− α− β)n , n ∈ 1, 2, 3, . . .
33/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
Se tiene que P(0)(0,0) = 1, y para n ≥ 0,
P(n+1)(0,0) =
(P(n)×P
)(0,0)
= (1− α) P(n)(0,0) +βP(n)
(0,1) condicionando % posicion al tiempo n,
= (1− α) P(n)(0,0) +β(1−P(n)
(0,0)) P(n)(0,0) + P(n)
(0,1) = 1
= (1− α− β) P(n)(0,0) +β;
Se verifica mediante induccion que
P(n)(0,0) =
β
α+ β+
α
α+ β(1− α− β)n , n ∈ 1, 2, 3, . . .
Y por lo tanto
P(n)(0,1) =
α
α+ β− α
α+ β(1− α− β)n , n ∈ 1, 2, 3, . . .
33/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
Se tiene que P(0)(0,0) = 1, y para n ≥ 0,
P(n+1)(0,0) =
(P(n)×P
)(0,0)
= (1− α) P(n)(0,0) +βP(n)
(0,1) condicionando % posicion al tiempo n,
= (1− α) P(n)(0,0) +β(1−P(n)
(0,0)) P(n)(0,0) + P(n)
(0,1) = 1
= (1− α− β) P(n)(0,0) +β;
Se verifica mediante induccion que
P(n)(0,0) =
β
α+ β+
α
α+ β(1− α− β)n , n ∈ 1, 2, 3, . . .
Y por lo tanto
P(n)(0,1) =
α
α+ β− α
α+ β(1− α− β)n , n ∈ 1, 2, 3, . . .
34/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
Por simetrıa,
P(n)(1,1) =
α
α+ β+
β
α+ β(1− α− β)n ,
P(n)(1,0) =
β
α+ β− β
α+ β(1− α− β)n , n ∈ 2, 3, . . .
En resumen,
P(n) =1
α+ β
(β αβ α
)+
(1− α− β)n
α+ β
(α −α−β β
).
Se tiene que −1 < 1− α− β < 1, y por lo tanto para n suficientementegrande
P(n) ∼
(β
α+βα
α+ββ
α+βα
α+β
).
Es decir que para i = 0, 1
limn→∞
P(Xn = 0|X0 = i) =β
α+ β, lim
n→∞P(Xn = 1|X0 = i) =
α
α+ β
34/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
Por simetrıa,
P(n)(1,1) =
α
α+ β+
β
α+ β(1− α− β)n ,
P(n)(1,0) =
β
α+ β− β
α+ β(1− α− β)n , n ∈ 2, 3, . . .
En resumen,
P(n) =1
α+ β
(β αβ α
)+
(1− α− β)n
α+ β
(α −α−β β
).
Se tiene que −1 < 1− α− β < 1, y por lo tanto para n suficientementegrande
P(n) ∼
(β
α+βα
α+ββ
α+βα
α+β
).
Es decir que para i = 0, 1
limn→∞
P(Xn = 0|X0 = i) =β
α+ β, lim
n→∞P(Xn = 1|X0 = i) =
α
α+ β
34/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
Por simetrıa,
P(n)(1,1) =
α
α+ β+
β
α+ β(1− α− β)n ,
P(n)(1,0) =
β
α+ β− β
α+ β(1− α− β)n , n ∈ 2, 3, . . .
En resumen,
P(n) =1
α+ β
(β αβ α
)+
(1− α− β)n
α+ β
(α −α−β β
).
Se tiene que −1 < 1− α− β < 1, y por lo tanto para n suficientementegrande
P(n) ∼
(β
α+βα
α+ββ
α+βα
α+β
).
Es decir que para i = 0, 1
limn→∞
P(Xn = 0|X0 = i) =β
α+ β, lim
n→∞P(Xn = 1|X0 = i) =
α
α+ β
34/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
Por simetrıa,
P(n)(1,1) =
α
α+ β+
β
α+ β(1− α− β)n ,
P(n)(1,0) =
β
α+ β− β
α+ β(1− α− β)n , n ∈ 2, 3, . . .
En resumen,
P(n) =1
α+ β
(β αβ α
)+
(1− α− β)n
α+ β
(α −α−β β
).
Se tiene que −1 < 1− α− β < 1, y por lo tanto para n suficientementegrande
P(n) ∼
(β
α+βα
α+ββ
α+βα
α+β
).
Es decir que para i = 0, 1
limn→∞
P(Xn = 0|X0 = i) =β
α+ β, lim
n→∞P(Xn = 1|X0 = i) =
α
α+ β
35/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
El lımite de P(n) es una matriz de transicion cuyos renglones son igualesal vector el vector λ := (λ0, λ1) definido por
λ0 =β
α+ β, λ1 =
α
α+ β.
Ademas, λ satisface el sistema de ecuaciones λP = λ,
(λ0, λ1)(
1− α αβ 1− β
)= (λ0, λ1)
y λ0 + λ1 = 1. Se dice que λ es un vector de probabilidad invariante.Teorema En general, si E es finito y ∃x ∈ E para el cual
limn→∞
P(n)x ,y := λ(y), ∀y ∈ E ,
entonces λ = (λ(z ))z∈E es un vector de probabilidad tal que λP = λ.
35/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
El lımite de P(n) es una matriz de transicion cuyos renglones son igualesal vector el vector λ := (λ0, λ1) definido por
λ0 =β
α+ β, λ1 =
α
α+ β.
Ademas, λ satisface el sistema de ecuaciones λP = λ,
(λ0, λ1)(
1− α αβ 1− β
)= (λ0, λ1)
y λ0 + λ1 = 1. Se dice que λ es un vector de probabilidad invariante.
Teorema En general, si E es finito y ∃x ∈ E para el cual
limn→∞
P(n)x ,y := λ(y), ∀y ∈ E ,
entonces λ = (λ(z ))z∈E es un vector de probabilidad tal que λP = λ.
35/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados
El lımite de P(n) es una matriz de transicion cuyos renglones son igualesal vector el vector λ := (λ0, λ1) definido por
λ0 =β
α+ β, λ1 =
α
α+ β.
Ademas, λ satisface el sistema de ecuaciones λP = λ,
(λ0, λ1)(
1− α αβ 1− β
)= (λ0, λ1)
y λ0 + λ1 = 1. Se dice que λ es un vector de probabilidad invariante.Teorema En general, si E es finito y ∃x ∈ E para el cual
limn→∞
P(n)x ,y := λ(y), ∀y ∈ E ,
entonces λ = (λ(z ))z∈E es un vector de probabilidad tal que λP = λ.
36/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest
La cadena de Ehrenfest
Supongamos que en el modelo de Ehrenfest se tienen 4 partıculas, esto esN = 4 y se tiene que P esta dada por
P =
0 1 0 0 014 0 3
4 0 00 2
4 0 24 0
0 0 34 0 1
40 0 0 1 0
.
En un numero par (respectivamente, impar) de pasos solo podemosmovernos entre estados que se encuentran a distancia par(respectivamente, impar), por ejemplo, sı empezamos en 2 en un numeropar de pasos solo podemos movernos a los estados 0, 2, y 4.
36/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest
La cadena de Ehrenfest
Supongamos que en el modelo de Ehrenfest se tienen 4 partıculas, esto esN = 4 y se tiene que P esta dada por
P =
0 1 0 0 014 0 3
4 0 00 2
4 0 24 0
0 0 34 0 1
40 0 0 1 0
.
En un numero par (respectivamente, impar) de pasos solo podemosmovernos entre estados que se encuentran a distancia par(respectivamente, impar), por ejemplo, sı empezamos en 2 en un numeropar de pasos solo podemos movernos a los estados 0, 2, y 4.
37/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest
Se intuye un comportamiento periodico
P(2) =
0.25 0 0.75 0 0
0 0.625 0 0.375 00.125 0 0.75 0 0.125
0 0.375 0 0.625 00 0 0.75 0 0.250
En general, para k ≥ 1,
P(2k) =
+ 0 + 0 +0 + 0 + 0+ 0 + 0 +0 + 0 + 0+ 0 + 0 +
P(2k+1) =
0 + 0 + 0+ 0 + 0 +0 + 0 + 0+ 0 + 0 +0 + 0 + 0
38/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest
P(128) =
0.06666667 0 0.6666667 0 0.2666667
0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667
0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667
P(129) =
0 0.4 0 0.6 0
0.08333333 0 0.75 0 0.16666670 0.4 0 0.6 0
0.08333333 0.0 0.75 0 0.16666670 0.4 0 0.6 0
.
Las potencias pares de P mayores de 128 son iguales a P(128) y lasimpares a P(129).No puede haber un lımite de la matriz de transicion.
38/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest
P(128) =
0.06666667 0 0.6666667 0 0.2666667
0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667
0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667
P(129) =
0 0.4 0 0.6 0
0.08333333 0 0.75 0 0.16666670 0.4 0 0.6 0
0.08333333 0.0 0.75 0 0.16666670 0.4 0 0.6 0
.
Las potencias pares de P mayores de 128 son iguales a P(128) y lasimpares a P(129).
No puede haber un lımite de la matriz de transicion.
38/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest
P(128) =
0.06666667 0 0.6666667 0 0.2666667
0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667
0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667
P(129) =
0 0.4 0 0.6 0
0.08333333 0 0.75 0 0.16666670 0.4 0 0.6 0
0.08333333 0.0 0.75 0 0.16666670 0.4 0 0.6 0
.
Las potencias pares de P mayores de 128 son iguales a P(128) y lasimpares a P(129).No puede haber un lımite de la matriz de transicion.
39/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Comunicacion
TeoremaPara cualesquiera x , y ∈ E , se tiene que las siguientes afirmaciones sonequivalentes:
(i) Del estado x se puede acceder al estado y , x → y , i.e. ∃n ≥ 0,P (n)
x ,y > 0,(ii) Px ,x1 Px1,x2 ·Pxn−2,xn−1 Pxn−1,y > 0, para algunos
x1, . . . , xn−1 ∈ E ; o dicho de otro modo, con probabilidad positivaexiste una trayectoria que lleva de x a y .
(iii) P(Xn = y para algun n ≥ 1|X0 = x ) > 0.
40/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Recurrencia y Transitoriedad
DefinicionPara x ∈ E , definimos Tx = infn ≥ 1 : Xn = x, el primer tiempo deentrada a x .
Diremos que un estado x ∈ E es recurrente si
P(Tx <∞|X0 = x ) = P(Xn = x para algun n ≥ 1|X0 = x ) = 1.
Diremos que un estado x ∈ E es transitorio si
P(Tx <∞|X0 = x ) = P(Xn = x para algun n ≥ 1|X0 = x ) < 1.
41/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Recurrencia y Transitoriedad
Proposicion
Si x es recurrente
P(Xn = x para una infinidad de n’s |X0 = x ) = 1
Si x es transitorio
P(Xn = x para una infinidad de n’s |X0 = x ) = 0.
Sean ρx = P(Tx <∞|X0 = x ) y Nx la variable aleatoria que cuentael numero total de visitas al estado x . Se tiene que Nx sigue una leygeometrica, es decir que
P(Nx = k |X0 = x ) = (ρx )k−1 (1− ρx ), k ≥ 1.
42/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Sea N yn el numero de visitas al estado y en n pasos.
Teorema (Ley fuerte)
Para y ∈ E estado transitorio N yn <∞ con probabilidad 1.
Para y ∈ E estado recurrente,
limn→∞
1n
N yn =
1Ty<∞
E(Ty |X0 = y), con probabilidad 1.
y
limn→∞
1n
E (N yn |X0 = x ) =
P(Ty <∞|X0 = x )E(Ty |X0 = y)
, ∀x ∈ E .
Si E es finito e irreducible entonces el vector
π(y) =1
E(Ty |X0 = y), x ∈ E ,
es el unico vector de probabilidad invariante.
42/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Sea N yn el numero de visitas al estado y en n pasos.
Teorema (Ley fuerte)
Para y ∈ E estado transitorio N yn <∞ con probabilidad 1.
Para y ∈ E estado recurrente,
limn→∞
1n
N yn =
1Ty<∞
E(Ty |X0 = y), con probabilidad 1.
y
limn→∞
1n
E (N yn |X0 = x ) =
P(Ty <∞|X0 = x )E(Ty |X0 = y)
, ∀x ∈ E .
Si E es finito e irreducible entonces el vector
π(y) =1
E(Ty |X0 = y), x ∈ E ,
es el unico vector de probabilidad invariante.
42/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Sea N yn el numero de visitas al estado y en n pasos.
Teorema (Ley fuerte)
Para y ∈ E estado transitorio N yn <∞ con probabilidad 1.
Para y ∈ E estado recurrente,
limn→∞
1n
N yn =
1Ty<∞
E(Ty |X0 = y), con probabilidad 1.
y
limn→∞
1n
E (N yn |X0 = x ) =
P(Ty <∞|X0 = x )E(Ty |X0 = y)
, ∀x ∈ E .
Si E es finito e irreducible entonces el vector
π(y) =1
E(Ty |X0 = y), x ∈ E ,
es el unico vector de probabilidad invariante.
43/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
El sistema Bonus-Malus en el seguro de automoviles
En Hong Kong y en otros lugares del mundo, se usa un sistema para fijarlas primas de seguro de automovil conocido como Bonus-Malus queconsiste de 6 clases de tarificacion, de 1 fort bonus a 6 fort malus, que serige por las siguientes reglas:
si un asegurado no tuvo siniestros durante el periodo, entonces pasade la categorıa i a la categorıa max1, i − 1,si el asegurado tiene al menos un siniestro entonces pasa de lacategorıa i a la 6.
Si Xn denota la categorıa en cual se encuentra un individuo al n-esimoperiodo entonces Xn ,n ≥ 0 es una cadena de Markov con espacio deestados 1, 2, . . . , 6
44/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
La matriz de transicion asociada esta dada por
P =
p 0 0 0 0 1− pp 0 0 0 0 1− p0 p 0 0 0 1− p0 0 p 0 0 1− p0 0 0 p 0 1− p0 0 0 0 p 1− p
.
Si p ∈ (0, 1) el unico vector π = (π(1), π(2), . . . , π(6)) que es invariantepara la matriz P, es decir πP = π, y que satisface queπ(1) + π(2) + · · ·+ π(6) = 1, es el vector dado por
π(1) = p5, π(2) = p4(1− p), π(3) = p3(1− p),
π(4) = p2(1− p), π(5) = p(1− p), π(6) = (1− p).
44/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
La matriz de transicion asociada esta dada por
P =
p 0 0 0 0 1− pp 0 0 0 0 1− p0 p 0 0 0 1− p0 0 p 0 0 1− p0 0 0 p 0 1− p0 0 0 0 p 1− p
.
Si p ∈ (0, 1) el unico vector π = (π(1), π(2), . . . , π(6)) que es invariantepara la matriz P, es decir πP = π, y que satisface queπ(1) + π(2) + · · ·+ π(6) = 1, es el vector dado por
π(1) = p5, π(2) = p4(1− p), π(3) = p3(1− p),
π(4) = p2(1− p), π(5) = p(1− p), π(6) = (1− p).
45/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
¿Cual es la proporcion de tiempo que un cliente pasa en el estadoj despues de n pasos, n−1N j
n , dado que X0 = j?
Dado que la cadenaes irreducible y con espacio de estados finito
1n
N jn ∼ π(j ) =
1E(Tj |X0 = j )
,
con probabilidad 1.¿Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categorıa. ces una funcion definida en 1, 2, . . . , 6 no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:
1n
n∑j=1
c(Xj ),=6∑
j=1
c(j )N (n)
j
n∼
6∑j=1
π(j )c(j ),
con probabilidad 1.
45/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
¿Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n−1N j
n , dado que X0 = j ? Dado que la cadena esirreducible y con espacio de estados finito
1n
N jn ∼ π(j ) =
1E(Tj |X0 = j )
,
con probabilidad 1.
¿Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categorıa. ces una funcion definida en 1, 2, . . . , 6 no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:
1n
n∑j=1
c(Xj ),=6∑
j=1
c(j )N (n)
j
n∼
6∑j=1
π(j )c(j ),
con probabilidad 1.
45/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
¿Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n−1N j
n , dado que X0 = j ? Dado que la cadena esirreducible y con espacio de estados finito
1n
N jn ∼ π(j ) =
1E(Tj |X0 = j )
,
con probabilidad 1.¿Cual es la prima promedio que paga un asegurado?
Denotemos porc una funcion que determina la prima a pagar en funcion de la categorıa.c es una funcion definida en 1, 2, . . . , 6 no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:
1n
n∑j=1
c(Xj ),=6∑
j=1
c(j )N (n)
j
n∼
6∑j=1
π(j )c(j ),
con probabilidad 1.
45/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
¿Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n−1N j
n , dado que X0 = j ? Dado que la cadena esirreducible y con espacio de estados finito
1n
N jn ∼ π(j ) =
1E(Tj |X0 = j )
,
con probabilidad 1.¿Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categorıa. ces una funcion definida en 1, 2, . . . , 6 no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:
1n
n∑j=1
c(Xj ),=6∑
j=1
c(j )N (n)
j
n∼
6∑j=1
π(j )c(j ),
con probabilidad 1.
46/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Aplicacion a la Inferencia de matrices de transicion.Vimos que un EMV de la matriz de transicion es
Pi,j =#transiciones de i a j en n pasos
#transiciones que parten de i en n pasos=∑n
k=1 1(Xk−1,Xk )=(i,j )∑nk=0 1Xk=i
El proceso Yk = (Xk ,Xk+1), k ≥ 0 es tambien una cadena de Markovcon espacio de estados E ×E , y es recurrente si la cadena (Xk , k ≥ 0) loes.Si (π(x ), x ∈ E ) es vector de probabilidad invariante para Xk , k ≥ 0entonces π(x ,y) := π(x )Px ,y , con (x , y) ∈ E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k ≥ 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1∑n
k=1 1(Xk−1,Xk )=(i,j )
n−−−−→n→∞
πiPi,j , (i , j ) ∈ E 2.
Mas aun con probabilidad 1∑nk=0 1Xk=i
n + 1−−−−→n→∞
πi , i ∈ E .
46/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Aplicacion a la Inferencia de matrices de transicion.Vimos que un EMV de la matriz de transicion es
Pi,j =#transiciones de i a j en n pasos
#transiciones que parten de i en n pasos=∑n
k=1 1(Xk−1,Xk )=(i,j )∑nk=0 1Xk=i
El proceso Yk = (Xk ,Xk+1), k ≥ 0 es tambien una cadena de Markovcon espacio de estados E ×E , y es recurrente si la cadena (Xk , k ≥ 0) loes.
Si (π(x ), x ∈ E ) es vector de probabilidad invariante para Xk , k ≥ 0entonces π(x ,y) := π(x )Px ,y , con (x , y) ∈ E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k ≥ 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1∑n
k=1 1(Xk−1,Xk )=(i,j )
n−−−−→n→∞
πiPi,j , (i , j ) ∈ E 2.
Mas aun con probabilidad 1∑nk=0 1Xk=i
n + 1−−−−→n→∞
πi , i ∈ E .
46/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Aplicacion a la Inferencia de matrices de transicion.Vimos que un EMV de la matriz de transicion es
Pi,j =#transiciones de i a j en n pasos
#transiciones que parten de i en n pasos=∑n
k=1 1(Xk−1,Xk )=(i,j )∑nk=0 1Xk=i
El proceso Yk = (Xk ,Xk+1), k ≥ 0 es tambien una cadena de Markovcon espacio de estados E ×E , y es recurrente si la cadena (Xk , k ≥ 0) loes.Si (π(x ), x ∈ E ) es vector de probabilidad invariante para Xk , k ≥ 0entonces π(x ,y) := π(x )Px ,y , con (x , y) ∈ E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k ≥ 0).
Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1∑n
k=1 1(Xk−1,Xk )=(i,j )
n−−−−→n→∞
πiPi,j , (i , j ) ∈ E 2.
Mas aun con probabilidad 1∑nk=0 1Xk=i
n + 1−−−−→n→∞
πi , i ∈ E .
46/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Aplicacion a la Inferencia de matrices de transicion.Vimos que un EMV de la matriz de transicion es
Pi,j =#transiciones de i a j en n pasos
#transiciones que parten de i en n pasos=∑n
k=1 1(Xk−1,Xk )=(i,j )∑nk=0 1Xk=i
El proceso Yk = (Xk ,Xk+1), k ≥ 0 es tambien una cadena de Markovcon espacio de estados E ×E , y es recurrente si la cadena (Xk , k ≥ 0) loes.Si (π(x ), x ∈ E ) es vector de probabilidad invariante para Xk , k ≥ 0entonces π(x ,y) := π(x )Px ,y , con (x , y) ∈ E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k ≥ 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1∑n
k=1 1(Xk−1,Xk )=(i,j )
n−−−−→n→∞
πiPi,j , (i , j ) ∈ E 2.
Mas aun con probabilidad 1∑nk=0 1Xk=i
n + 1−−−−→n→∞
πi , i ∈ E .
47/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Por lo anterior, se tiene que el EMV de la probabilidad de transicion esfuertemente consistente, es decir que con probabilidad 1
Pi,j =#transiciones de i a j en n pasos
#transiciones que parten de i en n pasos−−−−→n→∞
Pi,j .
Es posible ver que el estimador es tambien asintoticamente normal y esposible construir intervalos de confianza.
47/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Por lo anterior, se tiene que el EMV de la probabilidad de transicion esfuertemente consistente, es decir que con probabilidad 1
Pi,j =#transiciones de i a j en n pasos
#transiciones que parten de i en n pasos−−−−→n→∞
Pi,j .
Es posible ver que el estimador es tambien asintoticamente normal y esposible construir intervalos de confianza.
48/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Teorema (Estacionaria)
Sea X = Xn ,n ≥ 0 una cadena de Markov con caracterısticas (λ,P) ysupongamos que λ es invariante para P . Entonces,
• para todo m ∈ N se tiene λP (m) = λ, es decir que
P(Xm = y) = λ(y), ∀y ∈ E ;
• la cadena de Markov X es estacionaria, es decir que para todom,n ∈ N se cumple que el vector (Xm+1, . . . ,Xm+n) tiene lamisma ley que (X1, . . . ,Xn) , esto es
P (Xm+1 = x1, . . . ,Xm+n = xn) = P (X1 = x1, . . . ,Xn = xn) ,
para todo x1, . . . , xn ∈ E .
48/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Teorema (Estacionaria)
Sea X = Xn ,n ≥ 0 una cadena de Markov con caracterısticas (λ,P) ysupongamos que λ es invariante para P . Entonces,
• para todo m ∈ N se tiene λP (m) = λ, es decir que
P(Xm = y) = λ(y), ∀y ∈ E ;
• la cadena de Markov X es estacionaria, es decir que para todom,n ∈ N se cumple que el vector (Xm+1, . . . ,Xm+n) tiene lamisma ley que (X1, . . . ,Xn) , esto es
P (Xm+1 = x1, . . . ,Xm+n = xn) = P (X1 = x1, . . . ,Xn = xn) ,
para todo x1, . . . , xn ∈ E .
49/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Es inmediato que 0 ≤ π(y) ≤ 1, para todo y ∈ E pues esto se vale para
las potencia de la matriz de transicion P , 0 ≤ P (n)x ,y ≤ 1, para todo n ≥ 1
y x , y ∈ E .
Es un vector de probabilidad:∑y∈E
π(y) =∑y∈E
limn→∞
P (n)x ,y = lim
n→∞
∑y∈E
P (n)x ,y = 1.
Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos quepara todo y ∈ E .
π(y) = limn→∞
P (n+1)x ,y = lim
n→∞
∑z∈E
P (n)x ,z Pz ,y
=∑z∈E
limn→∞
P (n)x ,z Pz ,y =
∑z∈E
π(z )Pz ,y
49/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Es inmediato que 0 ≤ π(y) ≤ 1, para todo y ∈ E pues esto se vale para
las potencia de la matriz de transicion P , 0 ≤ P (n)x ,y ≤ 1, para todo n ≥ 1
y x , y ∈ E . Es un vector de probabilidad:∑y∈E
π(y) =∑y∈E
limn→∞
P (n)x ,y = lim
n→∞
∑y∈E
P (n)x ,y = 1.
Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos quepara todo y ∈ E .
π(y) = limn→∞
P (n+1)x ,y = lim
n→∞
∑z∈E
P (n)x ,z Pz ,y
=∑z∈E
limn→∞
P (n)x ,z Pz ,y =
∑z∈E
π(z )Pz ,y
49/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Es inmediato que 0 ≤ π(y) ≤ 1, para todo y ∈ E pues esto se vale para
las potencia de la matriz de transicion P , 0 ≤ P (n)x ,y ≤ 1, para todo n ≥ 1
y x , y ∈ E . Es un vector de probabilidad:∑y∈E
π(y) =∑y∈E
limn→∞
P (n)x ,y = lim
n→∞
∑y∈E
P (n)x ,y = 1.
Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos quepara todo y ∈ E .
π(y) = limn→∞
P (n+1)x ,y = lim
n→∞
∑z∈E
P (n)x ,z Pz ,y
=∑z∈E
limn→∞
P (n)x ,z Pz ,y =
∑z∈E
π(z )Pz ,y
50/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Sea X = Xn ,n ≥ 0 una cadena de Markov con matriz de transicion
P =
0 1 00 1/2 1/2
1/2 0 1/2
.
Encontrar una ley invariante para X .
Debemos resolver el sistema
(π1, π2, π3)P =
0 1 00 1/2 1/2
1/2 0 1/2
=
π1
π2
π3
,
50/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Sea X = Xn ,n ≥ 0 una cadena de Markov con matriz de transicion
P =
0 1 00 1/2 1/2
1/2 0 1/2
.
Encontrar una ley invariante para X . Debemos resolver el sistema
(π1, π2, π3)P =
0 1 00 1/2 1/2
1/2 0 1/2
=
π1
π2
π3
,
51/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
Equivalentemente, resolver el sistemas de ecuaciones
π1 =12π3, π1 +
12π2 = π2,
12π2 +
12π3 = π3.
Su solucion queda determinada en terminos de π3 pues
π1 =12π3, π2 = π3.
Para determinar el valor de π3 se utiliza la condicion,
π1 + π2 + π3 = 1.
Despues de algunos calculos elementales se llega a la solucion:π =
(15 ,
25 ,
25
).
52/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
La n-esima potencia de la matriz de transicion esta dada por
P(n)1,1 =
15
+(
12
)n (45
cos(nπ
2
)− 2
5sin(nπ
2
)).
Por lo tanto,
limn→∞
P(n)1,1 =
15
= π(1).
53/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
TeoremaEn el caso en que el espacio de estados E es finito siempre existe una leyinvariante
54/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
TeoremaSea P una matriz estocastica asociada a una cadena de MarkovXn ,n ∈ N con espacio de estados E finito y supongamos que existe un
entero n tal que P(n) tiene todas sus entradas estrictamente positivas.Se tienen las siguientes propiedades.
• Cuando n tiende a infinito, P(n) converge entrada por entrada a unamatriz π tal que todos sus renglones son iguales a un mismo vectorde probabilidad π cuyas entradas son estrictamente positivas.
• El vector π es el unico vector de probabilidad invariante para P, esoes πP = π; cualquier otro vector v tal que v P = v es un multiplode π;
• Se tienen las siguientes convergencias:
limn→∞
P(Xn = x ) = π(x ), x ∈ E ,
ylim
n→∞Py(Xn = x ) = π(x ), x , y ∈ E ,
con π(x ) la componente x del vector π.
54/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
TeoremaSea P una matriz estocastica asociada a una cadena de MarkovXn ,n ∈ N con espacio de estados E finito y supongamos que existe un
entero n tal que P(n) tiene todas sus entradas estrictamente positivas.Se tienen las siguientes propiedades.
• Cuando n tiende a infinito, P(n) converge entrada por entrada a unamatriz π tal que todos sus renglones son iguales a un mismo vectorde probabilidad π cuyas entradas son estrictamente positivas.
• El vector π es el unico vector de probabilidad invariante para P, esoes πP = π; cualquier otro vector v tal que v P = v es un multiplode π;
• Se tienen las siguientes convergencias:
limn→∞
P(Xn = x ) = π(x ), x ∈ E ,
ylim
n→∞Py(Xn = x ) = π(x ), x , y ∈ E ,
con π(x ) la componente x del vector π.
54/ 55
Introduccion a las cadenas de Markov: I Tiempo discreto
Ley fuerte
TeoremaSea P una matriz estocastica asociada a una cadena de MarkovXn ,n ∈ N con espacio de estados E finito y supongamos que existe un
entero n tal que P(n) tiene todas sus entradas estrictamente positivas.Se tienen las siguientes propiedades.
• Cuando n tiende a infinito, P(n) converge entrada por entrada a unamatriz π tal que todos sus renglones son iguales a un mismo vectorde probabilidad π cuyas entradas son estrictamente positivas.
• El vector π es el unico vector de probabilidad invariante para P, esoes πP = π; cualquier otro vector v tal que v P = v es un multiplode π;
• Se tienen las siguientes convergencias:
limn→∞
P(Xn = x ) = π(x ), x ∈ E ,
ylim
n→∞Py(Xn = x ) = π(x ), x , y ∈ E ,
con π(x ) la componente x del vector π.