2 cadenasdemarkovhomogeneas´ …operativa7107.awardspace.com/apuntes/markovparte2a.pdf · esta...

Cadenas de Markov ∣ 10

2 CADENAS DE MARKOV HOMOGENEAS

DE PARAMETRO DISCRETO

En la primera parte del capıtulo se estudian las probabilidades condicionales detransicion -definidas en (l.5) y (1.6) - e incondicionales de estado - definida en(1.1) - en las cadenas de Markov homogeneas, y se desarrollan las ecuaciones querigen su comportamiento, las que luego se aplican al estudio del comportamientode dichas cadenas en los regımenes transitorio y permanente.

2.1 Estudio de las probabilidades en las cadenas de markov ho-mogeneas

2.1.1) Probabilidad condicional de transicion

a) Definicion generalTal como se ha expresado en (1.6), la probabilidad condicional detransicion del estado i al estado j en un intervalo Δ𝑡: 𝑝𝑖𝑗(Δ𝑡) en unacadena de Markov homogenea de parametro discreto es la probabilidadcondicional de que el sistema se encuentre en estado j en el instante𝑡 + Δ𝑡, habiendose encontrado en el estado i en el instante t, con t yΔ𝑡 enteros. Matematicamente es:

𝑝𝑖𝑗(Δ𝑡) = 𝑃{𝑋(𝑡+Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖}; con:

⎧⎨⎩

𝑡 = 0, 1, 2, . . .Δ𝑡 = 𝑛 = 0, 1, 2, . . .𝑖 = 0, 1, 2, . . . ,𝑚𝑗 = 0, 1, 2, . . . ,𝑚

(2.1)

El intervalo Δ𝑡= n = entero se denomina numero de pasos o transi-ciones o avances de la cadena sobre el parametro t. El conjunto deprobabilidades de transicion 𝑝𝑖𝑗(Δ𝑡) ,∀i,j definen la matriz de proba-bilidades de transicion 𝑃 (Δ𝑡):

𝑃 (Δ𝑡) =

𝑖/𝑗 0 1 . . . . . . 𝑚

0 𝑝00(Δ𝑡) 𝑝01(Δ𝑡) . . . . . . 𝑝0𝑚(Δ𝑡)1 𝑝10(Δ𝑡) 𝑝11(Δ𝑡) . . . . . . 𝑝1𝑚(Δ𝑡)...

......

......

......

...𝑚 𝑝𝑚0(Δ𝑡) 𝑝𝑚1(Δ𝑡) . . . . . . 𝑝𝑚𝑚(Δ𝑡)

(2.2)


matriz en la que se cumplen las siguientes condiciones:⎧⎨⎩

0 ≤ 𝑝𝑖𝑗(Δ𝑡) ≤ 1 ; ∀𝑖, 𝑗 (2.3)

𝑚∑𝑗=0

𝑝𝑖𝑗(Δ𝑡) = 1 ; 𝑖 = 0, 1, . . . ,𝑚 (2.4)

con Δ𝑡 = 𝑛 = 1, 2, 3, . . .

b) Probabilidad de transicion de 1 pasoEs un caso particular de la (2.1) y representa la probabilidad condi-cional de transicion del estado i al estado j, en un intervalo Δ𝑡= 1.

𝑝𝑖𝑗(1) = 𝑃{𝑋(𝑡+ 1) = 𝑗/𝑋(𝑡) = 𝑖}; con:{

𝑡 = 0, 1, 2, . . .𝑖 = 0, 1, 2, . . . ,𝑚𝑗 = 0, 1, 2, . . . ,𝑚

(2.5)

Analogamente el conjunto de probabilidades de transicion de 1 paso𝑝𝑖𝑗,∀i,j definen la matriz de probabilidades de transicion de 1 paso P:

𝑃 (Δ𝑡) =

𝑖/𝑗 0 1 . . . . . . 𝑚

0 𝑝00 𝑝01 . . . . . . 𝑝0𝑚1 𝑝10 𝑝11 . . . . . . 𝑝1𝑚...

......

......

......

...𝑚 𝑝𝑚0 𝑝𝑚1 . . . . . . 𝑝𝑚𝑚

(2.6)

Ejemplo 2.aSi en la cadena de Markov descripta en la experiencia b) del ejemplol.b se denominan:estado 0 = noestado 1 = siel grafo y la matriz de transicion de 1 paso son respectivamente:


𝑃 =𝑖/

𝑗 0 10 0 11 1/3 2/3

��00

��

1

��12/3

��

1/3

��

Ejemplo 2.bSi bien la experiencia a) del ejemplo l.b corresponde a 1 proceso deensayos independientes, se lo puede tratar dentro de la teorıa de lascadenas de Markov, siendo sus estados, el grafo y la matriz de tran-sicion de 1 paso las siguientes:estado 0 = noestado 1 = si

��01/3

��

2/3

��12/3

��

1/3

��

𝑃 =1/3 2/31/3 2/3

c) Probabilidad de transicion de 2 pasosEn forma analoga se define:

𝑝𝑖𝑗(2) = 𝑃{𝑋(𝑡+ 2) = 𝑗/𝑋(𝑡) = 𝑖}; con:{

𝑡 = 0, 1, 2, . . .𝑖 = 0, 1, 2, . . . ,𝑚𝑗 = 0, 1, 2, . . . ,𝑚

(2.7)

Esta probabilidad, en una cadena de Markov, se puede calcular enfuncion de las probabilidades de 1 paso, mediante la ecuacion deChapman-Kolmogorov, cuya expresion, para este caso es:

𝑝𝑖𝑗(2) =𝑚∑𝑘=0

𝑝𝑖𝑘.𝑝𝑘𝑗 ; ∀{

𝑖 = 0, 1, . . . ,𝑚𝑗 = 0, 1, . . . ,𝑚

(2.8)

la cual establece que para todo par de estados i y j separados por unavance Δ𝑡= 2 pasos, la probabilidad de transicion se puede expresar


en funcion de las probabilidades de transicion de 1 paso del estado i aun conjunto exhaustivo de estados k (todos los estados posibles) y delas probabilidades de transicion de 1 paso de cada uno de los estadosk al estado j.

Para su demostracion se definen los conjuntos A, 𝐵𝑘 y C cuyos ele-mentos son ternas ordenadas de eventos: la primera componente es elestado del sistema en t, la segunda en t+1 y la tercera en t+2⎧⎨

⎩

𝐴 : conjunto de ternas cuya primera componente es el estado i en t

𝐵𝑘 : cada conjunto de ternas cuya segunda componente es uno de los

estados k en t+1

𝐶 : conjunto de ternas cuya tercera componente es el estado j en t+2

ademas se cumple que: 𝑃 (𝐶 ∩ 𝐴) = 𝑃 (𝐶/𝐴).𝑃 (𝐴)

𝐿𝑖𝑗(2) = 𝑃 (𝐶/𝐴) =

𝑚∑𝑘=0

𝑃 (𝐶 ∩𝐵𝑘 ∩ 𝐴)

𝑃 (𝐴)=

𝑚∑𝑘=0

𝑃 (𝐶/𝐵𝑘 ∩ 𝐴).𝑃 (𝐵𝑘 ∩ 𝐴)

𝑃 (𝐴)

y por ser una cadena de Markov se cumple la (1.4), luego es:

𝑃 (𝐶/𝐵𝑘 ∩ 𝐴) = 𝑃 (𝐶/𝐵𝑘)

con lo cual queda demostrada la (2.8) pues:


𝐿𝑖𝑗(2) = 𝑃 (𝐶/𝐴) =

𝑚∑𝑘=0

𝑃 (𝐶 ∩𝐵𝑘).𝑃 (𝐵𝑘/𝐴).��𝑃 (𝐴)

��𝑃 (𝐴)=

𝑚∑𝑘=0

𝑝𝑘𝑗.𝑝𝑖𝑘

Como antes, el conjunto de probabilidades de transicion de 2 pasos:𝑝𝑖𝑗(2), ∀ i,j definen la matriz de probabilidades de transicion de 2 pa-sos:

𝑃 (2) =

𝑝00(2) 𝑝01(2) . . . . . . 𝑝0𝑚(2)𝑝10(2) 𝑝11(2) . . . . . . 𝑝1𝑚(2)

......

......

......

𝑝𝑚0(2) 𝑝𝑚1(2) . . . . . . 𝑝𝑚𝑚(2)

(2.9)

y aplicando la ecuacion de Chapman (2.8) a cada uno de los elemen-tos de la matriz (2.9) queda la expresion matricial de la ecuacion deChapman-Kolmogorov:

𝑃 (2) =

𝑝00(2) . . . 𝑝0𝑚(2) 𝑝00 𝑝01 . . . 𝑝0𝑚 𝑝00 . . . 𝑝0𝑚...

... =...

...... x 𝑝10 𝑝1𝑚

......

......

......

...𝑝𝑚0(2) . . . 𝑝𝑚𝑚(2) 𝑝𝑚0 𝑝𝑚1 . . . 𝑝𝑚𝑚 𝑝𝑚0 . . . 𝑝𝑚𝑚

P(2)=P.P=𝑃 2 (2.10)

Ejemplo 2.cLa matriz de transicion de 2 pasos de la cadena del Ejemplo n∘2.a,aplicando la ecuacion (2.10) es:


𝑃 (2) =0 1 0 1 0, 33 0, 67

=0, 33 0, 67 0, 33 0, 67 0, 22 0, 78

=⇒

��00,33

��

0,67

��10,78

��

0,22

��

La ecuacion de Chapman-Kolmogorov (2.10) es una condicion nece-saria, pero no suficiente para que una cadena sea Markoviana.

d) Expresion qeneral de la ecuacion de Chapman-KolmogorovEn forma generica la probabilidad de transicion de n pasos es:

𝑝𝑖𝑗(𝑛) = 𝑃{𝑋(𝑡+ 𝑛) = 𝑗/𝑋(𝑡) = 𝑖}; con:

⎧⎨⎩

𝑡 = 0, 1, 2, . . .𝑛 = 1, 2, . . .𝑖 = 0, 1, 2, . . . ,𝑚𝑗 = 0, 1, 2, . . . ,𝑚

(2.11)

Repitiendo el proceso descripto en el punto anterior para deducir laecuacion (2.8) se llega a las expresiones algebraicas generales de laecuacion de Chapman-Kolmogorov:

𝑝𝑖𝑗(𝑛) =

⎧⎨⎩

𝑚∑𝑘=0

𝑝𝑖𝑘.𝑝𝑘𝑗(𝑛− 1) : forma a)

𝑚∑𝑘=0

𝑝𝑖𝑘(𝑛− 1).𝑝𝑘𝑗 : forma b)

⎫⎬⎭; con:

{𝑛 = 1, 2, . . .𝑖 = 0, 1, 2, . . . ,𝑚𝑗 = 0, 1, 2, . . . ,𝑚

(2.12)

Como antes, el conjunto de probabilidades de transicion de n pasos𝑝𝑖𝑗(𝑛), ∀ij definen la matriz de probabilidades de transicion de n casos:


𝑃 (𝑛) =

𝑝00(𝑛) 𝑝01(𝑛) . . . . . . 𝑝0𝑚(𝑛)𝑝10(𝑛) 𝑝11(𝑛) . . . . . . 𝑝1𝑚(𝑛)

...𝑝𝑚0(𝑛) 𝑝𝑚1(𝑛) . . . . . . 𝑝𝑚𝑚(𝑛)

(2.13)

y la expresion matricial general de la ecuacion de Chapman-Kolmogorov,tomando por ejemplo la forma a), queda:

𝑃 (𝑛) =

𝑝00(𝑛) . . . 𝑝0𝑚(𝑛) 𝑝00 𝑝01 . . . 𝑝0𝑚 𝑝00(𝑛− 1) . . . 𝑝0𝑚(𝑛− 1)...

... =...

...... x 𝑝10(𝑛− 1) 𝑝1𝑚(𝑛− 1)

......

......

......

...𝑝𝑚0(𝑛) . . . 𝑝𝑚𝑚(𝑛) 𝑝𝑚0 𝑝𝑚1 . . . 𝑝𝑚𝑚 𝑝𝑚0(𝑛− 1) . . . 𝑝𝑚𝑚(𝑛− 1)

P(n)=P.P(n-1)

extendiendo la ecuacion anterior en forma recursiva se obtiene:P(n)= P . P(n-l) = P . P . P(n-2) = P . P . P . P(n-3)= . . .

𝑃 (𝑛) = 𝑃 𝑛 (2.14)

que es la expresion generica matricial de la ecuacion de Chapman-Kolmogorov.

Ejemplo 2.dLas matrices de transicion de 3, 4 y 5 pasos de la cadena del ejemplo


2.a son, aplicando la ecuacion (2.14):

𝑃 (2) = 𝑃 3 = 𝑃.𝑃 2 =0 1 0, 33 0, 67 0, 222 0, 778

x =0, 33 0, 67 0, 22 0, 78 0, 259 0, 741

𝑃 (4) = 𝑃 4 = 𝑃.𝑃 3 =0 1 0, 222 0, 778 0, 259 0, 741

x =0, 33 0, 67 0, 259 0, 741 0, 247 0, 753

𝑃 (5) = 𝑃 5 = 𝑃.𝑃 4 =0 1 0, 259 0, 741 0, 247 0, 753

x =0, 33 0, 67 0, 247 0, 753 0, 251 0, 749

2.1.2) Probabilidad incondicional de estado

(a) Definicion generalTal como se ha expresado en (1.1), la probabilidad incondicional deestado p(t) en una cadena de Markov homogenea de parametro dis-creto, es la probabilidad de que el sistema se encuentre en el estado ien el instante t:

𝑝𝑖(𝑡) = 𝑝𝑥=𝑖(𝑡) ; con:

{𝑡 = 0, 1, 2, . . .𝑖 = 0, 1, 2, . . . ,𝑚

(2.15)

y el conjunto de probabilidades incondicionales de estado 𝑝𝑖(𝑡) ∀i, de-finen el vector de probabilidades de estado p(t):

𝑝(𝑡) = 𝑝0(𝑡) 𝑝1(𝑡) 𝑝2(𝑡) . . . 𝑝𝑚(𝑡) (2.16)

vector en el cual se cumplen las siguientes condiciones:


⎧⎨⎩

0 ≤ 𝑝𝑖(𝑡) ≤ 1 ; ∀𝑖 (2.17)𝑚∑𝑖=0

𝑝𝑖(𝑡) = 1 ; con 𝑖 = 0, 1, 2, . . . (2.18)

(b) Probabilidad de estado inicialEs un caso particular de la (2.15) para t=0 :

𝑝𝑗(0) = 𝑃𝑥=𝑖(𝑡 = 0) ; con 𝑖 = 0, 1, . . . ,𝑚 (2.19)

y el conjunto de probabilidades de estado iniciales 𝑝𝑖(0) ,∀i definenel vector de probabilidades de estado inicial:

𝑝(0) = 𝑝0(0) 𝑝1(0) 𝑝2(0) . . . 𝑝𝑚(0) (2.20)

(c) Probabilidad de estado luego de 1 pasoEn forma analoga se define:

𝑝𝑖(1) = 𝑃𝑥=𝑗(𝑡 = 1) ; con 𝑗 = 0, 1, . . . ,𝑚 (2.21)

Esta probabilidad se puede expresar en funcion de las probabilidadesde estado iniciales aplicando el Teorema de la Probabilidad Total,quedando expresada la llamada ecuacion de estado:

𝑝𝑗(1) =𝑚∑𝑖=0

𝑝𝑖(0).𝑝𝑘𝑗 ; con 𝑗 = 0, 1, . . . ,𝑚 (2.22)

Como antes, el conjunto de probabilidades de es-tado luego de 1 paso 𝑝𝑗(1), ∀j, definen el vector deprobabilidades de estado luego de 1 paso:

𝑝(1) = 𝑝0(1) 𝑝1(1) 𝑝2(1) . . . 𝑝𝑚(1) (2.23)


y aplicando la ecuacion de estado (2.22) a cada uno de los elementosdel vector (2.23) queda la expresion matricial de la ecuacion de estado:

𝑝(1) = 𝑝0(1) 𝑝1(1) . . . 𝑝𝑚(1) = 𝑝0(0) 𝑝1(0) . . . 𝑝𝑚(0) x

𝑝00 . . . 𝑝0𝑚𝑝10 𝑝1𝑚...

...𝑝𝑚0 . . . 𝑝𝑚𝑚

p(1)= p(0) . P (2.24)

(d) Expresion general de la Ecuacion de EstadoEn forma generica la probabilidad de estado luego de n pasos es:

𝑝𝑗(𝑛) = 𝑝𝑥=𝑗(𝑡 = 𝑛) ; con:

{𝑛 = 0, 1, 2, . . .𝑗 = 0, 1, 2, . . . ,𝑚

(2.25)

Con las mismas consideraciones hechas para deducir la ecuacion (2.22)se llega a las expresiones algebraicas generales de la ecuacion de estado:

𝑝𝑗(𝑛) =

⎧⎨⎩

𝑚∑𝑘=0

𝑝𝑖(0).𝑝𝑖𝑗(𝑛) : forma a)

𝑚∑𝑘=0

𝑝𝑖(𝑛− 1).𝑝𝑖𝑗 : forma b)

⎫⎬⎭; con:

{𝑛 = 1, 2, . . .𝑗 = 0, 1, 2, . . . ,𝑚

(2.26)

Como antes, el conjunto de probabilidades de estado luego de n pasos𝑝𝑗(𝑛) definen el vector de probabilidades de estado:

𝑝(𝑛) = 𝑝0(𝑛) 𝑝1(𝑛) 𝑝2(𝑛) . . . 𝑝𝑚(𝑛) (2.27)

y la expresion matricial general de la ecuacion de estado (2.26), tomandopor ejemplo la forma a), queda:


𝑝(𝑛) = 𝑝0(0) 𝑝1(0) . . . 𝑝𝑚(0) x

𝑝00(𝑛) . . . 𝑝0𝑚(𝑛)𝑝10(𝑛) 𝑝1𝑚(𝑛)

......

𝑝𝑚0(𝑛) . . . 𝑝𝑚𝑚(𝑛)

p(n)= p(0) . P(n) (2.29)

Las ecuaciones (2.28) y (2.29) constituyen las expresiones genericasmatriciales de la ecuacion de estado, las cuales se resumen en la si-guiente expresion:

𝑝(𝑛) =

⎧⎨⎩

𝑝(0).𝑃 (𝑛)

𝑝(𝑛− 1).𝑃(2.30)

Las ecuaciones (2.14) y (2.30) permiten calcular la probabilidad decada uno de los estados de la cadena, luego de un numero n cualquierade pasos, conocidas la probabilidad de estado para un instante dado yla matriz de probabilidades de transicion de 1 paso P.

Ejemplo 2.eEn la cadena del ejemplo 2.a, si se parte de un estado inicial con lassiguientes probabilidades:⎧⎨

⎩𝑝0(0) = 0, 5

𝑝(0) = 0, 5 0, 5𝑝1(0) = 0, 5

las probabilidades de 1, 2, 3 y 4 pasos seran respectivamente:

𝑝(1) = 𝑝(0).𝑃 = 0, 5 0, 5 x0 1

0, 333 0, 667= 0, 167 0, 833

𝑝(2) = 𝑝(0).𝑃 2 = 0, 5 0, 5 x0, 333 0, 6670, 222 0, 778

= 0, 278 0, 722


𝑝(3) = 𝑝(0).𝑃 3 = 0, 5 0, 5 x0, 222 0, 7780, 259 0, 741

= 0, 241 0, 759

𝑝(4) = 𝑝(0).𝑃 4 = 0, 5 0, 5 x0, 259 0, 7410, 247 0, 753

= 0, 253 0, 747

2.2 Clasificacion de las cadenas de Markov Homogeneas en ergodicasy no ergodicas

A continuacion se efectua una clasificacion de las cadenas de Markov homogeneassegun la posibilidad o no que tengan de ser reducibles o separables en cadenasmas chicas para el estudio de su comportamiento en los llamados regımenestransitorio y permanente. Esta clasificacion dara lugar a la definicion de lascadenas ergodicas o irreductibles y las cadenas no ergodicas o separables. Pre-viamente se requiere dar la definicion de estados accesibles y comunicantes yluego clasificar los estados en clases.

2.2.1) Definicion de estados accesibles y comunicantesUn estado j es accesible desde un estado i si se cumple que para algun paso𝑛 ≥ 1 es 𝑝𝑖𝑗(𝑛) > 0, lo cual significa que es posible pasar desde el estado ial estado j luego de un numero n de transecciones, y se escribe: 𝑖 → 𝑗.La accesibilidad es una propiedad transitiva, es decir:

si 𝑖 → 𝑗 y 𝑗 → 𝑘 ⇒ 𝑖 → 𝑘

Ejemplo 2.fEn la cadena de la figura el estado 6 es accesible desde el 5 en un paso ydesde el 4 en dos pasos, a traves del 5. El estado 1 no es accesible desde el 2.


��0 ��1 ��2 ��

��

��

��

��3��

��7

��

��

��

��4��

��6��

��

��5

Accesibilidad en una transicion

𝑖/𝑗 0 1 2 3 4 5 6 7

0 𝑥

1 𝑥2 𝑥 𝑥 𝑥

3 𝑥 𝑥

4 𝑥 𝑥 𝑥

5 𝑥6 𝑥 𝑥

7 𝑥 𝑥 𝑥

Dos estados i y j son comunicantes si j es accesible desde i, y viceversa, yse escribe: 𝑖 ↔ 𝑗

La comunicacion es tambien una propiedad transitiva, es decir:

si 𝑖 → 𝑗 y 𝑗 → 𝑘 ⇒ 𝑖 → 𝑘

En el ejemplo 2.f los estados 5 y 7 son comunicantes.

2.2.2) Clasificacion de estados en clases comunicantes y estados sin retornoUna clase comunicante es un conjunto de estados que se comunican todosentre si. Como caso particular la clase puede consistir en un solo estado.En el ejemplo 2.f se pueden formar las siguientes clases comunicantes:⎧⎨

⎩𝐶1 = {2}𝐶2 = {3, 4}𝐶3 = {5, 6, 7}

Las clases comunicantes se pueden clasificar en recurrentes y transitorias.

(a) Clases recurrentes- Estados absorbentes

Una clase es recurrente cuando la probabilidad de que la cadena seencuentre en un estado de dicha clase despues de ∞ transiciones espositiva; esto significa que una vez que la cadena ha alcanzado dicha


clase, siempre regresara a ella.En el ejemplo 2.f la clase 𝐶3 es recurrente.Un caso especial de clases recurrentes lo constituyen los llamados es-tados absorbentes, que son aquellos estados que una vez que la cadenalos ha alcanzado, no puede abandonarlos; es decir, siendo accesiblesdesde otros estados no absorbentes de la cadena, no se cumple la in-versa. De lo anterior se deduce que un estado absorbente i tiene unaprobabilidad 𝑝𝑖𝑖 = 1.

(b) Clases transitorias

Una clase es transitoria cuando la probabilidad de que la cadena seencuentre en un estado de dicha clase despues de ∞ transiciones esnula; esto significa que una vez que la cadena ha alcanzado dichaclase, existe una probabilidad de que no retorne nunca a ella.En el ejemplo 2.f las clases 𝐶1 y 𝐶2 son transitorias.Estados sin retorno son aquellos estados que no se comunican conningun otro estado, ni siquiera consigo mismo; esto significa que unavez que la cadena ha alcanzado dicho estado la probabilidad de queretorne a el es nula.En el ejemplo 2.f los estados 0 y 1 son sin retorno. Resumiendo loanterior, los estados pueden clasificarse de la siguiente manera:⎧⎨

⎩Estados sin retorno

Clases comunicantes

{transitorias

recurrentes{

estados absorbentes

2.2.3) Clasificacion de las cadenas de Markov homogeneas en ergodicas y noergodicasUna cadena de Markov homogenea es ergodica o irreductible cuando todossus estados se comunican, es decir constituyen una unica clase comunicanterecurrente.Las cadenas ergodicas pueden ser clasificadas en regulares y periodicas.


(a) Cadenas regularesUna cadena ergodica es regular o aperiodica cuando todos los estadospueden comunicarse simultaneamente en una cantidad r de pasos; enestas condiciones la potencia r de la matriz P : 𝑃 𝑟 es una matriz contodos sus elementos no nulos. Un criterio para comprobar que una ca-dena es regular consiste en calcular las sucesivas potencias de P hastaencontrar un numero r de pasos tal que la matriz 𝑃 𝑟 tiene todos suselementos no nulos.Ejemplo 2.gDada la siguiente cadena:

��00,5

��0,5

�� 10,2

��

0,2��

0,6��

��21

�� 𝑃 =0, 5 0, 50, 2 0, 2 0, 61

se cumple que para r = 3

𝑃 3 =0, 545 0, 245 0, 2100, 518 0, 398 0, 0840, 350 0, 350 0, 300

todos sus elementos son no nulos, por lo tanto es una cadena ergodicaregular. Como ejemplo: desde el estado 3 se puede acceder al mismoestado recien en 3 pasos.

(b) Cadenas periodicasUna cadena ergodica es periodica cuando no se puede encontrar unapotencia r de P para la cual todos los elementos de 𝑃 𝑟 sean no nulos;en estas condiciones las sucesivas potencias de la matriz 𝑃 𝑟 denotanun patron periodico que permite asegurar siempre la presencia de almenos un cero en 𝑃 𝑟.Ejemplo 2.hDada la cadena siguiente:


��01

��11/2��

1/2��21

��

𝑃 =0 1 01/2 0 1/20 1 0

es ergodica periodica pues sus sucesivas potencias son:

𝑃 2 =1/2 0 1/20 1 01/2 0 1/2

; 𝑃 3 =0 1 01/2 0 1/20 1 0

; 𝑃 4 =1/2 0 1/20 1 01/2 0 1/2

como puede observarse se cumple el patron de repeticion periodico:{𝑃 = 𝑃 3 = 𝑃 5 = . . . = 𝑃𝑚 ; con m : impar𝑃 2 = 𝑃 4 = 𝑃 6 = . . . = 𝑃 𝑛 ; con n : par

con la presencia siempre de ceros en las matrices.Una cadena de Markov homogenea es no ergodica o reducible o sepa-rable cuando no todos sus estados se comunican, en esas condiciones lacadena es separable en un conjunto de clases comunicantes y estadossin retorno.Ejemplo 2.iDada la siguiente cadena:

��00,5

��

0,5�� 1

0,2

��

0,8

��

��20,7

��

0,3�� 3

0,6

��

0,4

��

𝑃 =

0, 5 0, 5 0 00, 8 0, 2 0 00 0 0, 7 0, 30 0 0, 6 0, 4

es separable en dos clases comunicantes recurrentes 𝐶1 = {0, 1} y𝐶2 = {2, 3}La cadena del ejemplo 2.f es separable en:


⎧⎨⎩

1 clase comunicante recurrente : 𝐶3 = {5, 6, 7}2 clase comunicante transitoria : 𝐶1 = {2} y 𝐶2 = {3, 4}2 estados sin retorno : 0 𝑦 1

Dentro de las cadenas no ergodicas merecen especial atencion dostipos particulares de cadenas denominadas respectivamente cadenasabsorbentes y cadenas cıclicas.

(a) Cadenas absorbentesUna cadena absorbente es una cadena no ergodica separable en

∙ 1 o varios estados absorbentes y

∙ 1 o varios estados no absorbentes, constituıdos por clases comuni-cantes transitorias o estados sin retorno, desde los cuales se puedeacceder a por lo menos un estado absorbente

Ejemplo 2.jDada la siguiente cadena:

��00,7

��

0,3�� 1

0,5

��

0,5��

��21

𝑃 =

𝑖/𝑗 0 1 2

0 0, 7 0, 31 0, 5 0, 52 1

es una cadena absorbente separable en una clase comunicante tran-sitoria C={ 0,1} y un estado absorbente 2, para el cual se cumple que𝑝22 = 1

(b) Cadenas cıclicasUna cadena cıclica es una cadena no ergodica en la cual el procesopasa de un estado a otro cıclicamente segun un cierto patron de com-portamiento. El ciclo es un camino cerrado entre estados de una claserecurrente.Para que una cadena sea cıclica debe cumplirse que:

∙ tenga por lo menos un ciclo, y


∙ sea posible entrar en el ciclo

Ejemplo 2.kDada la siguiente cadena:

��00,5

��

0,2

��

0,3

��

��

�

��11

��21

��

𝑃 =

𝑖/𝑗 0 1 2

0 0, 5 0, 2 0, 31 12 1

es una cadena cıclica separable en una clase comunicante transitorıa𝐶1={ 0 } una clase comunicante recurrente 𝐶2={ 1, 2 } , que formaun ciclo.Muchas caracterısticas de comportamiento de las cadenas no ergodicasdespues que se han producido un numero elevado de transiciciones (enlo que luego se definira como regimen permanente), se estudian medi-ente el analisis de sus clases comunicantes recurrentes como si fuerancadenas ergodicas independientes.En resumen las cadenas de Markov homogeneas se pueden clasificar en:⎧⎨

⎩Cadenas ergodicas: una clase comunicante recurrente

{regulares

periodicas

Cadenas no ergodicas: separables en

clases comunicantes mas estados sin retorno

{absorbentes

cıclicas

A partir de esta clasificacion en los puntos siguientes se estudia elcomportamiento de las cadenas ergodicas y no ergodicas mencionadas.

2.3 Estudio del Comportamiento de las Cadenas Ergodicas en elRegimen Permanente

Se define como regimen permanente o estado estacionario de una cadena deMarkov homogenea a la situacion que el sistema alcanza luego de un periodorelativamente largo de tiempo. En dicho regimen la cadena ya ha entrado enuna condicion de equilibrio estocastico, lo cual significa que sus probabilidades


de estado devienen estables en el tiempo.En cambio regimen transitorio es la situacion en que el sistema se encuentraluego de un perıodo relativamente corto de tiempo. En dicho regimen la cadenano ha encontrado todavıa una condicion particular de equilibrio estocastico, esdecir sus probabilidades de estado no son estables en el tiempo.Dentro de las cadenas ergodicas regulares y periodicas interesa estudiar es-pecıficamente sus comportamientos en el regimen permanente, y sus conclu-siones, segun se ha dicho mas arriba, son extensibles a las clases recurrentes delas cadenas no ergodicas.

2.3.1) Estudio del comportamiento de las cadenas regulares en el regimen per-manenteTal como se ha definido en 2.2.3, una cadena regular es una cadena ergodicaen la cual todos sus estados pueden comunicarse simultaneamente en unacantidad r de pasos.Para describir el comportamiento de una cadena regular en el regimen per-manente o a lago plazo es preciso conocer las probabilidades de transiciony de estado cuando el numero n de transiciones tiende a ∞. Se puede de-mostrar que si la cadena es regular, el lımite de la matriz de probabilidadesde transicion P(n) cuando n tiende a ∞ es una matriz regular (todos suselementos son positivos), con todas sus filas iguales, es decir, de (2.14) es:

lim𝑃 (𝑛) = lim𝑛→∞𝑃 𝑛 =

𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚...

......

𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚...

......

𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚

(2.31)

y el lımite del vector de probabilidades de estado queda, tomando la 1ra.igualdad de la (2.30):


lim𝑛→∞ 𝑝(𝑛) = 𝑝(0). lim

𝑛→∞𝑃 (𝑛) = 𝑝0(0) . . . 𝑝𝑖(0) . . . 𝑝𝑚(0) x

𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚...

......

𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚...

......

𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚

y por cumplirse que:𝑚∑𝑖=0

𝑝𝑖(0) = 1, queda:

lim𝑛→∞ 𝑝(𝑛) = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 (2.32)

las (2.31) y (2.32) expresan que en una cadena de Markov regular, luegode un numero suficientemente grande de transiciones (𝑛 → ∞), sus pro-babilidades de transicion 𝑝𝑖𝑗(𝑛) y de estado 𝑃𝑗(𝑛) se estabilizan en valoreslımites iguales para cada estado j, e independientes del estado inicial i. Esteestado se conoce como regimen permanente o estacionario, y sus probabi-lidades de estado 𝑝𝑗 representan los porcentajes de tiempo que la cadenapermanece en cada estado j luego de un perıodo largo de tiempo.Esta distribucion de estados lımites se puede determinar mediante trescaminos alternativos.

(a) mediante el lımite de la ecuacion (2.31):lim𝑃 (𝑛) = lim𝑃 𝑛; 𝑛 → ∞(b) mediante una ecuacion que se deriva de la 2da. igualdad de la ecuacion

de estado (2.30). Para 𝑛 → ∞, segun lo expresado mas arriba secumple que:

lim𝑛→∞ 𝑝(𝑛) = lim

𝑛→∞ 𝑝(𝑛− 1) = 𝑝

reemplazando en la 2da. igualdad de la (2.30) quedan:

siendo:

𝑝 = 𝑝 . 𝑃

𝑚∑𝑗=0

𝑝𝑗 = 1

(2.33)

(2.34)


luego con las ecuaciones (2.33) y (2.34), conocida la matriz de tran-sicion P de la cadena regular, se puede calcular el vector de probabi-lidades p del regimen permanente.

(c) mediante la llamada “ecuacion de balance de flujos probabilısticos”,que se deriva de la ecuacion (2.33). En efecto, si se desarrolla estaultima es:

𝑃 = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 = 𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚 x

𝑝00 . . . 𝑝0𝑗 . . . 𝑝0𝑚...

......

𝑝𝑖0 . . . 𝑝𝑖𝑗 . . . 𝑝𝑖𝑚...

......

𝑝𝑚0 . . . 𝑝𝑚𝑗 . . . 𝑝𝑚𝑚

en la cual el elemento generico 𝑝𝑗 es:

𝑝𝑗 =𝑚∑𝑖=0

𝑝𝑖.𝑝𝑖𝑗 =𝑚∑

∀𝑖 ∕=𝑗

𝑝𝑖.𝑝𝑖𝑗 + 𝑝𝑗.𝑝𝑗𝑗

agrupando queda:𝑚∑

∀𝑖 ∕=𝑗

𝑝𝑖.𝑝𝑖𝑗 = 𝑝𝑗(1− 𝑝𝑗𝑗)

y aplicando la ecuacion (2.4) a las transiciones del estado j a un con-junto exhaustivo de estados k es:

∑∀𝑘

𝑝𝑗𝑘 = 1 ∴ 1− 𝑝𝑗𝑗 =∑∀𝑘 ∕=𝑗

𝑝𝑗𝑘

reemplazando queda:∑∀𝑖 ∕=𝑗

𝑝𝑖.𝑝𝑖𝑗 = 𝑝𝑗.∑∀𝑘 ∕=𝑗

𝑝𝑗𝑘 ; 𝑗 = 0, . . . , 𝑛 (2.35)


que es la ecuacion de balance de flujosprobabilısticos, la cual expresa que“para un nodo generico j la suma delos flujos probabilısticos que concur-ren al nodo es igual a la suma delos flujos probabilısticos que salen delnodo”.

𝑖

⎧⎨⎩

��

��

��

��

�� 𝑗

��

��

��

��

��

��

��

⎫⎬⎭

𝑘

Ejemplo 2.lDada la siguiente cadena:

��00,5

��0,5

�� 10,2

��

0,2��

0,6��

��21

�� 𝑃 =0, 5 0, 5 00, 2 0, 2 0, 61 0 0

la cual es ergodica regular pues 𝑃 3:

𝑃 2 =0, 35 0, 35 0, 300, 74 0, 14 0, 120, 50 0, 50 0

∴ 𝑃 3 =0, 545 0, 245 0, 2100, 518 0, 398 0, 0840, 350 0, 350 0, 300

tiene todos sus elementos no nulos, se puede determinar el vector deprobabilidades p del regimen permanente mediante el calculo de lassucesivas potencias de 𝑃 𝑛:

𝑃 4 =0, 5315 0, 3215 0, 14700, 4226 0, 3386 0, 23880, 5450 0, 2450 0, 2100

; 𝑃 8 =0, 4985 0, 3158 0, 18580, 4979 0, 3090 0, 19310, 5077 0, 3096 0, 1827

𝑃 16 =0, 5 0, 3125 0, 18750, 5 0, 3125 0, 18750, 5 0, 3125 0, 1875

= 𝑝17 = 𝑝18 = lim𝑛→∞𝑃 𝑛

2 cadenasdemarkovhomogeneas´ …operativa7107.awardspace.com/apuntes/markovparte2a.pdf · esta...

Documents