Aprendizaje de la Estructura de Redes Bayesianas usandoRecocido Simulado y Criterio Bayesiano-Edicin nica

Title Aprendizaje de la Estructura de Redes Bayesianas usandoRecocido Simulado y Criterio Bayesiano-Edicin nica

Issue Date 2004-05-01

Publisher Instituto Tecnolgico y de Estudios Superiores de Monterrey

Item Type Tesis de maestra

Downloaded 30/04/2018 23:54:46

Link to Item http://hdl.handle.net/11285/571933

http://hdl.handle.net/11285/571933

c Miguel Angel Carrillo Rincon, 2004

ii

Aprendizaje de la Estructura de Redes Bayesianas

usando Recocido Simulado y Criterio Bayesiano

Por

Ing. Miguel Angel Carrillo Rincon

Tesis

Presentada a la Division de Graduados en Electronica, Computacion, Informacion

y Comunicaciones como requisito parcial para obtener el grado academico de

Maestro en Ciencias en Sistemas Inteligentes

Instituto Tecnologico y de Estudios Superiores de Monterrey

Campus Monterrey

Monterrey, N.L. Mayo de 2004

iv

Reconocimientos

Deseo externar mi mas sincero agradecimiento a todas las personas que de alguna

u otra manera contribuyeron a la realizacion de este trabajo de investigacion. Al Dr.

Francisco Cantu por darme la oportunidad de trabajar con el en este fascinante campo

de investigacion, as como por haberme dado trabajo para costear en parte mi estancia

en Monterrey. A mi comite de tesis, Dr. Ruben Morales-Menendez y Dr. Luis Eduardo

Garza por el tiempo dedicado a mi trabajo y las sugerencias realizadas para mejorarlo.

Al Dr. Hugo Terashima por sus ensenanzas y por siempre darse el tiempo necesario

para atender a los alumnos.

Quiero agradecer la ayuda, pero sobretodo, la amistad que muchas personas me

brindaron durante mis estudios. A mis amigos, Richie, Lefoz, Nelo, Martn, Cesar,

Chacho, Oscar, Michell, Scott, Daniel, Chema, Luisandro, Omar, Griss, Patty, Doris,

German, Novelo, Charly, Hector, Yoli, Mandujano, Fer, Brian, Carlitos, VicBD, Angel,

Walter, Sammer, Alexander, Hewson, Edgardo, Armando, Puru, Marin, Eduardo, Mar-

co y en especial a Alejandro Meade por las largas y provechosas discusiones que sostu-

vimos sobre mi trabajo de investigacion y por sus aportaciones a este.

Por ultimo deseo reconocer el gran amor y apoyo que siempre he recibido de mis

hermanas Angelica y Chela, de mi hermano Chava, de mis sobrinos Gibran, Joshua e

Itzcali, de mis cunados Hugo, Carlos y Luz, de mi ta Sofa y de mi Abuela Mara. A

todos los amo y mi agradecimiento hoy y siempre.

Miguel Angel Carrillo Rincon

Instituto Tecnologico y de Estudios Superiores de Monterrey

Mayo 2004

vii

viii

Aprendizaje de la Estructura de Redes Bayesianas

usando Recocido Simulado y Criterio Bayesiano

Miguel Angel Carrillo Rincon, M.C.

Instituto Tecnologico y de Estudios Superiores de Monterrey, 2004

Asesor de la tesis: Dr. Francisco J. Cantu Ortz

En la actualidad existen muchos problemas de dominios tan diversos como medici-

na, pronostico del tiempo, mercado del petroleo, telecomunicaciones, etc., los cuales

requieren de modelos que nos permitan razonar bajo incertidumbre y tomar decisiones

aun cuando nuestro conocimiento sobre los eventos que se presentan es limitado. Para

modelar los problemas antes mencionados y razonar bajo incertidumbre, la comunidad

de Inteligencia Artificial basandose en la teora de probabilidad y en teora Bayesiana ha

desarrollado modelos probabilsticos denominados redes Bayesianas. Una red Bayesiana

es un grafo acclico dirigido (DAG) en donde los nodos representan variables aleatorias

y los arcos entre variables representan relaciones de causalidad. Sin embargo, el princi-

pal obstaculo para el uso de estas redes es su construccion en dominios complejos. Un

enfoque muy promisorio para resolver este problema es tratar de construir automatica-

mente, o aprender tales representaciones de conjuntos de datos. Para esto, existen dos

vertientes, enfoque de busqueda y evaluacion que busca explorar el espacio de soluciones

posibles para encontrar aquella red que mejor evaluacion presente de acuerdo a cierta

medida de desempeno y analisis de dependencias que busca analizar las caractersticas

inherentes de una red Bayesiana realizando pruebas de independencia e independencia

condicional. En esta investigacion se presenta un algoritmo al que hemos llamado SABS

y el cual esta basado en el enfoque de busqueda y evaluacion, utilizando el algoritmo

de optimizacion recocido simulado como metodo de busqueda y el criterio Bayesiano

como medida de evaluacion. Este algoritmo aprende la estructura de una red Bayesiana

a partir de un conjunto completo de datos, pero si dicho conjunto carece de algunos

valores, SABS es capaz de realizar la tarea de aprendizaje ya que se realiza un pre-

procesamiento mediante la implementacion de la primera etapa del algoritmo EM para

inferir los valores faltantes.

x

Indice General

Reconocimientos VII

Resumen IX

Indice de Tablas XV

Indice de Figuras XVII

Captulo 1. Introduccion 1

1.1. Definicion del Problema . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.2. Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.3. Hipotesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.4. Alcances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.5. Aporte de la Investigacion . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.6. Organizacion de la Tesis . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Captulo 2. Marco Teorico 9

2.1. Conceptos Basicos de Teora de Probabilidad . . . . . . . . . . . . . . . 9

2.1.1. Funciones de Probabilidad . . . . . . . . . . . . . . . . . . . . . 9

2.1.2. Probabilidad Condicional e Independencia . . . . . . . . . . . . 10

2.1.3. Teorema de Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.1.4. Variables Aleatorias y Probabilidad Conjunta . . . . . . . . . . 12

2.2. Introduccion a Grafos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.1. Grafos Dirigidos . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.2. Adyacencia en Grafos . . . . . . . . . . . . . . . . . . . . . . . . 14

2.2.3. Trayectorias en Grafos . . . . . . . . . . . . . . . . . . . . . . . 14

2.2.4. Ciclos en Grafos . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.2.5. Orden Topologico . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.2.6. Representacion Computacional de Grafos . . . . . . . . . . . . . 16

2.3. Redes Bayesianas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.3.1. La Condicion de Markov . . . . . . . . . . . . . . . . . . . . . . 18

2.3.2. La Regla de la Cadena para BNs . . . . . . . . . . . . . . . . . 19

xi

2.3.3. Densidad y Ordenacion de Nodos en BNs . . . . . . . . . . . . . 20

2.3.4. Diferentes Estructuras de BNs . . . . . . . . . . . . . . . . . . . 21

2.3.5. Independencia Condicional en BNs . . . . . . . . . . . . . . . . 21

2.4. Recocido Simulado para Optimizacion . . . . . . . . . . . . . . . . . . 24

2.4.1. El Algoritmo de Metropolis . . . . . . . . . . . . . . . . . . . . 24

2.4.2. El Algoritmo de Recocido Simulado . . . . . . . . . . . . . . . . 25

2.4.3. Implementacion del Algoritmo de Recocido Simulado . . . . . . 26

2.5. Criterio Bayesiano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.5.1. Suposiciones del Criterio Bayesiano . . . . . . . . . . . . . . . . 28

2.6. Aprendizaje de Redes Bayesianas . . . . . . . . . . . . . . . . . . . . . 31

2.6.1. Enfoque de Busqueda y Evaluacion . . . . . . . . . . . . . . . . 31

2.6.2. Enfoque de Analisis de Dependencias . . . . . . . . . . . . . . . 35

2.7. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

Captulo 3. Algoritmos de Aprendizaje de Redes Bayesianas 39

3.1. El Algoritmo SABS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

3.1.1. Evaluacion de BNs usando el Criterio Bayesiano . . . . . . . . . 39

3.1.2. Descripcion del Algoritmo . . . . . . . . . . . . . . . . . . . . . 41

3.1.3. Analisis de Complejidad . . . . . . . . . . . . . . . . . . . . . . 49

3.2. El Algoritmo de Tres Fases . . . . . . . . . . . . . . . . . . . . . . . . . 50

3.2.1. Aprendizaje de BNs usando Informacion Mutua . . . . . . . . . 50

3.2.2. Descripcion del Algoritmo . . . . . . . . . . . . . . . . . . . . . 51

3.2.3. Analisis de Complejidad . . . . . . . . . . . . . . . . . . . . . . 55

3.3. El Algoritmo de Inferencia . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.3.1. Analisis de Complejidad . . . . . . . . . . . . . . . . . . . . . . 58

3.4. Enfoques similares a SABS . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.5. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

Captulo 4. Metodologa y Diseno de Experimentos 63

4.1. Metodologa General . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

4.2. Problemas de Prueba . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

4.2.1. La Red Bayesiana ASIA . . . . . . . . . . . . . . . . . . . . . . 66

4.2.2. La red Bayesiana ALARM . . . . . . . . . . . . . . . . . . . . . 67

4.3. Generacion de Conjuntos de Datos de Prueba . . . . . . . . . .