Aprendizaje de la Estructura de Redes Bayesianas usandoRecocido Simulado y Criterio Bayesiano-Edicin nica
Title Aprendizaje de la Estructura de Redes Bayesianas usandoRecocido Simulado y Criterio Bayesiano-Edicin nica
Issue Date 2004-05-01
Publisher Instituto Tecnolgico y de Estudios Superiores de Monterrey
Item Type Tesis de maestra
Downloaded 30/04/2018 23:54:46
Link to Item http://hdl.handle.net/11285/571933
http://hdl.handle.net/11285/571933
c Miguel Angel Carrillo Rincon, 2004
ii
Aprendizaje de la Estructura de Redes Bayesianas
usando Recocido Simulado y Criterio Bayesiano
Por
Ing. Miguel Angel Carrillo Rincon
Tesis
Presentada a la Division de Graduados en Electronica, Computacion, Informacion
y Comunicaciones como requisito parcial para obtener el grado academico de
Maestro en Ciencias en Sistemas Inteligentes
Instituto Tecnologico y de Estudios Superiores de Monterrey
Campus Monterrey
Monterrey, N.L. Mayo de 2004
iv
Reconocimientos
Deseo externar mi mas sincero agradecimiento a todas las personas que de alguna
u otra manera contribuyeron a la realizacion de este trabajo de investigacion. Al Dr.
Francisco Cantu por darme la oportunidad de trabajar con el en este fascinante campo
de investigacion, as como por haberme dado trabajo para costear en parte mi estancia
en Monterrey. A mi comite de tesis, Dr. Ruben Morales-Menendez y Dr. Luis Eduardo
Garza por el tiempo dedicado a mi trabajo y las sugerencias realizadas para mejorarlo.
Al Dr. Hugo Terashima por sus ensenanzas y por siempre darse el tiempo necesario
para atender a los alumnos.
Quiero agradecer la ayuda, pero sobretodo, la amistad que muchas personas me
brindaron durante mis estudios. A mis amigos, Richie, Lefoz, Nelo, Martn, Cesar,
Chacho, Oscar, Michell, Scott, Daniel, Chema, Luisandro, Omar, Griss, Patty, Doris,
German, Novelo, Charly, Hector, Yoli, Mandujano, Fer, Brian, Carlitos, VicBD, Angel,
Walter, Sammer, Alexander, Hewson, Edgardo, Armando, Puru, Marin, Eduardo, Mar-
co y en especial a Alejandro Meade por las largas y provechosas discusiones que sostu-
vimos sobre mi trabajo de investigacion y por sus aportaciones a este.
Por ultimo deseo reconocer el gran amor y apoyo que siempre he recibido de mis
hermanas Angelica y Chela, de mi hermano Chava, de mis sobrinos Gibran, Joshua e
Itzcali, de mis cunados Hugo, Carlos y Luz, de mi ta Sofa y de mi Abuela Mara. A
todos los amo y mi agradecimiento hoy y siempre.
Miguel Angel Carrillo Rincon
Instituto Tecnologico y de Estudios Superiores de Monterrey
Mayo 2004
vii
viii
Aprendizaje de la Estructura de Redes Bayesianas
usando Recocido Simulado y Criterio Bayesiano
Miguel Angel Carrillo Rincon, M.C.
Instituto Tecnologico y de Estudios Superiores de Monterrey, 2004
Asesor de la tesis: Dr. Francisco J. Cantu Ortz
En la actualidad existen muchos problemas de dominios tan diversos como medici-
na, pronostico del tiempo, mercado del petroleo, telecomunicaciones, etc., los cuales
requieren de modelos que nos permitan razonar bajo incertidumbre y tomar decisiones
aun cuando nuestro conocimiento sobre los eventos que se presentan es limitado. Para
modelar los problemas antes mencionados y razonar bajo incertidumbre, la comunidad
de Inteligencia Artificial basandose en la teora de probabilidad y en teora Bayesiana ha
desarrollado modelos probabilsticos denominados redes Bayesianas. Una red Bayesiana
es un grafo acclico dirigido (DAG) en donde los nodos representan variables aleatorias
y los arcos entre variables representan relaciones de causalidad. Sin embargo, el princi-
pal obstaculo para el uso de estas redes es su construccion en dominios complejos. Un
enfoque muy promisorio para resolver este problema es tratar de construir automatica-
mente, o aprender tales representaciones de conjuntos de datos. Para esto, existen dos
vertientes, enfoque de busqueda y evaluacion que busca explorar el espacio de soluciones
posibles para encontrar aquella red que mejor evaluacion presente de acuerdo a cierta
medida de desempeno y analisis de dependencias que busca analizar las caractersticas
inherentes de una red Bayesiana realizando pruebas de independencia e independencia
condicional. En esta investigacion se presenta un algoritmo al que hemos llamado SABS
y el cual esta basado en el enfoque de busqueda y evaluacion, utilizando el algoritmo
de optimizacion recocido simulado como metodo de busqueda y el criterio Bayesiano
como medida de evaluacion. Este algoritmo aprende la estructura de una red Bayesiana
a partir de un conjunto completo de datos, pero si dicho conjunto carece de algunos
valores, SABS es capaz de realizar la tarea de aprendizaje ya que se realiza un pre-
procesamiento mediante la implementacion de la primera etapa del algoritmo EM para
inferir los valores faltantes.
x
Indice General
Reconocimientos VII
Resumen IX
Indice de Tablas XV
Indice de Figuras XVII
Captulo 1. Introduccion 1
1.1. Definicion del Problema . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2. Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3. Hipotesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4. Alcances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5. Aporte de la Investigacion . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.6. Organizacion de la Tesis . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Captulo 2. Marco Teorico 9
2.1. Conceptos Basicos de Teora de Probabilidad . . . . . . . . . . . . . . . 9
2.1.1. Funciones de Probabilidad . . . . . . . . . . . . . . . . . . . . . 9
2.1.2. Probabilidad Condicional e Independencia . . . . . . . . . . . . 10
2.1.3. Teorema de Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.4. Variables Aleatorias y Probabilidad Conjunta . . . . . . . . . . 12
2.2. Introduccion a Grafos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2.1. Grafos Dirigidos . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2.2. Adyacencia en Grafos . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.3. Trayectorias en Grafos . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.4. Ciclos en Grafos . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.5. Orden Topologico . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.6. Representacion Computacional de Grafos . . . . . . . . . . . . . 16
2.3. Redes Bayesianas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.1. La Condicion de Markov . . . . . . . . . . . . . . . . . . . . . . 18
2.3.2. La Regla de la Cadena para BNs . . . . . . . . . . . . . . . . . 19
xi
2.3.3. Densidad y Ordenacion de Nodos en BNs . . . . . . . . . . . . . 20
2.3.4. Diferentes Estructuras de BNs . . . . . . . . . . . . . . . . . . . 21
2.3.5. Independencia Condicional en BNs . . . . . . . . . . . . . . . . 21
2.4. Recocido Simulado para Optimizacion . . . . . . . . . . . . . . . . . . 24
2.4.1. El Algoritmo de Metropolis . . . . . . . . . . . . . . . . . . . . 24
2.4.2. El Algoritmo de Recocido Simulado . . . . . . . . . . . . . . . . 25
2.4.3. Implementacion del Algoritmo de Recocido Simulado . . . . . . 26
2.5. Criterio Bayesiano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.5.1. Suposiciones del Criterio Bayesiano . . . . . . . . . . . . . . . . 28
2.6. Aprendizaje de Redes Bayesianas . . . . . . . . . . . . . . . . . . . . . 31
2.6.1. Enfoque de Busqueda y Evaluacion . . . . . . . . . . . . . . . . 31
2.6.2. Enfoque de Analisis de Dependencias . . . . . . . . . . . . . . . 35
2.7. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Captulo 3. Algoritmos de Aprendizaje de Redes Bayesianas 39
3.1. El Algoritmo SABS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.1.1. Evaluacion de BNs usando el Criterio Bayesiano . . . . . . . . . 39
3.1.2. Descripcion del Algoritmo . . . . . . . . . . . . . . . . . . . . . 41
3.1.3. Analisis de Complejidad . . . . . . . . . . . . . . . . . . . . . . 49
3.2. El Algoritmo de Tres Fases . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2.1. Aprendizaje de BNs usando Informacion Mutua . . . . . . . . . 50
3.2.2. Descripcion del Algoritmo . . . . . . . . . . . . . . . . . . . . . 51
3.2.3. Analisis de Complejidad . . . . . . . . . . . . . . . . . . . . . . 55
3.3. El Algoritmo de Inferencia . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.3.1. Analisis de Complejidad . . . . . . . . . . . . . . . . . . . . . . 58
3.4. Enfoques similares a SABS . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.5. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
Captulo 4. Metodologa y Diseno de Experimentos 63
4.1. Metodologa General . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.2. Problemas de Prueba . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2.1. La Red Bayesiana ASIA . . . . . . . . . . . . . . . . . . . . . . 66
4.2.2. La red Bayesiana ALARM . . . . . . . . . . . . . . . . . . . . . 67
4.3. Generacion de Conjuntos de Datos de Prueba . . . . . . . . . .