m etodos evolutivos. inteligencia colectiva.jrojo/pasi/lectures/costa...

Metodos evolutivosInteligencia colectiva

Enjambres de Partıculas

Metodos evolutivos.Inteligencia colectiva.

A. Jimenez, A. Murillo,E. Piza, M. Villalobos, J. Trejos.

April 27, 2010

A. Jimenez, A. Murillo, E. Piza, M. Villalobos, J. Trejos. CIMAT. Metodos de reduccion de dimension



Descripcion

1 Metodos evolutivos

Algoritmos geneticos

2 Inteligencia colectivaColonias de hormigas

Problema de agente viajeroClasificacion

Enjambre de partıculas

Problema de agente viajero




Metodos de optimizacion

Algunos metodos de optimizacion estan basados en fenomenosnaturales:

Enfriamiento de materiales

Cristalizacion de materiales

Evolucion (mutacion, recombinacion, seleccion)

Sistemas competitivos / colaborativos

Interacciones sociales




Metodos de optimizacion

Busqueda tabu (1986)

Random search (60′s)

Simulated anealing (60′s)

Algoritmos geneticos (1975)

Redes neuronales

Ant colony optimization (desde 1992)

Swarm optimization (desde 1995)



Enjambres de PartıculasAlgoritmos geneticos

Metodos evolutivos

Los metodos evolutivos estan basados en poblaciones desoluciones.

A diferencia de los metodos clasicos de mejora basados enseguimiento de trayectorias, en cada iteracion del algoritmo no setiene una unica solucion sino un conjunto de estas.

Estos metodos se basan en generar, seleccionar, combinar yreemplazar un conjunto de soluciones.




Metodos evolutivos

Dado que mantienen y manipulan un conjunto en lugar de unaunica solucion a lo largo de todo el proceso de busqueda suelenpresentar tiempos de computacion sensiblemente mas altos que losde otros metodos.

Este hecho se puede verse empeorado si la convergencia de lapoblacion requiere de un gran numero de iteraciones.




Estructura de un algoritmo evolutivo

t = 0;1

inicializar [P (t)];2

evaluar [P (t)];3

while no terminar do4

t = t+ 1;5

seleccionar P (t) de P (t− 1);6

alterar P (t);7

evaluar P (t);8

P ′(t) = mutacion[P ′(t)];9

evaluar[P ′(t)];10




Introduccion

Entre los metodos evolutivos podemos encontrar

1 Algoritmos geneticos

2 Busqueda dispersa

3 Reencadenamiento de trayectorias




Algoritmos geneticos (AG)

Los algoritmos geneticos (AG) fueron introducidos por JohnHolland (1975) inspirandose en el proceso observado en laevolucion natural de los seres vivos.

Basicamente, los AG imitan el proceso de evolucion natural, elprincipal mecanismo que guıa la aparicion de estructuras organicascomplejas y bien adaptadas.




AG: producto de evolucion

La evolucion es el resultado de las relaciones entre la creacion denueva informacion genetica y los procesos de evaluacion +seleccion.

Es la solucion al problema que cada individuo se enfrenta cada dıamediante la supervivencia.

Cada individuo en una poblacion se ve afectado por el resto deindividuos (compitiendo por recursos, emparejandose para procrear,huyendo de los depredadores, ...) y tambien por el entorno(disponibilidad de comida, clima, ...).





Los individuos mejor adaptados son los que tienen mayoresposibilidades de vivir mas tiempo y reproducirse, generando ası unaprogenie con su informacion genetica (posiblemente modificada).





A nivel de los genes, el problema de la supervivencia es el de buscaraquellas adaptaciones beneficiosas en un medio hostil y cambiante.

Debido en parte a la seleccion natural, cada especie gana unacierta cantidad de conocimiento, el cual es incorporado a lainformacion de sus cromosomas.





En el transcurso de la evolucion se generan poblaciones sucesivascon informacion genetica de los individuos cuya adecuacion essuperior a la de la media.

La naturaleza no determinista de la reproduccion provoca unacreacion permanente de informacion genetica nueva, y por tanto laaparicion de distintos individuos.





Ası pues, la evolucion tiene lugar en los cromosomas, en dondeeste codificada la informacion del ser vivo.

La informacion almacenada en el cromosoma varıa de unasgeneraciones a otras.

En el proceso de formacion de un nuevo individuo, se combina lainformacion cromosomica de los progenitores.




AG

Este modelo neo Darwiniano de la evolucion organica se refleja enla estructura de un algoritmo genetico.

Ası, los algoritmos geneticos establecen una analogıa entre elconjunto de soluciones de un problema y el conjunto de individuosde una poblacion natural, codificando la informacion de cadasolucion en una cadena (vector binario) a modo de cromosoma.




AG

Este cromosoma (unico o multiple) forma junto con su aptitud unindividuo sobre el que el algoritmo aplica sus operaciones.

En palabras del propio Holland:Se pueden encontrar soluciones aproximadas a problemas de grancomplejidad computacional mediante un proceso de evolucionsimulada




AG: ideas fundamentales

Los AG estan basados en integrar e implementar eficientementedos ideas fundamentales:

Las representaciones simples (genotipos, tales como losvectores binarios) de las soluciones del problema

La realizacion de transformaciones simples para modificar ymejorar estas representaciones




AG: elementos

Para llevar a la practica el esquema anterior y concretarlo en unalgoritmo, hay que especificar los siguientes elementos:

Una representacion cromosomica (genotipo)

Una poblacion inicial

Una medida de evaluacion (fitness o adecuacion)

Un criterio de seleccion / reemplazo de individuos

Una o varias operaciones de recombinacion

Una o varias operaciones de mutacion




AG: etapas

Podemos observar que se trata de un algoritmo en el que es posibledistinguir las tres etapas clasicas (Wah y Chang, 1997):

Generacion de la muestra inicial

Paso de optimizacion

Comprobacion de la condicion de parada




Algoritmo

t = 0;1

inicializar [P (t)];2

evaluar [P (t)];3

while no terminar do4

P ′(t) = seleccionpareja [P (t)];5

P ′(t) = recombinacion [P ′(t)];6

P ′(t) = mutacion [P ′(t)];7

evaluar [P ′(t)] ;8

P (t+ 1) = seleccionentorno [P ′(t) ∪ P (t)] ;9

t = t+ 1 ;10




AG: algoritmo

En el algoritmo anterior, P (t) denota una poblacion de µindividuos en la generacion t.

La poblacion inicial suele ser generada de forma aleatoria(restringiendose a soluciones que sean factibles).




AG: algoritmo

El algoritmo genera una nueva poblacion P ′(t) de λ individuosaplicando a P (t) un conjunto de operadores de variacion.

Tıpicamente dichos operadores son la seleccion y recombinacion deparejas junto con la mutacion de los nuevos individuos generados.




AG: evaluacion

La evaluacion sirve para asociar un valor de calidad, calculado porla funcion objetivo f(xk), para cada solucion xk representada porel individuo k−esimo de P ′(t), k = 1, ..., λ.

Aunque se suele utilizar la calidad como medida de la bondadsegun el valor de la funcion objetivo, se puede anadir un factor depenalizacion para controlar la infactibilidad en algunos problemas.




AG: etapas de seleccion

El proceso de seleccion en un AG consta de dos etapas:

1 Decidir quienes compiten por la reproduccion(emparejamiento)

2 Decidir cuales de entre todos los individuos (nuevos y viejos)van a sobrevivir

Simulando ası el proceso de seleccion del entorno (o ambiental).




AG: reemplazo

El reemplazo es elitista, de forma que se asegura la conservacionde las k mejores soluciones presentes en la poblacion actual cuandose va a generar la siguiente poblacion.

Se distingue entre tecnicas que usan la poblacion actual de µindividuos mas la nueva de λ individuos para generar la proximapoblacion -algoritmos (µ+ λ)- y las que usan los λ nuevosindividuos para reemplazar a los µ individuos antiguos -algoritmos(µ, λ)-.




AG: recombinacion

En general, un algoritmo genetico es un metaheurıstico poblacionalen donde se pueden mezclar las ideas de combinacion de bloquesde construccion basicos con la modificacion de bloquesparcialmente utiles, para avanzar hacia la region mas prometedorade la busqueda.




AG: recombinacion

Los operadores de recombinacion se aplican con alta probabilidad yusualmente han utilizado uno o varios puntos de cruce en losindividuos para intercambiar las porciones resultantes entre los dospadres.

Tambien existen variantes que consideran mas de dos padres en elproceso de recombinacion.




AG: recombinacion

Algunos de los operadores de recombinacion mas utilizados son:

De un punto: Se elige aleatoriamente un punto de ruptura enlos padres y se intercambian sus bits.

De 2 puntos: Se eligen dos puntos de ruptura al azar paraintercambiar.

Uniforme: En cada bit se elige al azar un padre para quecontribuya con su bit al del hijo, mientras que el segundo hijorecibe el bit del otro padre.

Las mutaciones mas comunes son las que modifican un bitaleatoriamente (bit flip) a baja probabilidad, o las que utilizan unruido con distribucion normal, en el caso de genotipos flotantes.




AG: convergencia

Dado que el algoritmo genetico opera con una poblacion en cadaiteracion, se espera que el metodo converja de modo que al finaldel proceso la poblacion sea muy similar, y en el infinito se reduzcaa un solo individuo.




Colonia de hormigasPAV con Colonias de hormigasClasificacion, Colonias de Hormigas

Inteligencia colectiva: definicion

Desde el punto de vista de la sociologıa

Definicion

Es una forma de inteligencia universalmente distribuida,constantemente realzada, coordinada en tiempo real, y resultandoen la movilizacion efectiva de habilidades. La base y meta deinteligencia colectiva es el reconocimiento mutuo y enriquecimientode individuos.






Definicion

Grupos de individuos que hacen cosas que parecen colectivamenteinteligentes

Donde:

Colectivo: algo que incluye multiples entidades queinteraccionan

Inteligente:

Informatica: pasa el test de TuringPsicologıa: habilidad para planificar, resolver problemas, pensarde forma abstracta, aprender.






Observaciones:

La complejidad y sofisticacion de la auto-organizacion se llevaa cabo sin un lider/jefe de la sociedad

Lo que podemos aprender de los insectos sociales lo podemosaplicar al campo del diseno de Sistemas Inteligentes

La modelizacion de los insectos sociales por medio de laauto-organizacion puede ser de ayuda para el diseno demodelos artificiales distribuidos de resolucion de problemas.






Dado que no existe un conjunto de instrucciones sobre comoactuan estas unidades, la interaccion colectiva de los agentesdentro del sistema a menudo conduce a algun tipo decomportamiento colectivo o de inteligencia.





Caracterısticas de un enjambre

Compuesto de agentes simples (Self-Organized)

Descentralizado

No hay un unico supervisor

No hay un plan global (emergente)

Robusto

Las actuaciones se completan aunque un individuo falle

Flexible

Puede responder a cambios externos

Percepcion del entorno (sentidos)

No existe un modelo explıcito de entorno/habilidad paracambiarlo





Inteligencia colectiva

Este tipo de inteligencia artificial se utiliza para explorar.

Distribuye la solucion de problemas sin tener una estructura decontrol centralizado.

Esto se ve como una mejor alternativa a la centralizada, rıgida y decontrol preprogramado.





Ejemplos de Inteligencia colectiva

Consideraciones:

Los individuos de la poblacion interactuan de forma social

Las decisiones de cada individuo dependen del propio querer yla informacion disponible de (algunos de) los demas

Se ha estudiado varios tipos:

Insectos (abejas, termitas, hormigas)

Enjambre de partıculas





Insectos

Llevan a cabo actuaciones colectivas que no serıan posiblespara un unico individuo

El repertorio de comportamientos de cada insecto es limitado

No existe acceso individual al estado completo de la colonia

No pueden hacer una division efectiva de la labor a realizar

No pueden garantizar el progreso de la colonia





Insectos: Comportamiento emergente

Las colonias de insectos llevan a cabo actuaciones de nivelcomplejo de forma inteligente, flexible y fiable, actuacionesque no serıan factibles si tuviesen que ser realizadas por uninsecto de forma individual (estos son no inteligentes, nofiables, simples).

Los insectos siguen reglas simples, y utilizan comunicacionlocal simple

La estructura global (nido) emerge desde las acciones de losinsectos (las cuales son no fiables atendidas individualmente)





Abejas

Cooperacion de la colmena

Regulan la temperatura de la colmena

Eficiencia vıa especializacion: division de la labor en la colonia

Comunicacion: Las fuentes de comida son explotadas deacuerdo a la calidad y distancia desde la colmena





Abejas





Termitas

Nido con forma de cono con paredes externas y conductos deventilacion

Camaras de camadas en el centro de la colmena

Rejillas del ventilacion en espirales

Columnas de soporte





Termitas





Hormigas

Organizan autopistas hacia y desde la comida por medio derastros de feromona





Hormigas





Inteligencia colectiva: Colonia de hormigas

El comportamiento de las colonias de hormigas ha sido uno de losmas populares de los modelos de comportamiento de enjambre.






A traves de inteligencia colectiva, las hormigas pueden

Determinar el camino mas corto a una fuente de alimentos.

Alimentar a toda la colonia.

Construir grandes estructuras.

Adaptarse a las situaciones (entorno).






Caracterısticas principales:

Los individuos dejan rastros (feromonas) en el espacio debusqueda. Desarrollan caminos mınimos entre la comida y elhormiguero.

Las decisiones se basan en una informacion individual y de lasferomonas encontradas.

La informacion (feromonas) es volatil.

Las feromonas o el compartamiento estadıstico de losindividuos define la solucion.





Inteligencia colectiva: Colonia de hormigas (PAV)

Premisa: Las hormigas prefieren aleatoriamente ciudadesconectadas por aristas con alto nivel de feromonas y que seancercanas.

1 Se colocan m hormigas artificiales en n ciudades aleatorias

2 En cada instante cada hormiga se mueve hacia una nuevaciudad y modifica el nivel de feromonas de la arista. Lasferomonas se evaporan.

3 Cuando todas terminan, la hormiga que ha realizado el caminomas corto modifica las aristas que ha recorrido depositando unnivel de feromona inversamente proporcional a la longitud delcamino recorrido. El camino mas corto recibe mas feromonas.






Para cada hormiga, pasar de la ciudad i a la ciudad j en laiteracion t del algoritmo depende de:

Para cada hormiga se maneja una lista de memoria (listatabu) que aumenta con el tour que realiza. Con esta se definepara cada hormiga k el conjunto Jki de ciudades que havisitado cuando esta en la ciudad i. Se busca que unahormiga evite visitar una ciudad mas de una vez.






La inversa de la distancia ηij = 1dij

se llamara visibilidad.

Esta basada en informacion local y representa el deseo de escogerla ciudad j cuando se esta en la ciudad i.

Puede ser usada para dirigir la busqueda de la hormiga. Lainformacion sera estatica, no variara durante la solucion delproblema.






La cantidad del rastro de feromona virtual τij(t) en el caminoque une la ciudad i con la j.

Se modifica constantemente y representa el deseo aprendido de irhacia j cuando se esta en i.

Opuesto a la distancia, el rastro de feromona es un tipo deinformacion global. Su modificacion representa el conocimientoadquirido.






La regla de transicion es la probabilidad de que la hormiga k vayadesde la ciudad i a la ciudad j mientras construye su t-esimo tour,Es dada por:

pkij(t) =[τij(t)]α · [ηij ]β∑l∈Jki

[τil(t)]α · [ηil]β

Si j ∈ Jkj y 0 si j /∈ Jkj donde α y β son dos parametros ajustablesque controlan el peso relativo de la intensidad del rastro y lavisibilidad.





Algoritmo para PAV con Colonia de hormigas

for cada nodo (i, j) do1τij = τ0;2

end3for k = 1 to m do4

Ubicar la hormiga k en una ciudad de forma aleatoria;5end6T+ = menor tour encontrado;7L+ = longitud de T+;8for t = 1 to tmax do9

for k = 1 to m do10Construir el tour Tk(t) aplicando n1 veces el siguiente paso, Escoger la proxima ciudad j con la11

probabilidad, pkij(t) =[τij(t)]

α · [ηij ]β∑

l∈Jki

[τil(t)]α · [ηil]

βdonde i es la ciudad actual

Iteraciones de actualizacion12






Iteraciones de actualizacion;1for k = 1 to m do2

Calcular la longitud Lk(t) del tour Tk(t) producido por la hormiga k3

if se encuentra una mejora al tour then4Actualizar T+ y L+5

for cada nodo (i, j) do6Actualizar el rastro de feromona aplicando la regla: τij = (1 − ρ) · τij(t) + ∆τij(t) + e · ∆τeij(t)7

for cada nodo (i, j) do8τij(t + 1) = τij(t)9

Print: El menor tour es T+ con longitud L+10






En el algoritmo anterior se utilizo:

∆τij(t) =m∑k=1

∆τkij(t),

∆τkij(t) = Q/Lk(t)

si (i, j) ∈ T k(t) o 0 de otro modo y

∆τ eij(t) = Q/L+

si (i, j) ∈ T+ o 0 de otro modo

Ademas, los valores de los parametros usados son:α = 1, β = 5, ρ = 0.5,m = n,Q = 100, τ0 = 10−6, e = 5





Clasificacion mediante Colonias de Hormigas

El objetivo de la clasificacion es hallar grupos homogeneos deobjetos, tal que los objetos similares pertenezcan a una mismaclase y sea posible distinguir objetos de distintas clases.

El criterio comunmente utilizado es el de minimizar la inerciaintraclase W .Minimizar W es equivalente a maximizar la inercia interclases B,la suma W +B es la inercia total.





Las colonias de hormigas trabajan con una poblacion de Mhormigas, cada una asociada a una particion inicial la cual escambiada mediante el algoritmo usado.

La feromona τij entre entre los objetos i, j se aumenta con valoresproporcionales a B, en el caso de objetos asociados a una mismaclase; la visibilidad β es el inverso multiplicativo de la distanciaentre los objetos.

Se define una probabilidad p de que un objeto sea transferido a lamisma clase de un objeto dado.





Algoritmo para Clasificacion con Colonia de hormigas

Inicializar M , max iter, τ0, visibilidad, probabilidad;1Inicializar las particiones P1,...,PM al azar;2Aplicar kmeans en cada Pm a fin de buscar la convergencia a un mınimo de W ;3for t = 1 to max iter do4

for m = 1 to M , S veces do5escoger al azar un objeto i;6escoger un objeto j de acuerdo a la probabilidad pij ;7asignar j a la clase de i ;8

Calcular B(P1),...,B(PM ), guardar el mejor valor;9Actualizar feromona;10






Se cuenta con 8 paquetes de archivos, cada paquete consta de unarchivo de definiciones (.def), un archivo de pesos (.Pes), unarchivo de datos (.dat) y un archivo de etiquetas (.Eti). Todoscomparten el mismo nombre con la diferencia en su contenido yextension. El formato (patron) del nombre de estos archivos es elsiguiente:

ABCDEFGHIJKLMN OPQ.*






Donde,

AB: corresponde a las iniciales del nombre de la persona quegenero el archivo, en este caso AB = ap

CDEF: corresponde a la cantidad de individuos utilizados, n.En este caso CDEF = 0105

GH: corresponde a ci si las cardinalidades de las clases soniguales o cd si las cardinalidades de las clases son distintas

IJ: indica la cantidad de clases k (ej. si k = 3, IJ=03; sik = 7 IJ=07)






KL: corresponde a la varianza, sera oi si las varianzas soniguales o bien od si las varianzas son distintas

MN: corresponde a la cantidad de las variables p, para todoslos archivos generados en este caso MN=06

OPQ: indica el numero de experimento que se realiza, entodos los archivos generados en este caso OPQ=e01






La siguiente tabla muestra las caracterısticas consideradas para lacreacion de los archivos de definiciones (.def)

Archivo Indiv. Vbles. Clases Vza. Cardin..def n p k σ = 1,σ = 3 c1, c2, ..., ck

ap0105cd03od06 e01 105 6 3 v1 = v3 = 1, v2 = 3 51, 27, 27ap0105cd03oi06 e01 105 6 3 v1 = v2 = v3 = 1 51, 27, 27ap0105ci03od06 e01 105 6 3 v1 = v3 = 1, v2 = 3 35, 35, 35ap0105ci03oi06 e01 105 6 3 v1 = v2 = v3 = 1 35, 35, 35

ap0105cd07od06 e01 105 6 7 v1, v3, ..., v7 = 1, v2 = 3 51,9,9,9,9,9,9ap0105cd07oi06 e01 105 6 7 v1 = v2 = v3 = ... = v7 = 1 51,9,9,9,9,9,9ap0105ci07od06 e01 105 6 7 v1, v3, ..., v7 = 1, v2 = 3 15,15,15,15,15,15,15ap0105ci07oi06 e01 105 6 7 v1 = v2 = v3 = ... = v7 = 1 15,15,15,15,15,15,15






Se tienen las siguientes consideraciones:

Cantidad de clases (k): Las clases se denotan c1, c2, ..., ck. Seutilizaron dos cantidades de clases, previamente asignadas,k = 3 y k = 7Varianza intraclases: la varianza se utilizo igual en todas lasclases (σ = 1) o distinta en una de ellas (σ = 3). En el casoen el que la varianza era distinta, se indico en la segundaclase, tal que v1 = v3 = ... = vk = 1 y v2 = 3






Cantidad de individuos (n): la cantidad de individuosasignada es n = 105. Esta cantidad fue distribuida en el

numero clases utilizadas, tal quek∑i=1

ci = n

Cardinalidades: las clases se construyeron con cardinalidadesiguales, y con una clase de cardinalidad distinta a las demas.Si las cardinalidades se desea sean distintas, la forma dedistribuirlas debe ser asignando a la primera clase n/2 (parteentera) de los individuos y la otra mitad distribuirla en partesiguales entre las demas clases.





Clasificacion

La clasificacion de los datos se realizo con el metodo Colonia deHormigas implementado en el programa ESTOP, utilizando elcomando Clasificacion Numerica>Hormigas.

Luego de realizar la clasificacion, los archivos resultantes deben seranalizados mediante el comando Analisis de resultados>Reporteentre un mismo metodo.






Se realizaron las clasificaciones en el programa ESTOP 0.7 y seanalizaron los resultados en ESTOP-Mayra






Se tienen ocho grupos de parametros todos con los valores encomun max iter = 25, M = 105, τ0 = 0.001, q = 0.95 y S = 3;todos con las combinaciones de los valores ρ = 0.9 o ρ = 0.7,β = 0.7 o β = 0.3 y α = 0.9 o α = 0.7.






Estas variaciones se describen a continuacion:

Grupo α ρ β

1 0.9 0.9 0.32 0.9 0.9 0.73 0.9 0.7 0.34 0.9 0.7 0.75 0.7 0.9 0.36 0.7 0.9 0.77 0.7 0.7 0.38 0.7 0.7 0.7






Archivos ap0105cd03od06: Cardinalidades distintas en las 3clases y varianzas distintas. Los valores obtenidos para todoslos grupos de parametros son W = 12.769 y W ∗ = 11.734con una tasa de atraccion del 100%

Archivos ap0105cd03oi06: Cardinalidades distintas en las 3clases y varianzas iguales. Se obtuvo, para todos los grupos deparametros W = 5.007 y W ∗ = 5.007 con una tasa deatraccion del 100%






Archivos ap0105ci03od06: Cardinalidades iguales en las 3clases y varianzas distintas. Los valores obtenidos para todoslos grupos de parametros son W = 14.333 y W ∗ = 13.15 conuna tasa de atraccion del 100%

Archivos ap0105ci03oi06: Cardinalidades iguales en las 3clases y varianzas iguales. Los valores obtenidos para todoslos grupos de parametros son W = 5.422 y W ∗ = 5.422 conuna tasa de atraccion del 100%






Archivos ap0105cd07od06: Cardinalidades distintas en las 7clases y varianzas distintas. Se obtuvo, para todos los gruposde parametros W = 8.141 y W ∗ = 7.625 con una tasa deatraccion del 100%

Archivos ap0105cd07oi06: Cardinalidades distintas en las 7clases y varianzas iguales. Se obtuvo, para todos los grupos deparametros W = 5.545 y W ∗ = 5.545 con una tasa deatraccion del 93% para el grupo 1, de un 88% para el grupo2, de un 86% para el grupo 3, de un 86 % para el grupo 4, un93% para el grupo 5, un 87% para el grupo 6, un 88% para elgrupo 7 y un 89% para el grupo 8.






Archivos ap0105ci07od06: Cardinalidades iguales en las 7clases y varianzas distintas. Se obtuvo, para todos los gruposde parametros W = 11.305 y W ∗ = 9.895 con una tasa deatraccion del 100%

Archivos ap0105ci07oi06: Cardinalidades iguales en las 7clases y varianzas iguales. Los valores obtenidos para todoslos grupos de parametros son W = 5.202 y W ∗ = 5.146 conuna tasa de atraccion del 100%






Varianza Igual

Cardinalidad n k W W ∗

Igual 105 3 5.422 5.422105 7 11.305 9.895

Distinta 105 3 5.007 5.007105 7 5.545 5.545





Varianza Distinta

Cardinalidad n k W W ∗

Igual 105 3 14.333 13.15105 7 5.202 5.146

Distinta 105 3 12.769 11.734105 7 8.141 7.625






Conclusiones:

El metodo Colonia de Hormigas realizo una exitosaclasificacion de los datos. Esto se puede observar en elporcentaje obtenido en la mayorıa de los casos (100 %).





En el caso de clasificacion de 105 individuos en 7 grupos concardinalidades distintas con igual varianza, se obtuvo la mayortasa de atraccion con el grupo 1 y el grupo 5 de parametros,los cuales coinciden en el valor de la visibilidad (0.3) y tasa deevaporacion (0.9), variando en la potencia del trazo(0.9 y 0.7respectivamente); la menor tasa se obtuvo con el grupo 3 y elgrupo 4, los cuales tienen el mismo valor de la potencia deltrazo (0.9) ası como el mismo valor de tasa de evaporacion(0.7) y difieren en el valor de la visibilidad (0.3 y 0.7).Comparando estos grupos, segun los resultados obtenidos sepuede concluir que un valor mayor en la tasa de evaporacionafecta positivamente la correcta clasificacion de datos.






El trabajo para la creacion de las tablas es necesario paraasegurar los resultados y sustentar las conclusiones.

Es necesario realizar una comparacion con clasificacionesrealizadas en conjuntos de mayor cardinalidad, ya que el quese obtengan estos resultados en conjuntos de 105 objetos noes suficiente para asegurar que la escogencia de losparametros afecta la efectividad del metodo.



Enjambres de PartıculasPAV con Enjambres de Partıculas

Inteligencia colectiva: Enjambres de Partıculas

Los enjambres de partıculas son un tipo de inteligencia deenjambre inspirado por bandadas de aves y cardumenes.

Este tipo de enjambre de optimizacion tiene agentes individualesdentro del enjambre con la capacidad de cambiar su posicion enfuncion de su propia inteligencia.





Esto permite que agentes individuales modifiquen sus rutas enfuncion del exito de los otros agentes en la poblacion, paraencontrar la solucion correcta.

Este tipo de enjambre de inteligencia se utiliza en aplicacionespracticas como en redes neuronales artificiales y la evolucion en losmodelos gramaticales.





Metaheurıstica desarrollada por Kennedy y Eberhart.

Tal comportamiento social se basa en la transmision del suceso decada individuo a los demas individuos del grupo, lo cual resulta enun proceso sinergetico que permite a los individuos satisfacer, de lamejor manera posible, sus necesidades mas inmediatas, tales comola localizacion de alimentos o de un lugar de cobijo.





Ha mostrado ser muy eficiente para resolver problemas deoptimizacion de un solo objetivo con rapidas tasas deconvergencia, haciendo atractiva la idea de su aplicacion en laresolucion problemas de optimizacion de multiples objetivos.

Consiste en un algoritmo iterativo basado en una poblacion deindividuos denominada enjambre, en la que cada individuo,llamado partıcula, se dice que sobrevuela el espacio de decision enbusca de soluciones optimas





Ası, dado un espacio de decision N−dimensional, cada partıcula idel enjambre conoce:

Posicion actual Xi = [xi1, xi2, ..., xiN ].Velocidad Vi = [vi1, vi2, ..., viN ] con la cual ha llegado a dichaposicion.

Mejor posicion Pi = [pi1, pi2, ..., piN ] en la que se haencontrado, denominada mejor posicion personal.

Ademas, todas las partıculas conocen la mejor posicion encontradadentro del enjambre G = [g1, g2, ..., gN ],denominada mejor global.





Existe otra variante en la que se definen sobre el enjambresubgrupos de partıculas, posiblemente solapados, a los que sedenominan vecindades.En tal caso las partıculas tambien conocen la mejor posicionencontrada dentro de su vecindad Li = [li1, li2, ..., liN ], a la que sedenomina mejor local.





Suponiendo el uso de la informacion proveniente del mejor global,en cada iteracion t del algoritmo, cada componente j de lavelocidad y la posicion de cada partıcula i del enjambre seactualiza conforme a:

vt+1ij = $×vtij+C1×rand()×(ptij−xtij)+C2×rand()×(gtj−xtij)

conxt+1ij = xtij + vt+1

ij





Donde $ es el parametro de inercia que regula el impacto de lasvelocidades anteriores en la nueva velocidad de la partıcula, C1 esel parametro cognitivo que indica la influencia maxima de la mejorexperiencia individual de la partıcula en su nueva velocidad y C2 esel parametro social que indica la influencia maxima de lainformacion social en el nuevo valor de velocidad de la partıcula.





La funcion rand() retorna un numero aleatorio en el intervalo[0, 1], mediante el cual se determina la influencia real de lasinformaciones individual y social en la nueva velocidad para lapartıcula.

Tıpicamente a $ se le asigna un valor fijo de 0.8 y en otros casosse le asigna un valor inicialmente entre 1 y 1.5 que se hacedecrecer durante la ejecucion del algoritmo. A los pesos C1 y C2

generalmente se les asigna el valor 2. (Shi, Beielstein)





Cuando se opta por utilizar la informacion local proveniente de lasvecindades para actualizar las partıculas, de manera a evitar quetodas ellas sean influenciadas por una unica mejor posicion, laecuacion anterior se convierte en:

vt+1ij = $×vtij+C1×rand()×(ptij−xtij)+C2×rand()×(ltij−xtij)




Algoritmo Enjambre de partıculas

C1 = 2 /* Parametro cognitivo */ ;1C2 = 2 /* Parametro social */ ;2$ = 0.8; /* Parametro de inercia */ ;3g = 1 /* Indice del mejor global */ ;4iter = 1 /* Contador de iteraciones */ ;5maxiter = 10000 /* Numero maximo de iteraciones */;6nropart = 20 /* Numero de partıculas */ ;7for i = 1 to nropart do8

part[i].pos[j] = randompos();9part[i].vel[j] = randomvel();10for j = 1 to N do11

part[i].pos[j] = randompos();12part[i].vel[j] = randomvel();13





while iter ¡= maxiter do1for i = 1 to nropart do2

/* Calcular la funcion objetivo */ ;3part[i].eval = evaluar(part[i]);4/* Guardar mejor posicion de la partıcula */ ;5if part[i].eval ESMEJORQUE mejor[i].eval then6

mejor[i].pos[] = part[i].pos[]; /* copia vectorial */ ;7mejor[i].eval = part[i].eval ;8/* Determinar el mejor global */;9if part[i].eval ESMEJORQUE mejor[g].eval then10

g = i;11end12

end13end14for i = 1 to nropart do15

for j = 1 to N do16part[i].vel[j] = $ * part [i].vel[j]+ C1 * rand() * (mejor[i].pos[j] part[i].pos[j])+17C2*rand()*(mejor[g].pos[j]part[i].pos[j]) ;part[i].pos[j] = part[i].pos[j] + part[i].vel[j];18

end19end20iter = iter + 1 ;21

end22retornar(mejor[g]) ;23




Inteligencia colectiva: Enjambres de partıculas

Las caracterısticas principales son:

Facil de describir

Facil de implementar

Pocos parametros a ajustar

Trabaja con poblaciones pequenas

Numero de evaluaciones de la funcion objetivo suele serpequena





Las caracterısticas principales son:

Cada individuo se comunica con una vecindad (las vecindadesse solapan)

Cada individuo mantiene informacion local (mejor solucionvista hasta ahora, direccion actual de busqueda, etc.)

La vecindad normalmente se mantiene fija

Se modifica la informacion local usando la informacion de losvecinos (o el mejor de ellos)

Se confina posibles cambios para evitar explosiones





La convergencia prematura suele ocurrir si todos los individuos seconcentran en una region pequena del espacio de busqueda, paraevitarlo debe considerarse:

Los individuos en la poblacion deben mantener ciertadiversidad

Se necesita una funcion de similitud

Se adaptan dinamicamente los parametros del algoritmo paraaumentar la diversidad

Se usa justamente la diversidad como opcion de parada

Se obliga diversidad en la poblacion





Adaptacion de enjambre de partıculas para el PAV (Secrest).

El espacio de decision se define como el conjunto de todaslas permutaciones posibles de los vertices del grafo delproblema.

La posicion de una partıcula corresponde a unapermutacion y las partıculas recorren el espacio dedecision pasando de una permutacion a otra.

Esta adaptacion consiste en un algoritmo de construccionde soluciones, el cual conserva la idea de que la siguienteposicion a visitar por una partıcula se deduce a partir desu posicion actual (X) y de las mejores posiciones,especıficamente del mejor global (G) y del mejor local dela partıcula (L).





Los parametros cognitivo (C1) y social (C2) se reemplazanpor los siguientes factores de influencia:

1 K1, que indica la probabilidad de seleccionar informacion de laposicion actual de la partıcula

2 K2, que indica la probabilidad de seleccionar informacion de lamejor posicion en la vecindad de la partıcula

3 K3, que indica la probabilidad de seleccionar informacion de lamejor posicion del enjambre

La suma de estos tres factores debe ser igual a 1 (100%).





posactual = Leer la posicion actual de la partıcula ;1Leer parametros K1, K2, K3, nrovertices y las mejores posiciones G y L;2nuevapos[1] = posactual[nrovertices] /* nueva posicion */ ;3for i = 2 to nrovertices do4

r = rand(100);5vertelegido = FALSE;6if r ¡= K3 then7

Elegir el vertice j que aparece luego del vertice indicado en nuevapos[i-1] en el mejor global G;8if vertice j no esta en nuevapos then9

nuevapos[i] = vertice j;10vertelegido = TRUE;11

if r ¡= (K2 + K3) OR vertelegido = FALSE then12Elegir el vertice j que aparece luego del vertice indicado en nuevapos[i-1] en la mejor posicion local L;13if vertice j no esta en nuevapos then

nuevapos[i] = vertice j;14vertelegido = TRUE ;15

if vertelegido = FALSE then16nuevapos[i] = ultimo vertice en posactual que no esta en nuevapos;17

retornar(nuevapos);18





Al observar el algoritmo de Secrest puede notarse que si un verticej aparece luego de un vertice i en la mejor posicion del enjambre yen la mejor posicion de la vecindad, este vertice j tiene unaprobabilidad K2 +K3 de aparecer luego del vertice i en la nuevaposicion para la partıcula.

Esta caracterıstica es similar a la de los algoritmos de Colonia deHormigas, en los cuales los caminos mas utilizados tienen mayorprobabilidad de ser empleados nuevamente.




Aplicaciones

Aplicaciones de la Inteligencia Artificial Swarm

Busqueda de Rutas para una Red de Satelites.Se ha demostrado que la optimizacion mediante colonias dehormigas da buenos resultados en la busqueda de rutas engrandes sistemas de telecomunicaciones y redes deordenadores.

Enjambre de partıculas tiene aplicaciones en el controldescentralizado de los vehıculos no tripulados para losmilitares.




Aplicaciones

El uso de Enjambre de partıculas en nanobots medicostambien pueden ayudar a combatir el cancer.

Enjambre de partıculas se utilizo en la creacion de la secuenciade vıdeo ”Batalla del Abismo de Helm” en la pelıcula, ElSenor de los Anillos.

Clustering de documentos. Es la operacion de agrupardocumentos similares en clases que pueden ser usadas paraobtener un analisis de su contenido. Algoritmos de Clusteringbasados en colonias de hormigas catalogan documentos de laWEB en diferentes dominios de interes.




Aplicaciones

Colonia de hormigas: Resuelven problemas que se puedenrepresentar como rutas/caminos entre nodos de un grafo.

Enjambres de partıculas : Resuelven problemas similares a losresueltos por algoritmos de Computacion Evolutiva.




Bibliografıa

Levy, Pierre. Inteligencia Colectiva, Humanidad emergente en el mundo del cyberespacio.

T. Beielstein, K. E. Parsopoulos, M.N. Vrahatis. Tuning PSO parameters through sensitivity analysis.Technical Report of the Collaborative Research Center, University of Dortmund, 2002.

Y. Shi, R. Eberhart. Parameter Selection in Particle Swarm Optimization. In Proceedings of the SeventhAnnual Conference on Evolutionary Programming, pp. 591-601, 1998

B. Secrest. Traveling Salesman Problem for Surveillance Mission Using Particle Swarm Optimization. MSThesis, AFIT/GCE/ ENG/01M-03, School of Engineering, Air Force Institute of Technology,Wright-Patterson AFB, Ohio, 2001.

J. Kennedy, R. C. Eberhart. Particle Swarm Optimization. In Proceedings of the 1995 IEEE InternationalConference on Neural Networks, pp. 19421948, Piscataway, New Jersey, 1995.

J. Kennedy, R. Eberhart. Swarm Intelligence. Morgan Kaufmann Publishers, 2001.

E. Bonabeau, M. Dorigo, G. Theraulaz. Swarm Intelligence. Santa Fe Institute Studies in the Sciences ofComplexity. New York, Oxford, 1999.

Trejos, Javier; Murillo, Alex; Piza, Eduardo. Clustering by Ant Colony Optimization

Trejos, Javier; Murillo, Alex; Piza, Eduardo; Pacheco, Alexia. Comparison of Metaheuristics forPartitioning in Cluster Analysis


m etodos evolutivos. inteligencia colectiva.jrojo/pasi/lectures/costa...

Documents