actas del x congreso español - geneura...

Actas del X Congreso Español

sobre Metaheurísticas,

Algoritmos Evolutivos y Bioinspirados

MAEB 2015

Editadas por:

Francisco Chávez de la ORafael M. Luque Baena

Francisco LunaFrancisco Fernández de Vega

Mérida - Almendralejo4, 5 y 6 de febrero de 2015

Edita: Francisco Chávez de la O, Rafael M. Luque-Baena, Francisco Luna, Francisco Fernández de VegaCentro Universitario de MéridaUniversidad de Extremadura

Derechos reservados

c� Los autores

Diseño de cubierta: Cayetano Cruz García

ISBN: 978-84-697-2150-6

iv

Comité Organizador

Cayetano Cruz GarcíaUniversidad de Extremadura

Josefa Díaz ÁlvarezUniversidad de Extremadura

Francisco Chávez de la OUniversidad de Extremadura

Francisco Fernández de VegaUniversidad de Extremadura

Francisco LunaUniversidad de Extremadura

Rafael M. Luque-BaenaUniversidad de Extremadura

v

Comité Director

Enrique AlbaUniversidad de Málaga

Abraham DuarteUniversidad Rey Juan Carlos

Francisco Fernández de VegaUniversidad de Extremadura

José Antonio GámezUniversidad de Castilla-La Mancha

Francisco HerreraUniversidad de Granada

J. Ignacio HidalgoUniversidad Complutense de Madrid

César HervásUniversidad de Cordoba

Rafael MartíUniversidad de Valencia

Juan Julián MereloUniversidad de Granada

José A. MorenoUniversidad de La Laguna

Luciano SánchezUniversidad de Oviedo

vii

Comité de Programa

Jesús Aguilar, Universidad Pablo de OlavideEnrique Alba, Universidad de MálagaCarlos Andrés Romano, U. Politécnica de ValenciaAda Álvarez, Universidad Autónoma de Nuevo LeónRamón Álvarez-Valdés, Universidad de ValenciaLourdes Araujo, Universidad Nacional a DistanciaJaume Bacardit, University of NottinghamJulio R. Banga, CSICJoaquín Bautista, Universidad Politécnica de CataluñaJosé Manuel Benítez, Universidad de GranadaChristian Blum, Universidad Politécnica de CataluñaRafael Caballero, Universidad de MálagaVicente Campos, Universitat de ValènciaJorge Casillas, Universidad de GranadaPedro A. Castillo Valdivieso, Universidad de GranadaFrancisco Chicano, Universidad de MálagaFrancisco Chávez, Universidad de ExtremaduraCarlos A. Coello Coello, CINVESTAV - IPNÁngel Corberán, Universidad de ValenciaOscar Cordón, Universidad de GranadaCarlos Cotta, Universidad de MálagaAntonio Córdoba, Universidad de SevillaBernabé Dorronsoro, Universidad de LuxemburgoAbraham Duarte, Universidad Rey Juan CarlosRichard Duro, Universidad da CoruñaAdenso Díaz, Universidad de OviedoJosé Egea, Universidad Politécnica de CartagenaFrancisco Javier Elorza, U. Politécnica de MadridAntonio J. Fernández, Universidad de MálagaFrancisco Fernández, Universidad de ExtremaduraMiguel Frade, Instituto Politécnico de LeiriaMario Garcia, Instituto Politécnico de TijuanaMaribel García Arenas, Universidad de GranadaEduardo García Pardo, Universidad Rey Juan CarlosCarlos García, Universidad de CórdobaNicolás García, Universidad de CórdobaSalvador García, Universidad de JaénRaúl Giraldez, Universidad Pablo de OlavideJosé Luís González-Velarde, Inst. Tec. de MonterreyAntonio González, Universidad de GranadaPedro González, Universidad de JaénJosé Antonio Gutiérrez, Universidad de CórdobaJosé Antonio Gámez, U. de Castilla-La ManchaJuan A. Gómez Pulido, Universidad de ExtremaduraFrancisco Herrera, Universidad de GranadaCesar Hervás, Universidad de CórdobaJosé Ignacio Hidalgo, U. Complutense de MadridMaría José del Jesús, Universidad de JaénAngel A. Juan, Universitat Oberta de CatalunyaManuel Laguna, Universidad de ColoradoDario Landa Silva, University of NottinghamHelena Ramalhinho Lourenco, U. Pompeu Fabra

José Antonio Lozano, Universidad del País VascoManuel Lozano, Universidad de GranadaFrancisco Luna, Universidad de MálagaGabriel J. Luque, Universidad de MálagaRafael M. Luque-Baena, Universidad de ExtremaduraLuís Magdalena, European Centre for Soft ComputingRafael Martí, Universitat de ValènciaFrancisco Martínez, Universidad de CórdobaBelén Melián, Universidad de La LagunaAlexander Mendiburu, Univ. del País VascoJulián Molina, Universidad de MálagaJ. Marcos Moreno, Universidad de La LagunaJosé A. Moreno, Universidad de La LagunaAntonio J. Nebro, Universidad de MálagaJulio Ortega, Universidad de GranadaDomingo Ortiz, Universidad de CórdobaLuis de la Ossa, Universidad de Castilla-La ManchaJosé Otero, Universidad de OviedoJoaquín Pacheco, Universidad de BurgosJuan J. Pantrigo, Universidad Rey Juan CarlosFrancisco Parreño, Universidad de Castilla-La ManchaDavid Pelta, Universidad de GranadaAntonio Peregrín, Universidad de HuelvaJosé Miguel Puerta, U. de Castilla-La ManchaCynthia Pérez, Tecnológico de SinaloaM. Elena Pérez, Universidad de ValladolidJuan R. Rabuñal, Universidad da CoruñaIgnacio Requena, Universidad de GranadaJosé Riquelme, Universidad de SevillaJose Luís Risco-Martín, U. Complutense de MadridVíctor Rivas, Universidad de JaénRubén Ruiz, Universidad Politécnica de ValenciaRoger Ríos, Universidad Autónoma de Nuevo LeónSancho Salcedo, Universidad de AlcaláRoberto Santana, Universidad Politécnica de MadridAntonio Sanz Montemayor, U. Rey Juan CarlosThomas Stützle, Université Libre de BruxellesYago Sáez, Universidad Carlos III de MadridAna María Sánchez, Universidad de GranadaLuciano Sánchez, Universidad de OviedoLeonardo Trujillo, Instituto Tecnológico de TijuanaÁngel Udías, Universidad Rey Juan CarlosMiguel A. Vega Rodríguez, U. de ExtremaduraSebastián Ventura, Universidad de CórdobaJosé Luís Verdegay, Universidad de GranadaGabriel Villa, Universidad de SevillaPedro Villar, Universidad de GranadaJuan Villegas, Universidad Autónoma MetropolitanaGabriel Winter, U. de las Palmas de Gran CanariaAmelia Zafra, Universidad de Córdoba

ix

Índice General

Sesión general

Planificación de celdas de reporte con el algoritmo SPEA2Víctor Berrocal-Plaza, Miguel A. Vega-Rodríguez, Juan M. Sánchez-Pérez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Algoritmo Genético con Diversificación Voraz y Equilibrio entre Exploración y ExplotaciónAndrés Herrera-Poyatos, Francisco Herrera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Introducing Mixtures of Generalized Mallows in Estimation of Distribution AlgorithmsJosian Santamaría, Josu Ceberio, Alexander Mendiburu, Roberto Santana, José A. Lozano . . . . . . . . . . . . . . . . . . . . 19

Un Algoritmo Evolutivo para la Reducción de Tiempos de Viaje y Emisiones Utilizando PanelesLEDDaniel H. Stolfi, Enrique Alba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

Algoritmo memético basado en regiones con archivo externo para optimización multimodalBenjamin Lacroix, Daniel Molina, Francisco Herrera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

El problema de los cortafuegos. Resultados con métodos heurísticos y con programación linealenteraCarlos García-Martínez, Christian Blum, Francisco Javier Rodríguez, Manuel Lozano . . . . . . . . . . . . . . . . . . . . . . . . . 43

Estudio preliminar sobre visualización y clasificación de la calidad de la emisión de sonido en elClarineteFrancisco Fernández de Vega, Francisco Chávez de La O, Carlos M. Fernandes, Antonio Mora, J.J. Merelo . . . . 51

Generación de Secuencias de Pruebas Funcionales con Algoritmos Bio-inspiradosJavier Ferrer, Peter M. Kruse, Francisco Chicano, Enrique Alba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

Ajuste Probabilístico de Modelos de Glucosa obtenidos mediante Gramáticas EvolutivasJ. Ignacio Hidalgo, Rafael Villanueva, José Manuel Colmenar, José L. Risco-Martín, Esther Maqueda, JuanCarlos Cortés, Almudena Sánchez, Marta Botella, José Antonio Rubio, Juan Lanchares, Óscar Garnica, AlfredoCuesta, Francisco Santonja, Iván Contreras, José Manuel Velasco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

Una Metaheurística Multiarranque para el Problema de la Partición Entera Común MínimaManuel Lozano, Francisco Javier Rodríguez, Carlos García-Martínez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

Beam Search para la búsqueda de caminos en redes complejas con entidades semánticasFrancisco Vélez, Enrique Herrera-Viedma, Óscar Cordón . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

Registrado evolutivo de fragmentos craneales en 3D mediante Scatter SearchEnrique Bermejo, Alejandro León, Sergio Damas, Óscar Cordón . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

A Comparison of Estimation of Distribution Algorithms for the Linear Ordering ProblemJosu Ceberio, Alexander Mendiburu, José A. Lozano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

xiii

Algoritmo de aprendizaje de redes bayesianas basado en algoritmos de colonias de hormigas ymodelos sustitutos con estructura de árbolJuan Ignacio Alonso-Barba, Luis de La Ossa, José A. Gámez, José Miguel Puerta . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

Generación de reglas difusas tipo TSK-1 basada en el principio apriori derivando el sistema dereglas mediante búsqueda localJavier Cózar, Luis de la Ossa, José A. Gámez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

Modelo de Reglas de Asociación para el Diagnóstico de Prestaciones en el Servicio Público deEmpleo EstatalJosé Antonio Sánchez, José M. Luna, Sebastián Ventura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

Algoritmos Heurísticos al Problema de Máxima Diversidad de Mínima SumaAnna Martínez Gavara, Vicente Campos, Manuel Laguna, Rafael Martí . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

Un procedimiento basado en GRASP para un problema de asignación de equipos médicos dediagnóstico en una red de hospitales públicosRodolfo Mendoza Gómez, Roger Z. Ríos Mercado, Karla B. Valenzuela Ocaña . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

Un método multi-arranque aleatorizado para un problema de diseño de una red de caminos yubicación de maquinaria y patios forestales con consideraciones ambientalesAna L. González-Estrada, Roger Z. Ríos Mercado, Óscar A. Aguirre-Calderón . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143

Análisis del espacio de funciones aditivamente descomponibles para dimensiones pequeñasJosé A. Lozano, Iván Sánchez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

Un enfoque multiobjetivo para la planificación multinivel de lotes de trabajos en sistemas distri-buidosSantiago Iturriaga, Bernabé Dorronsoro, Andrei Tchernykh, Sergio Nesmachnow, Pascal Bouvry . . . . . . . . . . . . . . 157

Optimizando el gasto de energía en redes de sensores con la utilización del conformado de hazJuan Carlos González-Macías, Francisco Luna, Rafael M. Luque-Baena, Juan F. Valenzuela-Valdés, Pablo Padilla

165

Estudio preliminar del rendimiento de familias de algoritmos multiobjetivo en diseño arquitectónicoAurora Ramírez, José-Raúl Romero, Sebastián Ventura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

Predicción a muy corto plazo de series temporales de volumen de tráfico rodado mediante co-evolución de RBFNsVíctor Rivas, Elisabet Parras-Gutiérrez, Antonio Fernández Ares, Pedro A. Castillo, Pedro García-Fernández,Maribel García Arenas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

Implementación de algoritmos meméticos con capacidad de auto-generación sobre CouchBDManuel García García, Mariela Nogueira, Carlos Cotta Porras, Antonio J. Fernández-Leiva, J.J. Merelo . . . . . . 189

SIPESCA-B: presentando un benchmark de series temporales de datos reales para la prediccióndel tráficoPedro A. Castillo, Antonio Fernández Ares, Maribel García Arenas, Antonio Mora, Pablo García Sánchez, VíctorRivas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

Interpolación espacial para la predicción de la radiación solar mediante gradient tree boostingRicardo Aler, José M. Valls, Inés M. Galván . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

Un algoritmo de colonias de abejas artificiales para el problema de agrupación de máxima diver-sidadFrancisco Javier Rodríguez Díaz, Manuel Lozano, Carlos García-Martínez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

Algoritmo evolutivo para optimizar ensembles de clasificadores multi-etiquetaJosé M. Moyano, Eva Gibaja, Alberto Cano, José M. Luna, Sebastián Ventura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

xiv

Optimización de la deconvolución de perfiles de difracción mediante algoritmos evolutivosSidolina Pereira Dos Santos, Juan Antonio Gómez Pulido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

Optimización Multi-objetivo del Consumo de Energía y Tiempo de Ejecución en una MemoriaCache de primer nivel para Sistemas EmpotradosJosefa Díaz-Álvarez, José Manuel Colmenar, José L. Risco-Martín, Juan Lanchares . . . . . . . . . . . . . . . . . . . . . . . . . . . 233

Sesión especial: Metaheurísticas en Empresas y ProducciónOrganizadores: Joaquín Bautista, Óscar Cordón, Sergio Damas

Aplicación de metaheurísticas en la optimización de pasos superiores de carreterasJosé V. Martí, Víctor Yepes, Tatiana García-Segura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241

Algoritmos GRASP para el equilibrado de líneas con riesgo ergonómico mínimoJoaquín Bautista, Rocío Alfaro, Cristina Batalla, Sara Llovera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249

Aplicación de Técnicas de Inteligencia Computacional a un Sistema de Ciberseguridad CorporativaPaloma de Las Cuevas, Antonio Mora, J.J. Merelo, Pedro A. Castillo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257

A Refined GRASP Algorithm for the Extended Car Sequencing ProblemElvira Laković, Manuel Chica, Sergio Damas, Joaquín Bautista, Óscar Cordón . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

Sesión especial: Metaheurísticas en logística portuaria y problemas afinesOrganizadores: Belén Melián, J. Marcos Moreno

Un Problema Real de Planificación de Rutas de Vehículos con IntermodalidadJesica de Armas, Belén Melián, Julio Brito, Eduardo Lalla Ruiz, Christopher Expósito Izquierdo . . . . . . . . . . . . . . 273

Búsqueda por Entornos Variables para el Problema de Asignación de AtraquesEduardo Lalla Ruiz, Christopher Expósito Izquierdo, Jesica de Armas, Belén Melián, J. Marcos Moreno-Vega . . 281

Modelos y algoritmos para el problema de la asignación de atraques en una terminal de contene-doresJuan Francisco Correcher, Pablo Froján, Ramón Álvarez-Valdés, Gerasimos Koulouris, José Manuel Tamarit . . 289

Un GRASP reactivo para el problema de planificación de la estibaFrancisco Parreño, Ramón Álvarez-Valdés, Dario Pacino . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297

Planificación de rutas para productos perecederos utilizando un híbrido GRAP-VNSJulio Brito, Airam Expósito, José Andrés Moreno Pérez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .305

Modelado del transbordo de contenedores en una terminal marítima de contenedoresChristopher Expósito Izquierdo, Jesica de Armas, Eduardo Lalla Ruiz, Belén Melián, J. Marcos Moreno-Vega . . 313

Sesión especial: Metodologías y Herramientas Software para la Investigaciónsobre Metaheurísticas

Organizadores: Francisco Chicano, Gabriel Luque

Using the Page Trend Test to Analyze the Convergence of Evolutionary AlgorithmsJoaquín Derrac, Sheldon Hui, Ponnuthurai Nagaratnam Suganthan, Salvador García, Francisco Herrera . . . . . . . 321

xv

Teoría del valor extremo como criterio de parada en la optimización heurística de puentesVíctor Yepes, José V. Martí . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329

Descomposición en Landscapes Elementales del Problema de Diseño de Redes de Radio con Apli-cacionesFrancisco Chicano, Franco Arito, Enrique Alba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337

Optimización Multi-objetivo Basada en Preferencias para la Planificación de Proyectos SoftwareRubén Saborido, Francisco Chicano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345

Describiendo experimentos de optimización con MOEDLJosé Antonio Parejo Maestre, Sergio Segura, Antonio Ruiz-Cortés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .353

Optimización de Problemas Multiobjetivo de Ingeniería Civil con jMetalAntonio J. Nebro, Gustavo R. Zavala, Juan J. Durillo, Francisco Luna . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .361

Sesión especial: Metaheurísticas, Algoritmos Evolutivos y Bioinspirados en Bio-informática

Organizadores: Miguel A. Vega-Rodríguez, Sergio Santander-Jiménez, ÁlvaroRubio-Largo, David L. González-Álvarez

Análisis Comparativo de Implementaciones del Algoritmo Multiobjective Artificial Bee Colonypara Reconstrucción FilogenéticaSergio Santander-Jiménez, Miguel A. Vega-Rodríguez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369

Docking Inter/Intra-Molecular Mediante Metaheurísticas Multi-objetivoEsteban López-Camacho, María Jesús García Godoy, José García-Nieto, Antonio J. Nebro, José F. AldanaMontes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377

Ruteo de Micro-fluidos en Biochips Digitales: Un enfoque basado en Colonia de HormigasCarlos Mendoza, Eduardo Szaran, Diego Pedro Pinto Roa, Carlos Brizuela . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385

Sesión especial: Búsqueda dispersa y re-encadenamiento de trayectoriasOrganizadores: Manuel Laguna, Rafael Martí

Búsqueda dispersa para un problema de localización de concentradoresRafael Martí, Ángel Corberán, Juanjo Peiró . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393

Búsqueda dispersa aplicada al problema del paso de bandaJesús Sánchez-Oro, Abraham Duarte, Rafael Martí, Manuel Laguna . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401

Sesión especial: Simheurísticas en Logística, Transporte, y ProducciónOrganizadores: Ángel A. Juan, Javier Faulin, Helena Ramalhinho Lourenço

Técnicas estadísticas aplicadas a la selección de valores para parámetros de metaheurísticasLaura Calvet, Ángel A. Juan, Carles Serrat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409

Tamaño y Composición de Flotas de Vehículos en Problemas de Rutas con Retorno: Un MétodoHeurístico con Aleatoriedad SesgadaJavier Belloso, Ángel A. Juan, Javier Faulín . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417

xvi

Un algoritmo basado en aleatorización sesgada para la recolección eficiente de residuos en ciudadesinteligentesAljoscha Gruler, Christian Fikar, Ángel A. Juan, Patrick Hirsch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423

Resolviendo el problema de rutas de vehículos con criterio medioambiental mediante una búsquedatabúSergio Úbeda, Javier Faulin, Adrián Serrano, Francisco Arcelus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429

Network design considering risk aversionLuis Cadarso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437

Uso combinado de métodos exactos con heurística aleatorizada para la programación y enruta-miento de servicios médicos domiciliariosCarlos Quintero-Araujo, Andrés F. Torres-Ramos, Edgar H. Alfonso-Lizarazo, Lorena S. Reyes-Rubiano, ÁngelA. Juan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441

Sesión especial: Desarrollo de videojuegos y software de entretenimientoOrganizadores: Antonio J. Fernández, Antonio Mora, Raúl Lara

Diseño de un Simulador de Bajo Coste para Vehículos Aéreos no TripuladosVíctor Rodríguez-Fernández, Héctor Menéndez, David Camacho . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447

Desarrollo de un Bot Evolutivo Interactivo para Unreal Tournament 2004José Luis Jiménez López, Antonio J. Fernández-Leiva, Antonio Mora . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455

Optimización en videojuegos: retos para la comunidad científicaRaúl Lara Cabrera, Mariela Nogueira, Carlos Cotta, Antonio J. Fernández-Leiva . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463

Diseño de bots competitivos para un juego de estrategia en tiempo real usando programacióngenética: análisis de funciones de fitnessAntonio Fernández Ares, Pablo García Sánchez, Antonio Mora, Pedro A. Castillo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471

Videojuegos Serios en Educación Infantil y PrimariaRafael Prieto de Lope, Daniel Díaz Salas, Jahiel Jerónimo, Nuria Medina Medina, Carlos García Cruz . . . . . . . . 479

Diseño de la experimentación para evaluar la efectividad de Behavior BricksIsmael Sagredo-Olivenza, Pedro Pablo Gómez-Martín, Marco Antonio Gómez-Martín, Pedro A. González-Calero487

RPG Quest Generation using a Search-based Approach and Partial Ordering PlanningÁlvaro Gutiérrez, José M. Peña, Luis Peña, Antón Planells . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495

Sesión especial: Algoritmos paralelosOrganizadores: Enrique Alba, Francisco Luna

Comunicación eficiente entre vehículos aplicando un algoritmo multi-objetivo paraleloJamal Toutouh, Enrique Alba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503

Integrando ECJ con HadoopFrancisco Chávez de La O, Daniel Lanza, Francisco Fernández de Vega, Gustavo Olague, Leonardo Trujillo . . . . 511

Planificación multiobjetivo de viajes compartidos en taxis utilizando un micro algoritmo evolutivoparaleloRenzo Massobrio, Óscar Gabriel Fagúndez de Los Reyes, Sergio Nesmachnow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519

xvii

Un SMS-EMOA paralelo para resolver un problema real de ingeniería civilFrancisco Luna, Gustavo R. Zavala, Antonio J. Nebro, Juan J. Durillo, Carlos A. Coello Coello . . . . . . . . . . . . . . .527

Sesión especial: Algoritmos multiobjetivoOrganizadores: Enrique Alba, Mariano Luque

Un Nuevo Algoritmo Evolutivo en Programación Multiobjetivo para Aproximar el Frente Óptimode ParetoMariano Luque, Ana B. Ruiz, Rubén Saborido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535

Paginación gaussiana en áreas de registro. Análisis de rendimiento multi-objetivoVíctor Berrocal-Plaza, Miguel A. Vega-Rodríguez, Juan M. Sánchez-Pérez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543

Cooperación paralela para selección multiobjetivo de características en problemas de dimensiónelevadaDragi Kimovski, Julio Ortega, Andrés Ortiz, Raúl Baños . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 551

Aplicación de algoritmos evolutivos multiobjetivo al diseño de circuitos integrados: criterios dedetenciónElisenda Roca, Rafael Castro-López, Francisco V. Fernández . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 559

Reconocimiento de punto láser en sistemas de interacción mediante algoritmos multiobjetivosFrancisco Chávez de La O, Eddie Clemente, Daniel Hernández, Francisco Fernández de Vega, Gustavo Olague .567

Algoritmos evolutivos para un modelo multi-objetivo de selección de carteras con restricción decardinalidadEnriqueta Vercher, José D. Bermúdez, Rubén Saborido, Ana B. Ruiz, Mariano Luque . . . . . . . . . . . . . . . . . . . . . . . . . 575

Sesión especial: Metaheurísticas y soft computing en contextos complejosOrganizadores: José Luis Verdegay, David A. Pelta

Criterios de inversión y evaluación de la responsabilidad social mediante Soft ComputingClara Calvo, Carlos Ivorra, Vicente Liern, Blanca Pérez-Gladish . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 581

RankFSP: Procedimiento de Búsqueda del Pescador aplicado al Aprendizaje de la Ordenación enRecuperación de InformaciónÓscar Alejo, Juan M. Fernández-Luna, Juan F. Huete . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589

Una herramienta para la experimentación y análisis estadístico en ambientes dinámicosPavel Novoa-Hernández, Carlos Cruz Corona, David Pelta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597

Comparación de algoritmos metaheurísticos en la resolución del problema de planificación de rutasde camiones y remolques con restricciones difusasIsis Torres Pérez, Alejandro Rosete Suárez, Carlos Cruz Corona, José Luis Verdegay . . . . . . . . . . . . . . . . . . . . . . . . . . 605

Comparativa de algoritmos de inserción para un DVRPTWAlondra De Santiago, Belén Melián, Ada Álvarez, Francisco Ángel-Bello . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .613

Optimización de Sistemas Basados en Reglas Difusas para la predicción de congestión a corto plazoPedro López, Enrique Onieva, Asier Perallos, Laura Arjona, Eneko Osaba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621

xviii

Sesión especial: Búsqueda de Vecindad VariableOrganizadores: Abraham Duarte, Eduardo G. Pardo

BVNS para el problema del bosque generador k-etiquetadoSergio Consoli, Nenad Mladenovic, José Andrés Moreno Pérez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629

Búsqueda de Vecindad Variable Básica para la minimización del tiempo máximo en el Problemadel Empaquetamiento de PedidosBorja Menéndez Moreno, Eduardo García Pardo, Abraham Duarte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637

Mejorando la eficiencia de sistemas embebidos utilizando estrategias paralelas de búsqueda devecindad variableJesús Sánchez-Oro, Abraham Duarte, Rafael Martí . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645

Variantes de VNS para el Problema de Dispersión Max-MeanFrancisco Gortázar, Rubén Carrasco, An Thanh Pham, Micael Gallego, Abraham Duarte . . . . . . . . . . . . . . . . . . . . . . 653

Búsqueda de vecindad variable para problemas de programación entera no lineaJosé A. Egea, Julio Sáez-Rodríguez, Julio R. Banga . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659

Sesión especial: Algoritmos evolutivos y creatividadOrganizadores: Francisco Fernández de Vega

Diseñando Problemas Sintéticos de Clasificación con Superficie de Aptitud DeceptivaEnrique Naredo, Leonardo Trujillo, Francisco Fernández de Vega, Sara Silva, Pierrick Legrand . . . . . . . . . . . . . . . . 667

Incluyendo el elitismo en el modelo creativo mediante algoritmos evolutivos desconectadosLilian Navarro Moreno, Francisco Fernández de Vega, Cayetano Cruz García . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675

Sesión especial: Análisis y reconocimiento de patrones basado en modelos yalgoritmos bio-inspirados

Organizadores: Leonardo Trujillo, Gustavo Olague

Algoritmo Masivamente Paralelo Inspirado en el Modelo de la Corteza Visual Artificial para elReconocimiento de ObjetosBenjamín Hernández, Gustavo Olague, Daniel Hernández, Eddie Clemente, Andersen Herrera . . . . . . . . . . . . . . . . . 683

Detección de objetos en imágenes naturales utilizando el paradigma de la programación cerebralcon un enfoque multiobjetivoEddie Clemente, Gustavo Olague, Daniel Hernández, José Luis Briseño, José Mercado . . . . . . . . . . . . . . . . . . . . . . . . 691

Algoritmo híbrido de enjambre de luciérnagas y aceptación por umbrales para diseño de vigasTatiana García-Segura, Víctor Yepes, José V. Martí, Julián Alcalá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699

Modelo Computacional para la Detección de Zonas Reactivas en Concreto Tratado con Acetatode UraniloCecilia Olague, Gustavo Olague, José Antonio Pérez, Eddie Clemente, Gilberto Wenglas . . . . . . . . . . . . . . . . . . . . . . . 707

Programación Cerebral para el Seguimiento de Objetos Basado en la Atención VisualDaniel Hernández, Gustavo Olague, Eddie Clemente, José Luis Briseño, Paul Llamas . . . . . . . . . . . . . . . . . . . . . . . . . 715

xix

Sesión especial: Procesamiento de imágenes y vídeoOrganizadores: Enrique Domínguez, Esteban Palomo, Rafael M. Luque-Baena

Selección del espacio de color para video-segmentacion mediante redes neuronales autorganizadasRafael M. Luque-Baena, Esteban J. Palomo, Ezequiel López-Rubio, Enrique Dominguez, Francisco Javier López-Rubio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723

Reconocimiento de rostros a partir de la propia imagen usando técnica CBIRCesar Benavides-Alvarez, Juan Villegas-Cortez, Graciela Román-Alonso, Carlos Aviles Cruz . . . . . . . . . . . . . . . . . . 733

Sesión especial: Computación evolutiva y bioinspirada aplicada a problemas deagrupación y clustering

Organizadores: David Camacho, Sancho Salcedo, Antonio Portilla

Algoritmo K-means adaptativo para clustering basado en grafosGema Bello Orgaz, Héctor Menéndez, David Camacho . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 741

Análisis de Tendencias Espacio-Temporales de Temperatura en Europa mediante ClusterizaciónAcoplada a DatosMihaela Chidean, Jesús Muñoz-Bulnes, Eduardo Del Arco, Julio Ramiro-Bargueno, Antonio Caamaño-Fernández,Sancho Salcedo-Sanz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 749

Índice de autores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757

xx

SIPESCA-B: presentando un benchmark deseries temporales de datos reales para la

prediccion del traficoP. A. Castillo1 , A. Fernandez-Ares1, M. G. Arenas1, A. M. Mora1,

P. Garcıa-Sanchez1, P. de las Cuevas1, V. M. Rivas2

Resumen—En el ambito de la gestion del trafico no exis-

ten benchmarks publicos obtenidos a partir de datosreales disponibles para la comunidad, de forma quepuedan probar sus metodos de extraccion de infor-macion y comparar sus resultados con los obtenidospor otros investigadores. En este trabajo se presen-ta el benchmark SIPESCA-B, un conjunto de seriestemporales obtenidas a partir de la monitorizacion deltrafico en varios puntos de la red de carreteras anda-luza. Se trata de datos reales relativos al numero devehıculos que han pasado por ciertos puntos a lo lar-go de varios meses. Las series de datos se facilitan enformatos sencillos y ampliamente extendidos y se handejado disponibles en un repositorio publico. El ob-jetivo de este trabajo es ofrecer acceso y detalles delbenchmark propuesto a otros investigadores, ası co-mo unos resultados preliminares con varios metodosde prediccion que sirvan para la comparacion de fu-turos resultados publicados en el area de la gestion yprediccion del trafico.

Palabras clave—Benchmarks, Prediccion del flujo detrafico, Bluetooth, Series temporales

I. Introduccion

En diversos campos existen benchmarks estandarque son utilizados ampliamente por los investigado-res, tal como el Proben1 [1] en el area de las redesneuronales artificiales o el benchmark de la compe-ticion de optimizacion funcional del congreso IEEECongress on Evolutionary Computation [2].

Sin embargo, en otros campos hay una necesidadde este tipo de problemas reales, como por ejemploen el area de la gestion del trafico. En este area, porla tipologıa de los problemas, existe una dificultad deobtener datos reales. En algunos casos por la dificul-tad de disponer de los datos en un formato adecuado[35], y en otros casos por tratarse de datos comer-ciales confidenciales [37] obtenidos, p.ej. en peajesde autopistas [36]. Esto hace que solo en ciertos tra-bajos de investigacion se puedan usar, con lo que esimposible comparar resultados con otros.

Es por esto que muchos investigadores presentansus trabajos usando simuladores de trafico [31] obenchmarks artificiales para obtener datos con losque trabajar (aplicarles algoritmos de extraccion deinformacion o prediccion). Entre estos benchmarkssinteticos cabe destacar:

1Depto de Arquitectura y Tecnologıa de Computadores. CI-TIC. Univ. Granada. e-mail: [email protected]

2Depto de Informatica. Escuela Politecnica Superior deJaen. Univ. Jaen

El Linear Road Benchmark, que utiliza el MITTrac Simulator para simular el movimiento devehıculos en un peaje [39].

El DynaMark Benchmark, que simula el movi-miento de usuarios, actualizando su posicion concierta periodicidad [42].

El COST Benchmark, que simula objetos movilesy actualiza su posicion 2D periodicamente [41].

El BerlinMOD Benchmark, que simula datosespacio-temporales del movimiento de vehıculos so-bre una red de carreteras real [40].

El GSMARK Benchmark, que genera datos a par-tir de una carretera real sobre la que se simula elmovimiento de vehıculos [38].

El benchmark publico del Transport and LogisticDivision of the Department of Urban Planning andEnvironment, compuesto por datos reales de la po-sicion GPS de 1500 taxis y 400 camiones circulandopor las calles de Estocolmo [33].

Ası pues, hay una necesidad clara de benchmarksestandar basados en datos reales del trafico, ası comoreglas o convenciones para usarlos en la evaluacionde metodos de prediccion en la gestion del trafico.Una forma de arreglar este problema es fomentar quelos investigadores o bien usen benchmarks estandar obien publiquen no solo los resultados obtenidos sinotambien los datos del problema utilizado y su des-cripcion detallada.

Como se ha indicado, no basta con un conjunto deproblemas y reglas, sino que hay que asegurarse deque los resultados obtenidos al utilizar dichos pro-blemas sean comparables y reproducibles. Para ellohay que disponer de unos resultados de referenciaque sirvan de base para las comparaciones.

Disponiendo del benchmark a partir de datosreales, las reglas de aplicacion/documentacion, y losresultados base para la comparacion, se facilita eltrabajo de los investigadores, asegurando la repro-ducibilidad y comparabilidad de resultados [34].

En este sentido, SIPESCA-B pretende ser un pri-mer paso hacia un benchmark estandar para el areade la gestion del trafico, compuesto de diversas se-ries temporales obtenidas a partir de datos reales delpaso de vehıculos por diversos puntos de las carre-teras andaluzas. Su disponibilidad facilita el accesoa los investigadores a datos reales de movilidad enformatos sencillos y ampliamente extendidos.

X Congreso Español sobre Metaheurísticas, Algoritmos Evolutivos y Bioinspirados (MAEB 2015)

197

Ademas, siguiendo las recomendaciones de Pre-chelt [1], se proponen una serie de reglas para llevara cabo la aplicacion de metodos de prediccion a estosproblemas.

El hecho de preferir problemas basados en datosreales frente a datos artificiales o sinteticos hace quela investigacion y sus resultados sean relevantes enal menos un ambito [1], [34].

El resto del trabajo esta organizado como se in-dica a continuacion: En la Seccion II se presenta elproyecto de investigacion dentro del cual se enmarcaeste trabajo y se detalla como se han obtenido losdatos para construir las series temporales. La Sec-cion III propone una serie de medidas de error autilizar al llevar a cabo las predicciones, de formaque los resultados sean comparables con los presen-tados por otros autores. A continuacion se presentaun breve estado del arte en metodos de prediccionde series temporales (Seccion IV). En la Seccion Vse presenta una serie de resultados experimentalesutilizando algunos de los metodos de prediccion ymedidas de error propuestas ante varias series tem-porales. Finalmente, la Seccion VI presenta una seriede conclusiones obtenidas tras el desarrollo de estetrabajo, seguidas de trabajos futuros.

II. Obtencion de los datos para las seriestemporales

A continuacion se describe el proyecto de investi-gacion con el que se obtuvieron los datos del paso devehıculos por diversos tipos de vıa. Posteriormentese comentan los principios generales y los objetivosdel benchmark SIPESCA-B. Por ultimo, se descri-ben las series temporales que se han utilizado en losexperimentos presentados en la Seccion V.

A. La obtencion de los datos. El proyecto SIPESCA

El presente trabajo se enmarca dentro del pro-yecto ”Sistema de Informacion y Prediccion de ba-jo coste y autonomo para conocer el Estado de lasCarreteras en tiempo real mediante dispositivos dis-tribuidos” (SIPESCA) [3], [4]. El objetivo principalde este proyecto es conseguir un sistema de informa-cion de bajo coste, de rapida implantacion y de altafiabilidad, tal que informe sobre las condiciones deltrafico en tiempo real, no solo para las institucionesy organismos encargados de la regulacion y controldel trafico, sino tambien a usuarios particulares (porejemplo a traves de alertas moviles o mediante web).

La implantacion de los dispositivos de monitoriza-cion de SIPESCA nos ha permitido recoger una grancantidad de datos del paso de vehıculos por diversasvıas de diferente tipo (autovıas, carreteras y calles enGranada y varios pueblos en el area metropolitanade Sevilla). A partir de estos datos, hemos construi-do diversas series temporales del paso de vehıculoscon las que podemos predecir el flujo de trafico quetendran las vıas monitorizadas.

La captacion de datos se basa en la deteccion de

dispositivos bluetooth (BT) y wifi, lo que nos pro-porciona una descripcion de las condiciones de trafi-co en tiempo real y un conjunto de datos validospara utilizarlos con tecnicas de prediccion de seriestemporales. La captacion de datos incluye tanto dis-positivos BT empotrados en algun tipo de vehıculocomo dispositivos de usuarios particulares que llevenel BT o wifi activado. El principal dato recolectadode cada dispositivo es la direccion MAC (media ac-cess control o direccion fısica, es un identificador de48 bits que corresponde de forma unica a una tarjetao dispositivo de red) que se encripta y se almacena,lo que permite identificar de forma unıvoca el dispo-sitivo, pero no el usuario, por lo que la privacidadde la persona usuaria del dispositivo esta totalmen-te reservada. Este metodo de recoleccion permite laidentificacion del dispositivo en varios puntos de laciudad, lo que puede dar una idea del tipo de des-plazamientos que ese dispositivo ha realizado.

Concretamente el dispositivo utilizado para lacaptacion de datos es Intelify1, que ofrece una so-lucion compacta para captar dispositivos BT y wi-fi, y transmitir la informacion a un servidor remotomanteniendo un ındice de deteccion adecuado (tieneun 8.5 % de error en la captacion). Se trata de undispositivo autonomo que puede ser instalado en elarea donde se desean captar datos y dispone de va-rios sensores para captar la informacion y enviarla atraves de una conexion 3G2.

La informacion captada se organiza en una enti-dad denominada ”paso”. Un paso es un dispositivodetectado en un determinado nodo de captacion auna determinada hora de inicio y que se ha termi-nado de captar a una determinada hora de fin. Ası,con los datos de nodo, dispositivo, hora de inicio yhora de fin se puede categorizar un paso. La MACdel dispositivo incluye la identificacion de la marca,modelo y algunas caracterısticas mas del dispositivoque ayuda a su categorizacion dentro del abanico dedispositivos captados.

El objetivo del proyecto es obtener informacionacerca de los flujos de trafico que se producen enuna zona, permitiendo poder gestionar de maneraoptima las decisiones de desplazamiento por partede los ciudadanos o desarrollar planes de actuacionconcretos en cada caso.

B. El benchmark SIPESCA-B

Con la publicacion del benchmark SIPESCA-Bbuscamos ofrecer un conjunto de series temporalesobtenidas a partir de datos reales a los investigadoresque trabajan en el ambito de la gestion y predicciondel trafico.

Las series de datos se facilitan en texto plano,en formatos sencillos y ampliamente extendidos(CSV, JSON, ARFF y XML) y se han deja-do disponibles en el repositorio publico de codigo

1http://www.intelify.net2http://es.wikipedia.org/w/index.php?title=3G

Sesión general

198

0

1000

2000

3000

dic ene feb mar

Vehículos

Fig. 1. Representacion de la serie temporal de ejemplo days 1351591695721 2012-11-19 2013-03-01 103 55-3071 .csv

https://github.com/Sipesca/Datasets bajo lalicencia libre ODC Open Database License (ODbL)3que permite copiar y distribuir los datos, crear traba-jos a partir de ellos, y transformar esos datos, siem-pre que se distribuyan los datos obtenidos usando lamisma licencia.

Junto con los conjuntos de datos y las reglas basi-cas, se ofrecen una serie de predicciones realizadascon varias de las series temporales y usando va-rios metodos de prediccion. Estas medidas se puedenusar como base para las comparaciones.

Al usar este benchmark, esperamos mejorar la re-producibilidad de los experimentos presentados, deforma que en el futuro, otros investigadores puedanrepetir los experimentos. Este es un punto impor-tante, ya que un aspecto esencial de la ciencia esprecisamente la posibilidad de repetir cualquier ex-perimento para comprobar la validez del mismo.

Por otro lado, en muchos trabajos se hace referen-cia a problemas conocidos de una forma algo difusa,como ”se ha usado el problema Glass del Proben1”[1]. Estas referencias resultan confusas, ya que puedehaber varias versiones (incluso diferentes entre tra-bajos del mismo autor). En este sentido, SIPESCA-Bbusca facilitar tanto el uso de problemas bien docu-mentados, como la comparabilidad de los resultadosobtenidos por distintos investigadores con diferentesmetodos. Al disponer de los mismos datos, tan so-lo hay que indicar las series utilizadas y detallar elmetodo y parametros elegidos.

C. La publicacion de las series en el repositorio

Como se ha indicado, el benchmark se deja dis-ponible en el repositorio publico de codigo anterior-mente comentado4, ofreciendo 4 tipos de archivos

3http://opendatacommons.org/licenses/odbl4https://github.com/Sipesca/Datasets

distintos: CSV, JSON, ARFF y XML.Se presentan series con 5 tipos de intervalos de

tiempo (de mayor a menor amplitud):Semanas (W)Dıas (D)Horas (H)30 minutos (30m)15 minutos (15m)Se presentan tanto las series sin marcas de tiempo

como las series con marcas temporales. Estas ultimasse han incluyen en la carpeta TS correspondiente altipo de intervalo y en cada entrada de la serie lafecha sigue un formato YYYY-MM-DD HH:mm:ss.

Por ejemplo, el archivo:days 1351591695721 2012-11-19 2013-03-01 103 55-3071 .csv

corresponde con la serie en formato CSV que abarcadesde el 2012-11-19 al 2013-03-01, con intervalo dedıas, con marcas de tiempo y cuyos datos se hanobtenido con el nodo con id 1351591695721.Ademas,esta serie incluye 103 valores, con el mınimo en 55y el maximo a 3071, y no lleva marca de tiempo(TS). La serie temporal contenida en este archivo deejemplo se muestra graficamente en la Figura 1.

Por otro lado, debido al problema en cuestion y so-bre todo al tipo de hardware utilizado, hay momen-tos en que los nodos no detectan ningun dispositivo(bien porque haya un periodo sin paso de vehıculos,o bien porque el nodo de monitorizacion haya dejadode funcionar). En esos casos, el numero de vehıculosdetectado es cero. Es por esto que se presentan seriescon valores ausentes, que se notan con el valor ANen el nombre. Los valores ausentes se marcan conel valor NA en los instantes correspondientes en laserie.

Por ultimo, cabe destacar que no solo se ofrecenlas series descritas, sino que se han dejado disponi-bles los datos en bruto (carpeta raw), sin procesar ni


199

partir en intervalos. Estos datos, junto con las fun-ciones en lenguaje R de extraccion y completado deseries temporales desarrolladas e incluidas en la car-peta scripts del repositorio permitiran a cualquierinvestigador que tome los datos en bruto (raw) paragenerar nuevas series segun sus necesidades (no serestringe a las que hemos generado).

III. Medidas de error

En la literatura se pueden encontrar muchas medi-das de error diferentes (tambien llamadas funcionesde error o funciones de coste) al mostrar los resulta-dos obtenidos con los metodos de prediccion.

Una de las mas conocidas y utilizadas es la delerror cuadratico, y derivada de esta, la del errorcuadratico medio (ver la ecuacion 3), que presen-ta la ventaja de ser independiente del tamano delconjunto de datos. Sin embargo, en muchos trabajosde investigacion se utilizan otras muchas, y en oca-siones con pequenas diferencias introducidas en lasecuaciones utilizadas.

En cualquier caso, se recomienda utilizar ecuacio-nes estandar ampliamente aceptadas y utilizadas porla comunidad5 para poder comparar los resultadosobtenidos con los presentados en otros trabajos deinvestigacion utilizando otros metodos predictivos.Es por esto que junto con el benchmark, se aportandiferentes medidas de error estandar (ecuaciones 1 a7) que se pueden encontrar implementadas en herra-mientas como Weka6 [28] o R7 [29].

Concretamente se proponen las siguientes medi-das:

Error absoluto medio (Mean Absolute Error,MAE):

MAE =1n

nX

i=1

| pi � oi | (1)

Error absoluto porcentual medio (Mean AbsolutePercentage Error, MAPE):

MAPE =1n

nX

i=1

| pi � oi

oi| (2)

Error cuadratico medio (Mean Squared Error,MSE):

MSE =1n

nX

i=1

(pi � oi)2 (3)

Raız del error cuadratico medio (Root Mean Squa-red Error, RMSE):

RMSE =

v

u

u

t

1n

nX

i=1

(pi � oi)2 (4)

5http://www.gepsoft.com/gxpt4kb/Chapter10/Section3/Introduction.htm

6http://wiki.pentaho.com/display/DATAMINING7https://www.otexts.org/fpp/2/5

Error absoluto relativo (Relative absolute error,RAE):

RAE =Pn

i=1 | pi � oi |Pn

i=1 | pi�1 � oi | (5)

Raız del error cuadratico relativo (Root relativesquared error, RRSE):

RRSE =

s

Pni=1 (pi � oi)

2

Pni=1 (pi�1 � oi)

2 (6)

Porcentaje de predicciones correctas en cambiosde direccion (Direction accuracy, DA):

DA = 1N

Pni=1 ai

ai =

(

1, (oi � oi�1)(pi � pi�1) > 00, en otro caso

(7)

donde oi es el dato observado en tiempo i = 1, ..., ny pi es la prediccion de oi obtenida.

IV. Metodos de prediccion de seriestemporales

La prediccion de series temporales es una lınea deinvestigacion madura cuyo objetivo es obtener mode-los predictivos a partir de series temporales usandometodos lineales y no lineales. El metodo lineal masconocido es ARIMA[5]. Se trata de un modelo simplecuyo funcionamiento esta ampliamente demostrado,pero no funciona muy bien con muchas aplicacionesde series temporales reales puesto que su ajuste esuna tarea compleja que hay que realizarla utilizandoconocimiento experto [30].

Por otro lado, los modelos no lineales [7], [8], [9],[10] funcionan mejor ante aplicaciones reales, aunquesu uso es complejo [16]. De ahı que existan propues-tas donde se recomienda que se le de prioridad a lafacilidad de uso frente a otros aspectos mas tecni-cos [15]. Entre los modelos no lineales, destacan va-rias tecnicas de Soft-Computing, [17], [18], TecnicasFuzzy [19], [20],redes neuronales [24], [21], Regresion[22], y sistemas expertos [23].

Por otro lado, existen algunos metodos mas com-plejos, basados en varias metaheurısticas [25], [26],[27]. Cabe destacar entre estos el algoritmo L-Co-R[14], [6] como metodo no lineal que utiliza redes debase radial (RBFs) para determinar de forma coope-rativa el lag (los datos de entrada de la serie tempo-ral) y la prediccion de la serie temporal a la que seaplique el algoritmo.

Mas adelante (subseccion V-B) se ofrece una seriede resultados obtenidos usando varias series tempo-rales con algunos de estos metodos citados disponi-bles en herramientas de codigo abierto.

V. Resultados experimentales obtenidoscon el benchmark SIPESCA-B

En esta seccion se presenta una serie de resulta-dos utilizando varios metodos de prediccion con las

Sesión general

200

Fig. 2. Mapa de localizacion de los tres dispositivos de monitorizacion con los que se recogieron los datos para construir lastres series temporales.

Fig. 3. Numero de vehıculos detectados por hora en cada uno de los tres nodos.

series temporales descritas en la subseccion V-A co-mo ejemplo. Estos resultados se aportan como basepara realizar comparaciones en el futuro con otrosmetodos (subseccion V-B).

Se han seleccionado tres metodos de prediccion,entre los que se incluyen metodos lineales y no li-neales. Concretamente, se muestran los resultadosobtenidos con ARIMA, L-Co-R, y el modelo Sup-port Vector Machine (SVM) [13] con perceptronesmulticapa (MLP) [12] de la herramienta Weka [11].

Todos ellos, excepto L-Co-R, se pueden utilizar atraves de las herramientas Weka8 o R9 y son amplia-mente conocidos, de forma que cualquier investiga-dor puede reproducir los experimentos y comprobarlos resultados, y en el futuro, usar los mismos meto-dos para comparar con sus modelos.

En todos los casos, se han generado modelos parapredecir las ultimas 24h del flujo de trafico en variospuntos.

8http://www.cs.waikato.ac.nz/ml/weka/9http://www.r-project.org/

A. Descripcion de las series temporales utilizadas

Para la parte experimental, se han seleccionadotres series temporales, correspondientes a los dispo-sitivos marcados en el mapa mostrado en la Figura 2.Estas series incluyen los datos entre el 31 de diciem-bre de 2013 y el 20 de enero de 2014, y se han dejadodisponibles en la carpeta research10 del repositorio.

Cada entrada de la serie representa el numero devehıculos detectado cada hora en cada nodo de mo-nitorizacion, de forma que cada serie esta compuestapor 505 entradas.

Se eligio una hora como intervalo para mostraralgunas caracterısticas del trafico en este area de laciudad de Granada a lo largo del dıa (se alcanzanpicos hacia mediodıa entre las 13h y las 15h). Esteefecto se muestra en la Figura 3, que representa lastres series contempladas.

Hay que hacer notar que el periodo de tiempo queabarcan las series elegidas comprende los primerosdıas del ano, vacaciones, y corresponde con una delas ”operaciones salida” de la DGT, que el ano pa-

10https://github.com/Sipesca/Datasets/tree/master/research/sipesca-b


201

TABLA I

Medidas de error para las series A, B y C utilizadas en estos experimentos. En negrita se resalta el mejor resultado para cada

caso. En todos los casos, salvo para DA, el mejor resultado corresponde con el menor valor de las medidas de error.

Dataset AMAE MAPE(%) MSE RMSE RAE(%) RRSE(%) DA( %)

ARIMA 174,67 124, 11 45751,58 213,90 218,81 214,34 54, 17SVM-MLP 211, 72 78,96 90299, 95 300, 50 265, 23 301, 12 79,17

L-Co-R 288, 36 84, 81 146400, 96 382, 62 361, 24 383, 42 45, 83Dataset B

MAE MAPE(%) MSE RMSE RAE(%) RRSE(%) DA( %)ARIMA 420, 50 433, 13 259220, 81 509, 14 507, 96 474, 90 54, 17

SVM-MLP 132,78 230,87 30287,99 174,03 160,39 162,33 58,33L-Co-R 204, 81 320, 63 76271, 78 276, 17 247, 41 257, 60 54, 17

Dataset CMAE MAPE(%) MSE RMSE RAE(%) RRSE(%) DA( %)

ARIMA 18, 03 416, 08 507,47 22,53 260, 76 209,67 37, 50SVM-MLP 16,42 283, 82 508, 19 22,54 237,59 209,82 41, 67

L-Co-R 17, 48 183,07 571, 37 23, 90 252, 84 222, 48 54,17

sado supuso mas de 3.3 millones de despazamientos.Ası pues, se trata de series en las que muchos vehıcu-los modificaron el patron habitual del trafico en esazona.

En los experimentos llevados a cabo con las tresseries descritas se han usado los primeros 481 valoresde la serie para entrenar los diferentes metodos y po-der construir el modelo predictivo, mientras que los21 valores restantes se han utilizado para comprobarla bondad de la prediccion obtenida. La prediccionse genera con un horizonte de 1, es decir, conocidoslos datos de la serie con n elementos, el algoritmopredice el elemento n + 1.

B. Experimentos y resultados obtenidos

Para cada metodo y cada serie, se han calculadolas medidas de error propuestas en la Seccion IIIpara poder comparar la prediccion de los diferentesmetodos.

Los resultados mostrados del algoritmo L-Co-Rson medias de error de 30 ejecuciones con cada unade las series temporales estudiadas.

La Tabla I muestra los diferentes valores de errorpara cada uno de los metodos y cada serie. Se mues-tra destacado en negrita el mejor (menor) valor ob-tenido para cada nodo y cada medida de error.

Aunque no es el proposito de este trabajo, se puedeapreciar que los mejores resultados se han obtenidocon el metodo SVM-MLP.

VI. Conclusiones

Existen areas, como la gestion del trafico, en lasque los investigadores tienen una necesidad de dis-poner de benchmarks estandar para ser utilizadoscon sus metodos de prediccion. Principalmente estoes debido a la dificultad en obtener datos reales eincluso, a la dificultad de disponer de los datos enun formato adecuado.

En este trabajo se ha presentado el benchmarkSIPESCA-B, un conjunto de series temporales ob-tenidas a partir de la monitorizacion del trafico envarios puntos de la red de carreteras andaluza den-tro del proyecto SIPESCA [3], [4]. Los datos (reales)

se han obtenido monitorizando el paso de dispositi-vos con el BT o el wifi encendido por ciertos puntosen autovıas, carreteras y calles a lo largo de variosmeses.

Las series temporales creadas se han dejado acce-sibles a toda la comunidad cientıfica en el repositoriopublico https://github.com/Sipesca/Datasetsbajo la licencia libre ODC Open Database License.

Esperamos que este benchmark sirva como unestandar y ayude a los investigadores que trabajanen el area de la gestion y prediccion del trafico parapresentar sus resultados, haciendolos comparables yreproducibles.

En este sentido, se facilita una serie de resultadosde referencia que serviran de base para las compa-raciones. Para la parte experimental del trabajo sehan utilizado varias de estas series temporales realesy se ha realizado un estudio para predecir a cortoplazo (un dıa, los 24 valores siguientes) cual sera elflujo de trafico en cada uno de los nodos. Se han se-leccionado tres metodos de prediccion de diferentetipo (basados en metaheurısticas y de tipo estadısti-co), validados en la bibliografıa, con los que se hancalculado 7 medidas de error.

Como se puede ver en la Tabla I, en general losmejores resultados de prediccion se han obtenido conel metodo SVM-MLP. En gran parte de los casos ob-tiene medidas de error mas bajas ante las tres seriestemporales consideradas.

Finalmente, este trabajo abre un abanico de posi-bilidades de analisis de la gran cantidad de datoscaptados y la posibilidad de desarrollar y aplicarmetodos de prediccion no solo a corto plazo, sinoa medio y largo plazo, lo que facilitara la tarea deprevision del flujo de trafico en las vıas monitoriza-das y por consiguiente una mejor gestion del traficoen dichas vıas por parte de las autoridades compe-tentes.

Como trabajos futuros, se continuaran obtenidodatos del paso de vehıculos para generar nuevas se-ries temporales mas completas, abarcando periodosde tiempo mayores. Los nuevos datos y las nuevas se-ries obtenidas se dejaran accesibles en el repositorio

Sesión general

202

indicado.

Agradecimientos

Este trabajo se esta desarrollando gracias ala financiacion de los proyectos TIN2011-28627-C04-02, GENIL PYR-2014-17, PETRA (SPIP2014-01437 de la Direccion General de Trafico), MSTR(PRY142/14 de la Fundacion Publica Andaluza,Centro de Estudios Andaluces en la IX Convoca-toria de Proyectos de Investigacion), y del proyectoFEDER de la Union Europea con tıtulo ”Sistema deInformacion y Prediccion de bajo coste y autonomopara conocer el Estado de las Carreteras en tiemporeal mediante dispositivos distribuidos” (SIPEsCa)del Programa Operativo FEDER de Andalucıa 2007-2013. Asimismo, queremos mostrar nuestro agrade-cimiento al personal e investigadores de la Agenciade Obra Publica de la Junta de Andalucıa, Conse-jerıa de Fomento y Vivienda, por su dedicacion yprofesionalidad.

Referencias[1] Lutz Prechelt. PROBEN1 - A Set of Benchmarks and

Benchmarking Rules for Neural Network Training Al-gorithms. Technical Report 21/94, 38 pages, Fakultatfur Informatik, Universitat Karlsruhe, September 1994http://page.mi.fu-berlin.de/prechelt/Biblio/1994-21.pdf

[2] J. J. Liang, B-Y. Qu, P. N. Suganthan, Problem Defi-nitions and Evaluation Criteria for the CEC 2014 Spe-cial Session and Competition on Single Objective Real-Parameter Numerical Optimization, Technical Report201311, Computational Intelligence Laboratory, Zhengz-hou University, Zhengzhou China and Technical Report,Nanyang Technological University, Singapore, December2013.

[3] Pedro Garcıa-Fernandez, Pedro A. Castillo, Pablo Garcıa-Sanchez, Maribel G. Arenas, Antonio M. Mora, GustavoRomero, Juan J. Merelo y Victor M. Rivas. Monitori-zacion del estado de las carreteras mediante un sistemaautonomo y de bajo coste basado en la tecnologıa Blue-tooth. SECURITAS VIALIS, Journal Europeo de Trafico,Transporte y Seguridad Vial. Editorial Springer. Etrasa2014. Vol. 17, pp. 139-160, ISSN: 1888-9697. 2014

[4] P.A. Castillo, A. Fernandez-Ares, P. Garcıa-Fernandez, P.Garcıa-Sanchez, M.G. Arenas, A.M. Mora, G. Romero, V.Rivas, J.J. Merelo, Studying individualized transit indi-cators using a new low-cost information system. Hand-book of Research on Embedded Systems Design. Ales-sandra Bagnato, Leandro Soares Indrusiak, Imran RafiqQuadri, Matteo Rossi (Eds). Advances in Systems Analy-sis, Software Engineering, and High Performance Compu-ting (ASASEHPC) Book Series. Industry and ResearchPerspectives on Embedded System Design. Chapter 16,pp. 388-407 , ISBN 978-1466661943. IGI GLOBAL. DOI:10.4018/978-1-4666-6194-3.ch016 2014

[5] G.E. Box and G.M. Jenkins. Time series analysis: forecas-ting and control. Ed: San Francisco: Holden Day, 1976

[6] E. Parras-Gutierrez, V.M. Rivas, M. Garcia-Arenas, M.J.del Jesus, Short, medium and long term forecasting oftime series using the L-Co-R algorithm, Neurocomputing,Volume 128, 27 March 2014.

[7] H. Tong, On a threshold model, Pattern recognition andsignal processing, NATO ASI Series E: Applied Sc. 29(1978) 575-586

[8] H. Tong, Threshold models in non-linear time series analy-sis, Springer-Verlag, 1983.

[9] K. Chan, H. Tong, On estimating thresholds in autoregres-sive models, Journal of Time Series Analysis 7 (3) (1986)179-190.

[10] P. Brockwell, R. Hyndman, On continuous-time thres-hold autoregression, International Journal of Forecasting8 (2) (1992) 157-173.

[11] Ian Witten and Eibe Frank. Data Mining: Practical Ma-chine Learning Tools and Techniques. Morgan Kaufmann,3 edition, 2011.

[12] I.A Basheer, M Hajmeer, Artificial neural networks: fun-damentals, computing, design, and application, Journal ofMicrobiological Methods, Volume 43, Issue 1, 1 December2000, Pages 3-31

[13] J. A. K. Suykens and J. Vandewalle. 1999. Least SquaresSupport Vector Machine Classifiers. Neural Process. Lett.9, 3 (June 1999), 293-300.

[14] Elisabet Parras-Gutierrez, M. G. Arenas, V. M. Rivas,M. J. del Jesus, Coevolution of lags and RBFNs for ti-me series forecasting: L-Co-R algorithm, Soft Computing16(6), (2012) 919-942.

[15] J. De Gooijer, R. Hyndman, 25 years of time series fore-casting, International Journal of Forecasting 22 (3) (2006)443–473.

[16] M. Clements, P. Franses, N. Swanson, Forecasting eco-nomic and financial time-series with non-linear models,International Journal of Forecasting 20 (2) (2004) 169–183.

[17] B. Samanta, Prediction of chaotic time series usingcomputational intelligence, Expert Systems with Appli-cations 38 (9) (2011) 11406–11411.

[18] S. Zhu, J. Wang, W. Zhao, J. Wang, A seasonal hybridprocedure for electricity demand forecasting in china, Ap-plied Energy 88 (11) (2011) 3807–3815.

[19] W. Qiu, X. Liu, H. Li, A generalized method for fore-casting based on fuzzy time series, Expert Systems withApplications 38 (8) (2011) 10446–10453.

[20] C. Wang, A comparison study between fuzzy time seriesmodel and arima model for forecasting taiwan export, Ex-pert Systems with Applications 38 (8) (2011) 9296–9304.

[21] T. Yu, K. Huarng, A neural network-based fuzzy timeseries model to improve forecasting, Expert Systems withApplications 37 (4) (2010) 3366–3372.

[22] K. Kavaklioglu, Modeling and prediction of turkey’s elec-tricity consumption using support vector regression, Ap-plied Energy 88 (1) (2011) 368–375.

[23] P. K. Dash, A. C. Liew, S. Rahman, G. Ramakrishna,Building a fuzzy expert system for electric load forecas-ting using a hybrid neural network, Expert Systems withApplications 9 (3) (1995) 407–421.

[24] Z. Tang, C. de Almeida, P. Fishwick, Time series forecas-ting using neural networks vs. box-jenkins methodology,Simulation 57 (5) (1991) 303–310.

[25] H. Hippert, J. Taylor, An evaluation of bayesian techni-ques for controlling model complexity and selecting inputsin a neural network for short-term load forecasting, NeuralNetworks 23 (3) (2010) 386–395.

[26] C. Lee, C. Ko, Time series prediction using rbf neuralnetworks with a nonlinear time-varying evolution pso al-gorithm, Neurocomputing 73 (1-3) (2009) 449–460.

[27] M. Perez-Godoy, P. Perez-Recuerda, M. Frıas, A. Rive-ra, C. Carmona, M. Parras, Co2rbfn for short and me-dium term forecasting of the extra-virgin olive oil price,in: J. Gonzalez, D. Pelta, C. Cruz, G. Terrazas, N. Kras-nogor (Eds.), Proceedings of Nature Inspired Cooperati-ve Strategies for Optimization, Vol. 284, Springer Ber-lin/Heidelberg, 2010, pp. 113–125.

[28] I.H. Witten and E. Frank and M.A. Hall, Data Mining:Practical Machine Learning Tools and Techniques, ThirdEdition (The Morgan Kaufmann Series in Data Mana-gement Systems). ISBN 978-0123748560. Morgan Kauf-mann; 3 edition (January 20, 2011)

[29] R.J. Hyndman and G. Athanasopoulos, Forecasting:principles and practice. ISBN 978-0987507105. OTexts.October 17, 2013

[30] M. Khashei1 and M. Bijari. Which Methodology is Bet-ter for Combining Linear and Nonlinear Models for TimeSeries Forecasting? Journal of Industrial and Systems En-gineering, Vol. 4, No. 4, pp 265-285. 2011

[31] M. Morzy. Mining Frequent Trajectories of Moving Ob-jects for Location Prediction. Machine Learning and Data


203

Mining in Pattern Recognition. Lecture Notes in Compu-ter Science Volume 4571, pp 667-680. 2007

[32] T. Brinkho↵. A framework for generating network-basedmoving objects. GeoInformatica 6(2), 153-180. 2002

[33] G. Gidofalvi and E. Saqib. Developing a Benchmark forUsing Trajectories of Moving Objects in Tra�c Predictionand Management. In Proc. of the Workshop on MovementPattern Analysis. GIScience2010, 2p, 2010

[34] PLAISANT, C., FEKETE, J. D., AND GRINSTEIN,G. Promoting insight-based evaluation of visualizations:From contest to benchmark repository. IEEE Transactionson Visualization and Computer Graphics 14, 1, 120-134.2008

[35] B. Flyvbjerg. Curbing Optimism Bias and StrategicMisrepresentation in Planning: Reference Class Forecas-ting in Practice, European Planning Studies, Vol. 16, No.1. 2008

[36] Kriger, D., Shiu, S. and Naylor, S. Estimating Toll RoadDemand and Revenue - A Synthesis of Highway Practice,NCHRP Synthesis 364, Transport Research Board. 2006

[37] R. Bain. Error and optimism bias in toll road traf-fic forecasts. J. Transportation, N.5, pp. 469-482. DOI10.1007/s11116-009-9199-7. 2009

[38] Chao Shen and Yan Huang and Jason W. Powell. TheDesign of a Benchmark for Geo-stream Management Sys-tems. In GIS, pp409-412. 2011

[39] A. Arasu, M. Cherniack, E. Galvez, D. Maier, A. S. Mas-key, E. Ryvkina, M. Stonebraker, and R. Tibbetts. Linearroad: a stream data management benchmark. In Procee-dings of the Thirtieth international conference on Verylarge data bases - Volume 30, VLDB2004, pages 480-491.VLDB Endowment, 2004

[40] C. Duntgen, T. Behr, and R. H. Guting. Berlinmod: abenchmark for moving object databases. The VLDB Jour-nal, 18:1335-1368. 2009

[41] C. S. Jensen, D. Tiesyte, and N. Tradisauskas. The costbenchmark-comparison and evaluation of spatio-temporalindexes. In DASFAA, pages 125-140, 2006.

[42] J. Myllymaki and J. Kaufman. Dynamark: A benchmarkfor dynamic spatial indexing. In Proceedings of the 4thInternational Conference on Mobile Data Management,MDM2003, pages 92-105, London, UK. Springer-Verlag.2003

Sesión general

204

actas del x congreso español - geneura...

Documents