people-as-a-sensor of disruptive events (spanish)
If you can't read please download the document
TRANSCRIPT
Sin ttulo de diapositiva
People-as-a-Sensor of Disruptive Events
Arturo Tejeda-Gmez, Sergio Alvarez-Napagao, Daro Garca-Gasulla, Luis Oliva-Felipe, Ignasi Gmez-Sebasti y Javier Vazquez-Salceda
[email protected], 2014
En contexto
Datos de redes sociales
Twitter, Instagram y Foursquare
Smartphones (GPS)
Usuarios distribuidos geograficamente en el tiempo
Informacin en tiempo real
TwitterEnero 2009 2 Millones de Tweets por da
Enero 2014 500 Millones de Tweets por daIncremento del 2400%
Que tipo de informacin producen los usuarios?
Informacin en redes sociales
99.99999% informacin personal
0.000001% informacin relevante
Informacin en redes sociales
Generacin extrema de informacin
Continental Airlines Vuelo 1404
US Airways Vuelo 1549
Atributos del Social Media
GeolocalizacinLatitud: 41.419050200,
Longitud: 2.139523600
TextoAccidente en la Ronda...
ImagenesGeodata
Visualizacin del Social Media
Barcelona http://mapcelona.org
21/05/2013 2:00 am
Visualizacin de Social Media
Mexico DF Rio de Janeiro
Entonces,
Que podemos detectar con mensajes geolocalizados de las redes sociales?
Rumbo a la deteccin de eventos
Contexto Areas geogrficas (GeoHash)
Densidad
Temporalidad
Trayectorias de mobilidad (Patrones)
Comportamientos de la ciudad
Comportamiento de la ciudad
Barcelona 17:30hrs
Normal Anormal
10/09/2013 11/09/2013
Deteccin de eventos disruptivos
Evento disruptivo: Situacin anormal que ocurre en un espacio y tiempo determinados; y puede causar efectos colaterales.
Accidente Trfico Retardo de buses
Manifestacin Calles cerradas Trfico ...
Concierto Calles cerradas .
Partido de ftbol ...
Inundacin ...
Dejar/recoger nios del colegio ...
Enriqueciendo el contexto
Agregacin de otras fuentes de datos:Trfico
Transporte PblicoHorarios: Bus, Metro, Tram, etc.
BikeSharing
Parkings
Eventos planeados
Condiciones atmosfricasContaminacin
Clima
Fuentes oficiales en redes sociales: Policia, Trfico, etc.
Nuestro approach
Objetivos primariosExplotacin de fuentes de datos
Modelar la deteccin de eventos disruptivos
Desarrollar una aplicacin en tiempo real de deteccin de eventos
simple models and a lot of data trump more elaborate models based on less data Halevy et al. 2009
Nuestro approach
Simplificar, unificar y agregar fuentes de datos Actividad de los usuarios en un lugar y tiempo determinados
Fortalecer el aprendizaje complejoExplicar actividades pasadas
Entender eventos actuales
Predecir futuros eventos
Trabajos previos
El procesamiento de datos es complicado...Por la naturaleza de los datosProcesamiento de Lenguaje Natural de los tweets (140 caracteres)
Por su heterogeneidad:Procesamiento de imagenes (Instagram)
Por su semantica no-reveladaOntologas y taxonomias (categorias de Foursquare)
Por el comportamiento del usuarioTweet/Retweet (Post/Share)
Modelo de deteccin de eventos
Identificar la normalidad
Por cada area y ventana de tiempoCual es el comportamiento esperado de la ciudad un martes entre las 12:15 y 12:30 hrs.?
La mediana y el rango intercuartilDesviacin de datos.. algo raro esta pasando!
Anormalidad de datos... algo crtico esta pasando!
Construyendo el modelo
De la desviacin obtenemoscerteza en el tiempo.
La forma de un evento espseudo-trapezoideEmpieza (a-) y termina (a+)
Aplicaciones
Desubrimiento de eventos masivos
Un evento esta compuesto por 2 o ms ventanas de tiempo con una actividad anormal en el area
Un promedio de 3.1 eventos por dia
Cuales seran los eventos detectados ms significativos?
15 FCBarcelona games2 RCDEspanyol games10 Concerts 5 New Year's eve events5 Airport events 2 touristic atractions 1 Barcelona Fashion Week
Evento TOP: FCBarcelona vs Real Madrid
Aplicaciones (II)
Caractersticas de los eventos detectados
Clasificacin de eventos basados en su popularidadPartidos de la liga de campeones tienen ms impacto que un partido de liga normal
La clasificacin de un concierto depende de la popularidad del cantante
Dia de ao nuevo (patrones nicos de actividad)
Otros eventos detectados:Salida al mercado del iPhone 5s
Paros en las estaciones de tren
Congresos (MWC, Smart Cities, etc.)
Barcelona Shopping Night
Aplicaciones (III)
Estimando el impacto del evento desde nuestro modelo
Correlacin entre el impacto en tiempo real de los eventos detectados con su posterior calculo de asistencia:
Pearson correlation coefficient 0.82
Aplicaciones (IV)
Monitor en tiempo real de eventos disruptivos
Encuentra areas que su comportamiento esta fuera de lo normal
Futuras aplicaciones
Y algunas ms...
Entender el comportamiento de los eventosComo se forman?
Cuanto duran y cual es su impacto?
Como se dispersan?
Como preceden a otros?
Entender la correlacin de los eventosEventos en area de bares preceden a eventos en un area de clubs
Construir perfiles de usuarios y segmentar los resultados de los eventos y trayectorias (en progreso)
Conclusiones
Problema: Modelo complejo a travs de datos simples.
El comportamiento de una ciudad es un problema complejo que tiene millones de dependencias.
Big Data
Simplificar el modelo para permitir escalabilidad y paralelizacin.
Resultados
Un modelo simple puede representar dominios complejos si hay la suficiente cantidad de datos
Algunas otras aplicacionesAnalisis de la mobilidad de la ciudad
Respuestas y acciones en tiempo real a eventos disruptivos
Simulacin de politicas de mobilidad
Arturo Tejeda Gmez
https://kemlg.upc.edu
Arturo Tejeda-Gmez, KEMLG, 2014
People-as-a-Sensor of Disruptive Events
https://kemlg.upc.edu
People-as-a-Sensor of Disruptive Events