explorando big data y ciencia de datos con gpus
TRANSCRIPT
Explorando Big Data y Ciencia de Datos con GPUs
@abxda
4 mil en Aguascalientes y 18 mil en todo México
En 2013 iniciamos la exploración
http://es.slideshare.net/acoronadoiruegas/qu-es-big-data @abxda
%Acceso a Internet, %Pc, %Telefono Celular, %Automovil @abxda
Estratificación de 1.2 M de Manzanas (2013)
En la misma Pc de 4 Procesadores:(2013)
Software Tiempo Manzanas
Big Data 8 Seg. 1’221,180
Tradicional (R)
8 Seg. 2,666
https://spark.apache.org/
Proyectos de Big Data y Ciencia de Datos
@abxda
¿Qué clase de #BigData es esta?
@abxda
Internet de las Personas
Internet de las Cosas
Sensores
{ json }
< xml >
c,s,v
Redes Sociales
Internet de las Ideas
Crowdsourcing
Sistemas de Archivos Distribuidos
Computo Paralelo y Concurrente
Programación Funcional
Razonamiento Algebraico
Estadística
Análisis MultivariadoMachine Learning
Análisis de Interacción Espacial
{ json }
< xml >
c,s,v
{ json }
< xml >
c,s,v
Bases de Datos NoSQL
Visualización
Panorama Tecnológico a 2015
Infraestructura de Cómputo
Apache ImpalaInternet de las Personas
Internet de las Cosas
Sensores
{ json }
< xml >
c,s,v
Redes Sociales
Internet de las Ideas
Crowdsourcing
Sistemas de Archivos Distribuidos
Computo Paralelo y Concurrente
Programación Funcional
Razonamiento Algebraico
Estadística
Análisis MultivariadoMachine Learning
Análisis de Interacción Espacial
{ json }
< xml >
c,s,v
{ json }
< xml >
c,s,v
Bases de Datos NoSQL
Visualización
Panorama Tecnológico a 2016
Infraestructura de Cómputo
Amazon g2.2xlarge
BIDMatBIDMach
DataframesSQL
PG-StromSQL on GPU
PG-Strom
• Sql on GPU
100,000,000 Records
https://wiki.postgresql.org/wiki/PGStrom#PG-Strom
@abxda
http://bid2.berkeley.edu/bid-data-project/
• Machine Learning on GPU & Scala
@abxda
Apache Spark + Deep Learning
@abxda
@abxda