big data big opportunities
TRANSCRIPT
https://upload.wikimedia.org/wikipedia/commons/9/9b/Social_Network_Analysis_Visualization.png https://upload.wikimedia.org/wikipedia/commons/4/46/BigData_2267x1146_white.png https://upload.wikimedia.org/wikipedia/commons/thumb/1/1b/R_logo.svg/2000px-R_logo.svg.png http://shingeki.tv/
@ab
xda
@abxda
¿Qué es Big Data?
Perfiles de https://www.researchgate.net/
Cómputo Paralelo y Distribuido@abxda
¿Qué es Big Data?
http://datascience.berkeley.edu/what-is-big-data/ @abxda
¿Qué es un Científico de Datos?
http://www.forbes.com/sites/danwoods/2012/03/08/hilary-mason-what-is-a-data-scientist
Hilary Mason, Chief Data Scientist at bitly
@abxda
¿Qué es un Científico de Datos?
http://www.anlytcs.com/2014/01/data-science-venn-diagram-v20.html
Experto encomputación ydesarrollo avanzados(Big Data)
Experto enModelado
Estadístico
Experto enel dominio de
datos
Unicornio
Zonapeligrosa!
Investigacióntradicional
Machinelearning
CIENCIADE
DATOS
@abxda
Internet de las cosas
Internet de las personas
Internet de las ideas
Internet del todo
Datos Crudoshdfs://
Información(Significado)
TomarDecisiones
Actuar
¿quién?¿cuántos?
¿por qué?
¿qué?¿Dónde?
Análisis de DatosEstadística Machine Learning
Estratificaciones
Análisis de Regresión
Muestreo
Mucho más…Análisis de Redes (Grafos)
Minería de Datos
Velocidad
Varie
dad
VolumenCiencia de Datos
(Transforma/Modela)Cómputo Distribuido y Paralelo
ArquitecturaBig Data & Ciencia de Datos
@abxda
¿Qué clase de #BigData es esta?
En operaciones de Machine Learning, una sola tarjeta de Video, es 45 veces mas poderosa que el XEON mas rápido.
2560 CUDA CORES
@abxda
Business Understanding
Data Acquisition and
Understanding
Deployment
Modeling
• Transform, Binning• Temporal, Text, Image, etc• Feature Selection
Feature Engineering
• Algorithms, Ensemble• Hyper-parameter Tuning• Retraining
Model Fitting
• Cross Validation• Model ReportingModel
Evaluation
• On-Premises vs Cloud• Database vs Files Data Source
• Streaming vs Batch• Low vs High Frequency Pipeline
• Structured vs Unstructured• Data Validation and Cleanup• Visualization
Data Wrangling
• On-Premises vs Cloud• Database vs Data Lake vs …• Small vs Medium vs Big Data
Analytics Environment
Customer Acceptance END
Production
Pipeline
START
Intelligent Applications
Web Services
Management-Group: The managers of theEntire data science unit.
• Chief Data Scientist• Domain Experts (Staff)• Research Scientists (Staff)• Agile Master (Staff)• Systems Engineering Expert (Staff)
• Data Engineering Team• Data Engineer• SysAdmin• Statistician• Geomatic Engineer• Dataviz Expert• GPU Developer• IoT Expert
• Data Science Team• Data Scientist• Statistician• Mathematician• Machine Learning Expert• Deep Learning Expert
• Data Product Team• Data Engineer• Software Architect• UX Expert• App Developer• Web Developer
Performant
Model
https://blogs.technet.microsoft.com/machinelearning/2016/10/11/introducing-the-team-data-science-process-from-microsoft
Equipo de Ciencia de Datos
@eOswaldOd@abxda
Twitter como fuente de Big Data (Primer Proyecto Piloto)Para medir el pulso emotivo de México …y mucho más …
@abxda
Frecuencia de Tuiteo
# Tuits
Frecuencia por hora del día
~1,000,000 Tuiteros generaron ~ 100 Millones de Tuits
@abxda
http://cienciadedatos.inegi.org.mx/pioanalisis
@hbcolectivo @ricardoaolvera
@abxda
Training and modelingSatellite Images
Imagery satellite Labeled by remote
sensing experts Mathematical Modeling
(Feature Extraction)
http://scikit-learn.org/http://www.r-project.org/
Machine LearningMethods
Imagery satelliteAutomaticClassifier
Land Cover, Classes
@abxda