tendencias en big data (2015-2016)
Post on 22-Jan-2018
1.255 Views
Preview:
TRANSCRIPT
Marzo, 2016
Universidad Central de Venezuela
Escuela de Computación - Facultad de Ciencias
Introducción a Ciencia de los Datos
¿Qué se está haciendo en el mundo del Big Data
y hacia dónde vamos?...
Manuel Carrero Daniel Romero Jean Akchar
Data Science Team
Agenda
Salarios
Mejores empleadores
¿Panorama Actual?
Big Data Week Iniciativa
Ediciones anteriores
Big Data en Números
● Futbol y Big Data
● Fórmula 1 y Big Data
Deportes y Big
Data
● IBM WatsonRedes Sociales
10 Tendencias(2015-2016)
Un recorrido por 10 Tendencias
● Oportunidades
● Barreras
● Estado actual
Sector Financiero
● Contribuyentes
● BeneficiosSector Salud
● Sistema de Gestión Sector Educativo
Big Data y las
Naciones Unidas
● Cómo mejorar la calidad de vida
● 5 reglas para mejorar los
servicios públicos
Gobiernos y Big
Data
● Definición
● ¿Qué necesita pasar y
qué se necesita hacer?
Internet de las
Cosas (IoT)
Preguntas
4
Big Data en Números
5
La cantidad de datos generados en el planeta Tierra está creciendo de
manera exponencial
01010101010101011010101010101010101010101011010
1010101010101010101010101010101
1010101010110100
6
$8 millonesPromedio estimado empleado por los negocios durante 2015, para proyectos de
Big Data y relacionados, según ATKearney (consultora con oficinas en más de 40
países de América, Europa, Asia, Oriente Medio y África).
4.4 millonesPuestos de trabajo para la Tecnología de la Información (TI) estimados en 2012,
que serían creados en todo el mundo para el 2015, (1,9 millones solo en los
Estados Unidos) con el fin de apoyar las operaciones de Big Data, según Gartner
(compañía líder en TI a nivel mundial).
7
$48.6 mil millonesInversión estimada a finales del 2015, para el mercado del Big Data en el 2019,
según International Data Corporation (IDC, consultora y principal proveedor mundial
de inteligencia de mercado, con oficinas en más de 70 países en América Latina,
Oriente Medio y África, América Central y Europa del Este, Europa, Asia / Pacífico y
el U.S, incluyendo Venezuela).
$144 millonesInversión destinada para movilidad, cloud y Big Data en el 2015, de un total de
$455 millones para TI en España, según un informe de IDC, en donde además se
indica que de ser así, se pasará de representar el 25 % del gasto TI en 2015 a
cerca del 30% en 2019.
8
$13 mil millonesInversión de Big Data en América Latina estimada para 2014.
$820 millonesInversión estimada por parte de México y Brasil para 2014, quienes lideraban el
crecimiento de la inversión en la región.
Cifras suministradas por César Longa, Gerente de Programa de Software para IDC
Latinoamérica, en el marco del evento Big Data & Analytics de IDC 2014
9
¿Cuánto gana un Científico de Datos?
10
Salario promedio para un científico de datos
11Herramientas Utilizadas, Experiencia y Tipo de Compañía
$140.000Anuales en Estados
Unidos (2015)
€50-60.000Anuales en España, según
la Universitat Oberta de
Catalunya (2016)
$7-10.000Mensuales en América
Latina (México, Brasil,
Colombia, Ecuador),
según SAS (2015)
Promedios
¿Quiénes son los mejores empleadores de datos de hoy en día?
12
Top 10: Empleadores de datos y el número de puestos de trabajo de Big Data añadidos durante el último año
13A la fecha del 16 de Noviembre de 2015
¿Panorama actual?
14
15
16
Big Data Week
Big Data Week
17
Algunos Patrocinadores
Es una iniciativa creada por Stewart Townsend y Andrew Gregson en el 2011
como un modo de unir las comunidades de datos globales a través de una serie
de eventos y reuniones.
Big Data Week
18
Edición 2013
3.000 Participantes
Edición 2015
30.000 Participantes
Ciudades principales de este año: Londres, Barcelona y Madrid
19
10 Tendencias en Big Data (2015-2016)
Tendencias
20
Big Data + Cloud Computing
Big data está impulsando gran parte del
crecimiento de la nube: los ingresos de
los 50 principales proveedores de nube
públicos se dispararon un 47% en el
último trimestre del 2013 alcanzando
los $6,2 mil millones según
Technology Business Research.
1. Se consolida el
big data en la
nube
21
2. Los ETL se
vuelven
personales
22
23
2. Los ETL se vuelven personales: Alterys
24
2. Los ETL se vuelven personales: Alterys
25
2. Los ETL se vuelven personales: Trifacta y Paxata
26
2. Los ETL se vuelven personales: Trifacta y Paxata
3. ¿NoSQL o
NewSQL?
NewSQL: Sistemas de bases de datos
relacionales capaces de escalar de la
misma manera que un NoSQL pero
manteniendo las propiedades ACID de
sistemas tradicionales.
27
3. ¿NoSQL o NewSQL?
Context
SQL NoSQL NewSQL
Relational
SQL
Transacciones
ACID
Escalabilidad
Horizontal
Grandes
volúmenes de
datos
Sin Esquema28
¿Panorama
actual?
29
30
Bases de Datos No
Relacionales
Bases de Datos Relacionales
4. Hadoop: parte
de la nueva
norma en
almacenamiento
de datos
31
5. Spark:
evolución
tecnológica
32
Hadoop Map Reduce vs Spark
33
Hadoop vs Spark: Velocidad y Tiempo Real
34
Un programa en Spark se ejecuta
hasta 100 veces más rápido que
Hadoop en memoria y 10 veces
más rápido si el acceso es desde
disco.
Equivalentes en Hadoop
Hive Storm Mahout Giraph
Hadoop inicialmente estuvo orientado a procesos batchs. Spark permite trabajar tanto en
modo batch como en modo stream-tiempo real (Spark Streaming). Un mismo framework para
unificar 2 mundos.
Es un repositorio de almacenamiento
masivo que puede almacenar todo tipo de
datos en su formato nativo, hasta que se
necesite para el análisis de negocios o
minería de datos y además es relativamente
barato.
EMC Elastic
Cloud Storage
6. Data lakes
35
EMC Isilon
6. Data Lakes vs Dwh
36
Snowflake: proporciona la potencia de almacenamiento de
datos, la flexibilidad de las plataformas de Big Data y la
elasticidad de la nube a un costo más bajo que otros
almacenes de datos (ganador Strata + Hadoop 2015).
BigQuery: servicio de
análisis de datos
completamente gestionado
en la nube.
Almacenamiento ilimitado.
Análisis interactivo en
conjunto de datos de
múltiples terabytes.
7. El gran ecosistema
de datos comenzará a
cambiar de forma
37
Amazon RedShift:
plataforma de
almacenamiento de datos en
la nube más grande de
Amazon Web Services.
Capaz de manejar grandes
volúmenes de datos,
haciendo uso del
procesamiento paralelo
masivo (MPP).
Procesamiento Paralelo Masivo (MPP)
8. Más exigencia
del Tiempo Real
38
39
8. Más exigencia del Tiempo Real
9. La seguridad se
complementará
con Data Masking
40
“ Para el año 2017 la organización de
TI típica gastará hasta el 30% de su
presupuesto en riesgo, la seguridad y el
cumplimiento, y destinará el 10% de su
población a estas funciones de
seguridad. Eso es el triple de los
niveles de 2011.”Gartner Symposium/ITxpo (5 de Octubre de 2015), la
reunión más importante del mundo de los CIOs (director de
TI) y ejecutivos de alto nivel de TI .
9. La seguridad se complementará con Data Masking
41
● Usada por IBM
● Funciona con Hadoop, Spark
entre otros.
● Información de Identificación
Personal (PII siglas en inglés)
Ej: Nombre completo, dirección,
correo, código postal, pasaporte,
números de tarjeta de crédito, etc.
10. El Internet de las
cosas (IoT):
continuará creciendo
e impulsando
nuevas soluciones
de datos
42
“IoT será un mercado de $ 400 mil
millones para el año 2019. Cisco
ha dicho que será mucho más
grande, un mercado de $ 19 de
billones de dólares en una
década.”CEO de IBM, Ginni Rometty (25 de Febrero de 2016)
43
Internet de las Cosas (IoT)
Internet de las Cosas (IoT)
Definición
Es la interconexión de objetos, personas, ubicaciones y el Internet. Objetos
inanimados apoyados con Big Data se vuelven inteligentes y pueden ‘hablar’ entre sí y
al consumidor.
44
¿Qué necesita pasar primero?
45
Todos deben jugar bajo las reglas
Todas las cosas deberán volverse inteligentes
¿Qué se necesita hacer?
46
Mejorar la recolección y guardado de datos
Educar a los empleados
Grandes
posibilidades
47
Crecimiento exponencial de datos
48
49
Ver Video
https://www.youtube.com/watch?v=6AQMMx4OkjM&feature=youtu.be
50
Deportes y Big Data
Fútbol y Big
Data
51
Copa mundial
de Brasil
52
Fórmula 1
53
Redes Sociales
IBM Watson
56
Analiza data no estructurada
Entiende preguntas complejas
Presenta respuestas y soluciones
57
Gobiernos y Big Data
58
¿Cómo los poderes públicos pueden
utilizar la información para
mejorar la calidad de vida de los
ciudadanos?
5 Reglas para mejorar los servicios públicos
59
2. Utilizar
información no
estructurada
3. Centrarse en la
información
4. Servicios
Transparentes
5. Registros de
usuario
1. Conocer la
información que se
tiene
60
Big data y el sector financiero español
Oportunidades
61
Segmentación
de clientes
Fidelización
de clientesOmnicanalidad
Falta de
conocimiento
sobre Big
Data
Procesar
data no
estructurada
Falta de
presupuesto
Falta de
capacidad
tecnológica
Barreras
62
Estado Actual
63
64
Big data y el sector salud de Corea del Sur
Contribuyentes
65
Beneficios
66
Pacientes Industria médica
67
Big data y el sector educativo de Estados Unidos
Sistema de Gestión del Aprendizaje en Línea
68
69
Big data y las Naciones Unidas
Global Pulse: Big Data Climate Challenge 2014
70
Gracias!¿Alguna Pregunta...?
71
Marzo, 2016
Universidad Central de Venezuela
Escuela de Computación - Facultad de Ciencias
Introducción a Ciencia de los Datos
¿Qué se está haciendo en el mundo del Big Data
y hacia dónde vamos?...
top related