introducción básica a big data e inventario de herramientas efectivas para big data
DESCRIPTION
Presentación de una de las conferencias sobre Big Data dadas en SENASoft - Colombia, el evento sobre TIC más importante de Colombia organizado por el SENA sobre tecnologías de la información y la comunicación. Por: Sebastián Ramírez Twitter: @tiangoloTRANSCRIPT
![Page 1: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/1.jpg)
Introducción básica a Big Datae inventario de herramientas
efectivas para Big Data
@tiangolo
![Page 2: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/2.jpg)
¿Quién les habla?
Sebastián RamírezSENSETA
Inteligencia Artificial sobre Big Data
@tiangolo
![Page 3: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/3.jpg)
¿Por qué “Big Data”?
@tiangolo
![Page 4: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/4.jpg)
Crecimiento exponencial de datos
90% en últimos 2 años
@tiangolo
![Page 5: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/5.jpg)
Múltiples fuentes de datos
@tiangolo
![Page 6: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/6.jpg)
Bases de Datos Tradicionales
• Procesador
• Memoria
• Disco…
@tiangolo
![Page 7: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/7.jpg)
¿Qué es Big Data?
@tiangolo
![Page 8: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/8.jpg)
3 V de Big Data• Volumen • Velocidad • Variedad
@tiangolo
![Page 9: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/9.jpg)
VolumenTamaño en disco, Bytes
@tiangolo
![Page 10: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/10.jpg)
VelocidadNuevos datos rápidamente
@tiangolo
![Page 11: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/11.jpg)
VariedadMúltiples formatos
@tiangolo
![Page 12: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/12.jpg)
Volumen, Velocidad, Variedad
@tiangolo
![Page 13: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/13.jpg)
¿Cómo comenzó?
@tiangolo
![Page 14: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/14.jpg)
Google Map Reduce
@tiangolo
![Page 15: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/15.jpg)
Hadoop
2005Open SourceMap Reduce
HDFS
@tiangolo
![Page 16: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/16.jpg)
Cluster Hadoop
@tiangolo
![Page 17: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/17.jpg)
Hadoop HDFSHadoop Distributed File System
@tiangolo
![Page 18: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/18.jpg)
Hadoop Jobs
@tiangolo
![Page 19: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/19.jpg)
Nodos Hadoop
@tiangolo
![Page 20: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/20.jpg)
Hadoop Map Reduce
@tiangolo
![Page 21: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/21.jpg)
Map function
Reducefunction
Input Splits
Fase “Map” Fase “Reduce”
Map Reduce
@tiangolo
![Page 22: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/22.jpg)
¿Qué existe ahora?
@tiangolo
![Page 23: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/23.jpg)
“Ecosistema” Hadoop
@tiangolo
![Page 24: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/24.jpg)
Distribuciones Hadoop
@tiangolo
![Page 25: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/25.jpg)
¿Quién usa Big Data y para qué?
@tiangolo
![Page 26: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/26.jpg)
•1.100 nodos•8.800 CPUs•12 PetaBytes
•300 nodos•2.400 CPUs•3 PetaBytes
@tiangolo
![Page 27: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/27.jpg)
Obama
@tiangolo
![Page 28: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/28.jpg)
NSA
@tiangolo
![Page 29: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/29.jpg)
Reciclaje
•De semanas a horas•Optimización de rutas
@tiangolo
![Page 30: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/30.jpg)
¿Cómo estudiar más?
@tiangolo
![Page 31: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/31.jpg)
Udacity: Intro to Hadoop
@tiangolo
![Page 32: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/32.jpg)
Hortonworks Sandbox
@tiangolo
![Page 33: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data](https://reader035.vdocuments.net/reader035/viewer/2022070319/557f7df3d8b42aab198b4c38/html5/thumbnails/33.jpg)
¡Gracias!
Sebastián Ramírez
Twitter: @tiangolo
Linkedin: http://lnkdin.me/p/tiangolo