explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de...
TRANSCRIPT
Explorando os principais implementadores Hadoop
José Renato Pequeno
Faculdade de Engenharia de Sorocaba - Facens
José Renato Pequeno
O Momento Big Data
Fonte:http://www.gartner.com/
Hadoop
• Projeto Open Source
• Criado pela Yahoo em 2005
• Licenciado pela Apache
• É a combinação de dois projetos :
Hadoop MapReduce (HMR)
Hadoop Distributed File System (HDFS)
Hadoop
Apache Hadoop é um framework que permite o processamento de grandes volumes de dados através de clusters. É um sistema distribuído usando uma arquitetura Master-Slave armazenando informações através do Hadoop Distributed File System (HDFS) e implementa algoritmos de MapReduce.
Eco Sistema Hadoop
O que é Big Data?Segundo a Wikipedia:
“Big Data consiste em datasets que crescem em uma escala tão grande e complexa que fica difícil de processar utilizando as ferramentas de gerenciamento de banco de dados tradicionais. As dificuldades incluem captura, armazenamento, busca, compartilhamento, analise e visualização.”
Profissões
Mercado de trabalho
Fonte : http://classificados.folha.uol.com.br/empregos/2013/06/1291482-empresas-tem-de-reduzir-exigencias-para-ocupar-vagas.shtml
Mercado de trabalho
Fonte : http://classificados.folha.uol.com.br/empregos/2013/06/1291482-empresas-tem-de-reduzir-exigencias-para-ocupar-vagas.shtml
Implementadores Hadoop
Hortonworks
Hortonworks
Hortonworks
Hortonworks
Hortonworks
Hortonworks
Fonte : https://github.com/hortonworks/hadoop-tutorials
Hortonworks
Fonte : https://github.com/hortonworks/hadoop-tutorials
Hortonworks
Hortonworks
Hortonworks
Cloudera
Cloudera
Cloudera
Cloudera
Cloudera
Cloudera
Cloudera
MapR
MapR
MapR
MapR
MapR
MapR
MapR
Principais Players
OracleMicrosoft
IBMEMC
Oracle
Utiliza como base a Cloudera
Possui um empacotamento próprio
VM Oracle Big Data Lite
Oracle
Oracle
Microsoft
Utiliza como base a Hortonworks
Possui um empacotamento próprio
HDInsight
Microsoft
Microsoft
IBM
Possui um empacotamento próprio
Infosphere Big Insight
IBM
EMC
Utiliza tanto a Cloudera como a Hortonworks.
Empacotamento via PivotalHD.
EMC
FIM
José Renato Pequeno@javalittle