big data na nuvem da aws
DESCRIPTION
Apresentação introdutória sobre Big Data feita como webinar em 31/10/2012TRANSCRIPT
![Page 1: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/1.jpg)
Big Data na AWS
José Papo
AWS Tech Evangelist
@josepapo
![Page 2: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/2.jpg)
![Page 3: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/3.jpg)
A análise de grandes volumes de dados está se
tornando a grande barreira para
inovação, competição e
produtividade.
![Page 4: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/4.jpg)
O que é Big Data?Gerados por computador – estruturados, semi-estruturados ou não-estruturados Logs (web sites, jogos) Sensores (tempo, água) Imagens/vídeos (cameras, segurança)
Gerados por pessoas Blogs/Resenhas/Emails/Fotos
Redes Sociais Facebook, Linkedin, Twitter
![Page 5: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/5.jpg)
Onde se vê Big Data
Mídia/
Propaganda
Anuncios Dirigidos
Processa-mento de vídeos e imagens
Óleo e Gás
Análise Sismica
Varejo
Recomen-dações
Análise de Transações
Telecom
Cobrança
Log de Ligações
Uso dos Produtos
Instituições Financeiras
Simulações de Monte
Carlo
Análise de Riscos
Segurança
Anti-virus
Detecção de Fraudes
Reconheci-mento de Imagens
Marketing e Jogos
(sobretudo social)
Analise Comporta-
mental
Análise de Uso
Métricas “In-game”
![Page 6: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/6.jpg)
O que é Hadoop?
Apache Hadoop Sistema de storage distribuído e tolerante a falhas
(HDFS) Usa um algoritmo chamado MapReduce para realizar
análises estatísticas exaustivas sobre um grande conjunto de dados distribuídos
Benefícios-chave Custo mais baixo – Escala linearmente Provado em escala– Petabytes em milhares de nós Flexível – Dados podem ser armazenados com ou sem schema
![Page 7: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/7.jpg)
"Hadoop é um storage confiável e um sistema analítico"
HDFS MapReduce
![Page 8: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/8.jpg)
RDBMS MapReduce (Hadoop)
Schema definido Schema não requerido
Explora índices para recuperação rápida
Análises rápidas de dados e performance uniforme de
queries
SQL apenas Suporta SQL + outras linguagens
Não escala linearmente Escalabilidade linear para reads + writes
![Page 9: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/9.jpg)
Implantar um cluster hadoop é difícil
http://eddie.niese.net/20090313/dont-pity-incompetence/
![Page 10: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/10.jpg)
Big Data requer infraestrutura flexível
Infraestrutura física leva a hardware e software estático e planejado para atender picos…
…e muitas vezes acaba gerando longas filas de processamento
![Page 11: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/11.jpg)
+
![Page 12: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/12.jpg)
Data Warehouse Elástico
Aumenta para 25
instancias
Data Warehouse(Estável)
Data Warehouse(Processo Batch)
Diminui para
9 instancias
Data Warehouse(Estável)
![Page 13: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/13.jpg)
Input data
S3
UNDERTHE
HOOD
ii
![Page 14: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/14.jpg)
Elastic MapReduce
Code
Input data
S3
UNDERTHE
HOOD
ii
![Page 15: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/15.jpg)
Elastic MapReduce
Code Name node
Input data
S3
UNDERTHE
HOOD
ii
![Page 16: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/16.jpg)
Elastic MapReduce
Code Name node
Input data
S3
Elastic cluster
UNDERTHE
HOOD
ii
![Page 17: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/17.jpg)
Elastic MapReduce
Code Name node
Input data
S3
Elastic cluster
HDFS
UNDERTHE
HOOD
ii
![Page 18: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/18.jpg)
Elastic MapReduce
Code Name node
Input data
S3
Elastic cluster
HDFSQueries+ BI
Via JDBC, Pig, Hive
UNDERTHE
HOOD
ii
![Page 19: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/19.jpg)
Elastic MapReduce
Code Name node
OutputS3 + SimpleDB
Input data
S3
Elastic cluster
HDFSQueries+ BI
Via JDBC, Pig, Hive
UNDERTHE
HOOD
ii
![Page 20: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/20.jpg)
OutputS3 + SimpleDB
Input data
S3
UNDERTHE
HOOD
ii
![Page 21: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/21.jpg)
![Page 22: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/22.jpg)
![Page 23: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/23.jpg)
![Page 24: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/24.jpg)
![Page 25: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/25.jpg)
![Page 26: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/26.jpg)
![Page 27: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/27.jpg)
![Page 28: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/28.jpg)
![Page 29: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/29.jpg)
![Page 30: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/30.jpg)
![Page 31: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/31.jpg)
![Page 32: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/32.jpg)
![Page 33: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/33.jpg)
![Page 34: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/34.jpg)
![Page 35: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/35.jpg)
AWS MarketplaceInformatica, MapR, Karmasphere, Marketshare, Acunu Cassandra, Metamarkets, Aspera e mais.
aws.amazon.com/marketplace
![Page 36: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/36.jpg)
![Page 37: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/37.jpg)
![Page 38: Big Data na Nuvem da AWS](https://reader036.vdocuments.net/reader036/viewer/2022062704/556177e4d8b42a171a8b4d79/html5/thumbnails/38.jpg)
OBRIGADO!aws.typepad.com/brasil
slideshare.net/AmazonWebServicesLATAM
José Papo
AWS Tech Evangelist
@josepapo