nosql e big data na nuvem
TRANSCRIPT
NoSQL e Big Data na Nuvem Sua solução na Velocidade da Luz com a
Amazon Web Services
José Papo
AWS Tech Evangelist
@josepapo
Nuvem é Liberdade!
Liberte-se da Infra Tradicional!
Infraestrutura Tradicional é Cara e Complexa
Negociação de Contratos
Provedores Lentos para Atender a Demanda de Infra
Instalação de Patches
Data Center sem Espaço
Preços Altos para Infraestrutura de TI
Implantações Demoradas
Altos Investimentos de Capital
Recursos de TI com Baixa Utilização
Falta de foco no negócio
Gerenciar Crescimento Físico
“TI gasta 80% de seu tempo e recursos mantendo as luzes acesas”
Gartner Press Release, 2006
O que realmente precisamos é…
…capacidade ajustável
http://www.flickr.com/photos/purecaffeine/302682456/
Quando você desliga seus recursos de Nuvem você pára de pagar por eles
Elasticidade simples e automática
App de Vídeos com Amazon EC2: De 50 a 5,000 servidores em 3 dias!
Núm
ero
de I
nstâ
ncia
s E
C2
5,000
0 Segunda Terça Quarta Quinta Sexta Sábado Domingo
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
We
b S
erv
ers
Hora
25% de Economia
Durante um dia
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
We
b S
erv
ers
Dia do Mês
75% de Economia
Durante um mês
Nuvem é Democracia!
… E facilita o aumento da inovação em grandes
empresas
O que é NoSQL?
Bancos de dados NoSQL normalmente são facilmente escaláveis horizontalmente, podem trabalhar com quantidades de dados maciças e não utilizam um modelo relacional para suas estruturas de dados.
Bancos de Dados na
Nuvem da Amazon
Flexibilidade e independência
Sistemas Operacionais Linguagens e Bibliotecas Aplicações Certificadas
Opções de Bancos de Dados
Relacional NoSQL
Bancos de Dados - Modelos
Banco de Dados no
Amazon EC2
Sua escolha de software
de banco de dados
Bring Your Own License
(BYOL)
Amazon Relational
Database Service (RDS)
SQL Server, MySQL ou
Oracle oferecidos como
serviço
Licenciamento Flexível:
BYOL ou Licença Incluída
Amazon DynamoDB
NoSQL
Modelo não relacional
Overhead zero de
administração
Auto-gestão Database as a Service
Alta Disponibilidade de
NoSQL na AWS
Infraestrutura Global
US West (Northern
California)
US East (Northern
Virginia)
EU (Ireland)
Asia
Pacific (Singapore)
Asia
Pacific (Tokyo)
Regiões AWS
Pontos Edge AWS
GovCloud (US ITAR
Region)
US West (Oregon)
South
America (Sao Paulo)
Regiões da AWS e Zonas de Disponibilidade
Cliente pode decidir onde suas aplicações e dados residem
US-West-1b
RDS
Multi-AZ
US-West
Auto Scaling group :
Web App Tier
RDS
Maste
r
US East Traffic US West Traffic
ELB
Geo IP/Directional DNS
Server
Asia Traffic
Software-based Data Replicator
Europe Traffic
Web
App
Web
App
Web
App
Web
App Web
App
Web
App
US-East-1b
RDS
Multi-AZ
US-East
Auto Scaling group :
Web App Tier
RDS
Maste
r
ELB
Web
App
Web
App
Web
App
Web
App Web
App
Web
App
EU-West-1b
RDS
Multi-AZ
EU-West
Auto Scaling group :
Web App Tier
RDS
Maste
r
ELB
Web
App
Web
App
Web
App
Web
App Web
App
Web
App
AP-SOUTHEAST-1b
RDS
Multi-AZ
AP-SOUTHEAST
Auto Scaling group :
Web App Tier
RDS
Maste
r
ELB
Web
App
Web
App
Web
App
Web
App Web
App
Web
App
DynamoDB
DynamoDB é um Banco de
Dados NoSQL “as a service”
Armazene e recupere qualquer quantidade de dados
Sirva níveis gigantescos de tráfego e requisições
Sem as complexidades
operacionais
Sem instalações de software
Não é necessário configurar clusters
Custos mínimos de administração
Performance consistente e
previsível
Latências em unidades de milisegundos.
Armazenado em discos SSD.
Modelo de dados flexível
Modelo Chave/atributos.
Não requer schemas
Fácil de criar. Fácil de ajustar.
Escalabilidade simples
Sem limites de tamanho de tabelas.
Zero downtime.
Armazenamento ilimitado.
Durável e com alta disponibilidade.
Escritas consistentes em disco.
Replicação em diversos data centers
dentro de uma região.
Sem complexidades de
administração!
Sem complexidades de
administração!
Duas decisões + três
cliques = pronto para uso!
Duas decisões + três
cliques = pronto para uso!
Capacidade provisionada.
Reserve quantidade de requisições por
segundo para leituras e escritas.
Aumente ou diminua a capacidade a
qualquer momento.
Pague por capacidade.
Precificação por hora de capacidade
provisionada e dados armazenados
Duas decisões + três
cliques = pronto para uso!
Duas decisões + uma
chamada de API = pronto
para uso!
$create_response = $dynamodb->create_table(array(
'TableName' => 'ProductCatalog',
'KeySchema' => array(
'HashKeyElement' => array(
'AttributeName' => 'Id',
'AttributeType' => AmazonDynamoDB::TYPE_NUMBER
)
),
'ProvisionedThroughput' => array(
'ReadCapacityUnits' => 10,
'WriteCapacityUnits' => 5
)
));
APIs para as principais plataformas
Java
PHP
.NET
Perl
Python
Ruby
Modifique capacidade
manualmente ou automaticamente
Hadoop na Nuvem
"Hadoop é um storage confiável e um sistema analítico"
HDFS MapReduce
Então, Hadoop diminui o custo de
desenvolver um sistema Big Data…
Mas e o custo de operar um
sistema de Big Data?
Implantar um cluster hadoop é difícil
http://eddie.niese.net/20090313/dont-pity-incompetence/
Big Data requer infraestrutura flexível
Infraestrutura on premise leva a hardware e software estático e planejado para atender picos…
…e muitas vezes acaba gerando longas filas de processamento
+
Diminuindo o custo de operar sistemas Big Data…
Reduz complexidade/custo da gestão do Hadoop
Integra diretamente com Serviços AWS (EC2, S3,
DynamoDB, etc)
Facilita a elasticidade para Big Data
AMAZON ELASTIC MAPREDUCE
Data Warehouse Elástico
Aumenta
para 25
instancias
Data Warehouse
(Estável)
Data Warehouse
(Processo Batch)
Diminui
para
9
instancias
Data Warehouse
(Estável)
EMR é a Solução Hadoop Corporativa #1
AWS é “o provedor Hadoop mais proeminente” e “lidera por causa de seu serviço Elastic MapReduce já provado e rico em funcionalidades…”
-The Forrester Wave™: Enterprise Hadoop Solutions Q1 2012
Exemplos de uso e
escala de NoSQL e
NewSQL na AWS
NoSQL as a Service
500.000 transações / segundo
Amazon DynamoDB site
60 dólares / hora
DynamoDB
288 servidores com Cassandra
1.100.000 transações / segundo
Benchmarking Cassandra Scalability on AWS - Over a million writes per second
51 dólares / hora (Instâncias Reservadas)
500 servidores
600.000 transações ACID / segundo
NuoDB Presentation at Under the Radar
47 dólares / hora (Instâncias Reservadas)
100 servidores
500.000 transações ACID / segundo
Calvin: Fast Distributed Transactions for Partitioned Database Systems
20 dólares / hora (Instâncias Reservadas)
Calvin
10 dólares / hora (Instâncias Reservadas)
695k TPS with Node.js and VoltDB
Referências
NoSQL na Nuvem da AWS aws.amazon.com/nosql
OFERTA
GRATUITA! aws.amazon.com/pt/free
E mais um pequeno presente…
Siga @josepapo e envie um tweet com a seguinte
frase:
@josepapo Vi a palestra de #NoSQL da Amazon
#AWS no #TDC2012
E sortearei promo codes com crédito extra de 15
dólares para uso na Amazon Web Services!!!
OBRIGADO! aws.typepad.com/brasil
slideshare.net/AmazonWebServicesLATAM
José Papo
AWS Tech Evangelist
@josepapo
