nosql e big data na nuvem

NoSQL e Big Data na Nuvem Sua solução na Velocidade da Luz com a

Amazon Web Services

José Papo

AWS Tech Evangelist

@josepapo

Nuvem é Liberdade!

Liberte-se da Infra Tradicional!

Infraestrutura Tradicional é Cara e Complexa

Negociação de Contratos

Provedores Lentos para Atender a Demanda de Infra

Instalação de Patches

Data Center sem Espaço

Preços Altos para Infraestrutura de TI

Implantações Demoradas

Altos Investimentos de Capital

Recursos de TI com Baixa Utilização

Falta de foco no negócio

Gerenciar Crescimento Físico

“TI gasta 80% de seu tempo e recursos mantendo as luzes acesas”

Gartner Press Release, 2006

O que realmente precisamos é…

…capacidade ajustável

http://www.flickr.com/photos/purecaffeine/302682456/

Quando você desliga seus recursos de Nuvem você pára de pagar por eles

Elasticidade simples e automática

App de Vídeos com Amazon EC2: De 50 a 5,000 servidores em 3 dias!

Núm

ero

de I

nstâ

ncia

s E

C2

5,000

0 Segunda Terça Quarta Quinta Sexta Sábado Domingo

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

We

b S

erv

ers

Hora

25% de Economia

Durante um dia

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29

We

b S

erv

ers

Dia do Mês

75% de Economia

Durante um mês

Nuvem é Democracia!

Permitiu o boom das startups!

… E facilita o aumento da inovação em grandes

empresas

O que é NoSQL?

Bancos de dados NoSQL normalmente são facilmente escaláveis horizontalmente, podem trabalhar com quantidades de dados maciças e não utilizam um modelo relacional para suas estruturas de dados.

Bancos de Dados na

Nuvem da Amazon

Flexibilidade e independência

Sistemas Operacionais Linguagens e Bibliotecas Aplicações Certificadas

Opções de Bancos de Dados

Relacional NoSQL

Bancos de Dados - Modelos

Banco de Dados no

Amazon EC2

Sua escolha de software

de banco de dados

Bring Your Own License

(BYOL)

Amazon Relational

Database Service (RDS)

SQL Server, MySQL ou

Oracle oferecidos como

serviço

Licenciamento Flexível:

BYOL ou Licença Incluída

Amazon DynamoDB

NoSQL

Modelo não relacional

Overhead zero de

administração

Auto-gestão Database as a Service

Alta Disponibilidade de

NoSQL na AWS

Infraestrutura Global

US West (Northern

California)

US East (Northern

Virginia)

EU (Ireland)

Asia

Pacific (Singapore)

Asia

Pacific (Tokyo)

Regiões AWS

Pontos Edge AWS

GovCloud (US ITAR

Region)

US West (Oregon)

South

America (Sao Paulo)

Regiões da AWS e Zonas de Disponibilidade

Cliente pode decidir onde suas aplicações e dados residem

US-West-1b

RDS

Multi-AZ

US-West

Auto Scaling group :

Web App Tier

RDS

Maste

r

US East Traffic US West Traffic

ELB

Geo IP/Directional DNS

Server

Asia Traffic

Software-based Data Replicator

Europe Traffic

Web

App

Web

App

Web

App

Web

App Web

App

Web

App

US-East-1b

RDS

Multi-AZ

US-East

Auto Scaling group :

Web App Tier

RDS

Maste

r

ELB

Web

App

Web

App

Web

App

Web

App Web

App

Web

App

EU-West-1b

RDS

Multi-AZ

EU-West

Auto Scaling group :

Web App Tier

RDS

Maste

r

ELB

Web

App

Web

App

Web

App

Web

App Web

App

Web

App

AP-SOUTHEAST-1b

RDS

Multi-AZ

AP-SOUTHEAST

Auto Scaling group :

Web App Tier

RDS

Maste

r

ELB

Web

App

Web

App

Web

App

Web

App Web

App

Web

App

DynamoDB

DynamoDB é um Banco de

Dados NoSQL “as a service”

Armazene e recupere qualquer quantidade de dados

Sirva níveis gigantescos de tráfego e requisições

Sem as complexidades

operacionais

Sem instalações de software

Não é necessário configurar clusters

Custos mínimos de administração

Performance consistente e

previsível

Latências em unidades de milisegundos.

Armazenado em discos SSD.

Modelo de dados flexível

Modelo Chave/atributos.

Não requer schemas

Fácil de criar. Fácil de ajustar.

Escalabilidade simples

Sem limites de tamanho de tabelas.

Zero downtime.

Armazenamento ilimitado.

Durável e com alta disponibilidade.

Escritas consistentes em disco.

Replicação em diversos data centers

dentro de uma região.

Sem complexidades de

administração!

Sem complexidades de

administração!

Duas decisões + três

cliques = pronto para uso!

Duas decisões + três

cliques = pronto para uso!

Capacidade provisionada.

Reserve quantidade de requisições por

segundo para leituras e escritas.

Aumente ou diminua a capacidade a

qualquer momento.

Pague por capacidade.

Precificação por hora de capacidade

provisionada e dados armazenados

Duas decisões + três

cliques = pronto para uso!

Duas decisões + uma

chamada de API = pronto

para uso!

$create_response = $dynamodb->create_table(array(

'TableName' => 'ProductCatalog',

'KeySchema' => array(

'HashKeyElement' => array(

'AttributeName' => 'Id',

'AttributeType' => AmazonDynamoDB::TYPE_NUMBER

)

),

'ProvisionedThroughput' => array(

'ReadCapacityUnits' => 10,

'WriteCapacityUnits' => 5

)

));

APIs para as principais plataformas

Java

PHP

.NET

Perl

Python

Ruby

Modifique capacidade

manualmente ou automaticamente

Hadoop na Nuvem

"Hadoop é um storage confiável e um sistema analítico"

HDFS MapReduce

Então, Hadoop diminui o custo de

desenvolver um sistema Big Data…

Mas e o custo de operar um

sistema de Big Data?

Implantar um cluster hadoop é difícil

http://eddie.niese.net/20090313/dont-pity-incompetence/

Big Data requer infraestrutura flexível

Infraestrutura on premise leva a hardware e software estático e planejado para atender picos…

…e muitas vezes acaba gerando longas filas de processamento

+

Diminuindo o custo de operar sistemas Big Data…

Reduz complexidade/custo da gestão do Hadoop

Integra diretamente com Serviços AWS (EC2, S3,

DynamoDB, etc)

Facilita a elasticidade para Big Data

AMAZON ELASTIC MAPREDUCE

Data Warehouse Elástico

Aumenta

para 25

instancias

Data Warehouse

(Estável)

Data Warehouse

(Processo Batch)

Diminui

para

9

instancias

Data Warehouse

(Estável)

EMR é a Solução Hadoop Corporativa #1

AWS é “o provedor Hadoop mais proeminente” e “lidera por causa de seu serviço Elastic MapReduce já provado e rico em funcionalidades…”

-The Forrester Wave™: Enterprise Hadoop Solutions Q1 2012

Exemplos de uso e

escala de NoSQL e

NewSQL na AWS

NoSQL as a Service

500.000 transações / segundo

Amazon DynamoDB site

60 dólares / hora

DynamoDB

288 servidores com Cassandra

1.100.000 transações / segundo

Benchmarking Cassandra Scalability on AWS - Over a million writes per second

51 dólares / hora (Instâncias Reservadas)

500 servidores

600.000 transações ACID / segundo

NuoDB Presentation at Under the Radar

47 dólares / hora (Instâncias Reservadas)

100 servidores

500.000 transações ACID / segundo

Calvin: Fast Distributed Transactions for Partitioned Database Systems

20 dólares / hora (Instâncias Reservadas)

Calvin

10 dólares / hora (Instâncias Reservadas)

695k TPS with Node.js and VoltDB

Referências

NoSQL na Nuvem da AWS aws.amazon.com/nosql

OFERTA

GRATUITA! aws.amazon.com/pt/free

E mais um pequeno presente…

Siga @josepapo e envie um tweet com a seguinte

frase:

@josepapo Vi a palestra de #NoSQL da Amazon

#AWS no #TDC2012

E sortearei promo codes com crédito extra de 15

dólares para uso na Amazon Web Services!!!

OBRIGADO! aws.typepad.com/brasil

slideshare.net/AmazonWebServicesLATAM

José Papo

AWS Tech Evangelist

@josepapo