introducao a aws storage backup e archiving

SÃO PAULO

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved

Introdução à AWS: Storage,

Backup e ArchivingAngelo Carvalho, Partner Solutions Architect

Opções de Storage na AWS

• Storage de objetos escalável

• Storage de baixo custo paraarquivamento

• Storage de blocos persistente

• Sistema de arquivos compartilhado

• Gateway para integração

Nós estamos constantemente produzindo mais dados

Em todos os tipos de indústrias

Storage de Objetos

Amazon S3

Simple Storage Service

2012 2013 2014 2015

102% de crescimento anual em

termos de transferência de

dados para e a partir do S3

(Q4 2014 vs Q4 2013, sem considerar o uso da Amazon)

Uso de S3

99.999999999%durabilidade

Boa tentativa,

Joãozinho…

Opção de redundância reduzida99.99% economia de ~20%

Recursos do S3: buckets e objetos

Website S3: conteúdo estático

1 PB de storage

800 TB de storage usável

600 TB de storage alocado

400 TB de dados de aplicação

Precificação do S3 — pague somente pelo que você

usa!

Amazon S3

Redução de custo Contínua: S3

• Disponível em 11 regiões globais

• Cobrado por GB-mês

• 8 reduções de preço desde o

lançamento

• 51% de redução (média) de

preço em 1/4/2014

• TCO: comparando on-premises

com S3

– Pode ser desafiador para

alguns clientes

– Nós podemos ajudar!

S3

Amazon

EMR

Amazon S3—Novas Features

S3 event notifications

Envia notificações ao Amazon SNS, Amazon SQS, or AWS

Lambda quando um evento ocorre no S3

S3

Eventos

Tópico SNS

Fila SQS

Função Lambda

Notificações

Foo() {…}

• Preserve, recupere, e restaure todas as

versões de cada objeto armazenado em seu

bucket

• S3 automaticamente adiciona novas versões

e preserva os objetos excluídos com

marcadores de exclusão

• Controle facilmente o número de versões

armazenadas usando as políticas de

expiração e ciclo de vida dos objetos

• Facilmente habilitado através do Console de

Gerenciamento

Versionamento no S3

Replicação entre regiões no S3Replicação assíncrona de dados entre regiões AWS, automatizada, rápida e confiável

Source

(Virginia)

Destination

(Oregon)

• Apenas replica novos PUTs. Uma

vez que o S3 está configurado,

todos os novos uploads para um

bucket serão replicados

• Bucket inteiro ou baseado em

prefixo

• Replicação 1:1 entre quaisquer 2

regiões

• Versionamento Requerido

Casos de Uso:

• Compliance—armazene seus dados a centenas ou milhares de kilometros de distância

• Menor latência—distribua dados para clientes regionais

• Segurança—crie réplicas remotas gerenciadas por contas AWS diferentes

VPC Endpoints no S3

Demo da Replicação entre Regiões

Casos de Uso para o S3

• Capacidade de armazenamento “web-scale” e

performance para aplicações web

• Armazenamento com origem única com entrega através

do Amazon CloudFront

• Armezamento temporário e persistente para aplicações

Big Data

• Storage alvo para backup e arquivamento ativo

Amazon Glacier

Serviço de arquivamento de baixo custo

$0.01por GB-mês

$120por TB/ano

99.999999999%durabilidade

3–5 horasRecuperação dos dados

Custo de Storage

vs.

Custo de recuperação

Benefícios do Glacier

• Reduza o custo para arquivamento para

arquivamento de longo prazo

• Capacidade ilimitada de armazenamento

• Substitua fita

• Aumente a durabilidade

Amazon S3 – Integração com Glacier

Serviço de arquivamento baseado em

políticas

Políticas de ciclo de vida no S3 →

Key prefix “logs/”

Mover objetos para o Glacier 30 dias após a criação

Excluir 365 dias após a criação

<LifecycleConfiguration>

<Rule>

<ID>archive-in-30-days</ID>

<Prefix>logs/</Prefix>

<Status>Enabled</Status>

<Transition>

<Days>30</Days>

<StorageClass>GLACIER</StorageClass>

</Transition>

<Expiration>

<Days>365</Days>

</Expiration>

</Rule>

</LifecycleConfiguration

SoundCloud—usa o Glacier para

transcoding de audio

• Líder no ramo de redes sociais para

o mercado música e áudio

• Arquivos de áudio devem ser

transcodificados e armazenados em

múltiplos formatos

S3

Glacier

Casos de uso para as políticas de ciclo de

vida do S3

• Escalonamento de dados na nuvem

• Gerenciar versionamento de objetos para proteção

lógica dos dados

• Exclusão de dados no Glacier por política

Storage de Blocos

Storage de Instância

Amazon EBS

Elastic Block Storage

1GB16 TB

EBS

General Purpose (SSD)

até 16 TB

10,000 IOPS

até 160 Mbps

Provisioned IOPS (SSD)

até TB

20,000 IOPS

até 320 Mbps

Preço Performance

EBS

Magnetic General Purpose Provisioned IOPS

Casos de uso Infrequent data access

Boot volumes

Small to med DBs

Dev and Test

I/O intensive

Relational DBs

NoSQL DBs

Media do Storage Magnetic disk-backed SSD-backed SSD-backed

Max IOPS 40–200 IOPS 10,000 IOPS 20,000 IOPS

Latência (random

read)20–40 ms 1–2 ms 1–2 ms

Disponibilidade Designed for 99.999% Designed for 99.999% Designed for 99.999%

Preço$.05/GB-month

$.05/million I/O$.10/GB-month

$.125/GB-month

$.065/provisioned IOPS

Amazon EBS:snapshots

EBS use cases

• Storage de blocos persistente para o Amazon EC2

• Workloads transacionais

• Sistema de arquivos para uma instância—NTFS, ExtFS,

etc…

Introduzindo o Amazon Elastic File System

Sistema de arquivos na nuvem

O que é o EFS?

• Um sistema de arquivos gerenciado para as instâncias EC2

• Fornece a semântica padrão para sistema de arquivos

• Cresce elasticamente a uma escala de petabytes

• Entrega performance para uma variedade de workloads

• Altamente disponível e durável

simples elástico escalável

1 2 3

EFS é desenhado para um amplo leque de

casos de uso, como…

• Repositório de Conteúdo

• Ambientes de Desenvolvimento

• Diretórios de Usuários

• Big data

EFS é simples

• Totalmente gerenciado

– Sem hardware, rede, camada de arquivos

– Cria um sistema de arquivos escalável emsegundos!

• Integração precisa com ferramentas e aplicações existentes

– NFS v4—muito adotado, aberto

– Semântica padrão para o sistema de arquivos

– Funciona com as apis padrões do SO

• Preço simples = Estimativa simples

1

EFS é elástico

• Sistemas de arquivos crescem e

diminuem automaticamente conforme

você adiciona ou remove arquivos

• Não é preciso provisionar capacidade

ou performance

• Você paga somente pelo que você

usa, não existe valor mínimo

2

• Sistemas de arquivos podem crescerpara uma escala de petabytes

• Throughput e IOPS escalamautomaticamente conforme o sistemade arquivos cresce

• Baixa latência consistenteindependente do tamanho do arquivo

• Suporte para milhares de conexõesNFS concorrentes

EFS é escalável3

Arquitetura do EFS

AVAILABILITY ZONE 1

REGION

AVAILABILITY ZONE 2

AVAILABILITY ZONE 3

VPC

EC2EC2

EC2

EC2

Sistema de

Arquivos do

Cliente

Porque isso é importante?...

… to app owners

and developers?

… to your

business?

• Fácil mover para a nuvem código existente, aplicações

e ferramentas que hoje usam servidores NFS

• Storage de arquivos simples para novas aplciações

nativas para cloud

• Preço previsível sem investimento inicial

• Mais agilidade

• Gaste menos tempo gerenciando storage e mais

tempo focado no seu business

… to IT

administrators?

• Elimina a necessidade de gerenciar e manter

storage em larga escala

Amazon Storage Gateway

Storage Gateway

Sua rampa de acesso para o Storage

em Nuvem da AWS:

• Back up para o S3

• DR no EC2

• Arquive no Amazon Glacier

• iSCSI ou VTL

Sumário: portfolio de Storage da AWS

S3• Storage de Objetos: dados apresentados como buckets de objetos

• Dados acessados por APIs através da Internet

EFS• Storage de arquivos (análogo ao NAS): dados apresentados como um file system

• Acesso de baixa latência e compartilhado a partir de múltiplas instâncias EC2

Glacier• Storage para Arquivamento: dados apresentados como vaults/archives de objetos

• Storage de menor custo, para dados não acessados frequentemente

Storage

Gateway• Back up e arquive dados no S3 e Amazon Glacier

EBS• Storage de Blocos (análogo ao SAN): dados apresentados como discos/volumes

• Acesso de menor latência a partir das Instâncias EC2

AltaVault: Storage integrado a Cloud e Amazon Web Services

AWS SUMMIT 2015 - Brasil

Nome: JOÃO PAULO ARAGÃO PEREIRA

Título: ENGENHEIRO DE SISTEMAS

Empresa: NETAPP

Data:28/05/2015 © 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use 57

Nova era de TI

© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use58

A Cloud é o framework –modelo baseado emserviços

Data Center Enterprise está evoluindo para Clouds privadas e expandindopara Clouds públicas

Um modelo de Cloud ultimamente entrega:

Autonomia, Agilidade, Inovação

Em 2016, a Cloud tornará-se a maior parte de novosgastos com TI – Gartner.

49%

38%

35%

34%

32%

31%

30%

27%

27%

25%

25%

Backup e archive de dados

Teste e desenvolvimento

Disaster recovery

Storage primário para files

Web servers

HPC

BI

Projetos temporários

Produção interna de apps

Bursting de aplicação

Picos de Workload

Para o que sua organização usaria a infraestrutura de Cloud?

POR QUE CLOUD PARA BACKUP E ARCHIVE?


*Source: Enterprise Strategy Group, 2014.

0

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

Preço do Storage/GB/mês

AWS S3

AWS Glacier

2010 2011 2012 2013 2014 2015

O problema atual com backup e archive


Muito caro

Como storagecresce, o custo cresce

Muito tempo de equipe técnicagasta para proteção dos dados

Muito arriscado

Tapes podemdeteriorar e sãodifíceis de testar

Empresasexperimentamdowntime e perdade dados

Muito lento

Usuários esperaminstantânearecuperação e sem perda de dados

Backup e falha de recuperaçãodentro das janelasde backup

Muito complexo

Organizaçõesgerenciam centenasde jobs de backup através de múltiplosbackup apps

Gerenciar cópias de dados através de sites é um desafio

© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use 61

Modernização de backup

Adicionando backup integrado a Cloud

Storage como target de archiveStorage como target file

Backup server Backup server

PBBA

Archive ou DB

server

Enterprise

Vault

cloud-integrated

storage appliance

cloud-integrated

storage appliance

cloud-integrated

storage appliance

cloud-integrated

storage appliance

Como as empresas podem usar Cloud para backup e archive?

Cloud pode ajudar com o Disaster Recovery


Recupera workloads na Cloud

Backup server

Recupera para outro site via Cloud

Backup server

DR site

Cloud-based storage

appliance

Cloud-based backup server

Cloud-integrated

storage appliance

Cloud-integrated

storage appliance

Cloud-integrated

storage appliance

NetApp altavault: Storage integrado a Cloud

63

NetApp® AltaVault é uma solução líder para backup e archive na Cloud de forma eficiente e segura. NetApp® AltaVault é o único Storage integrado na Cloud que permite os clientes armazenar, de forma segura, os dados da sua

escolha na Cloud, e em até 90% menos dados do que os métodos locais.

FÍSICO VIRTUAL CLOUD

AV400 AVA-v8 AVA-c4

AV800 AVA-v16 AVA-c8

xxx AVA-v32 AVA-c16

Outras Clouds

Como o ALTAVAULT trabalha?


FAS

E-Series

Não-NetApp Storage

NetApp SnapProtect

Arcserve

CommVault Simpana

EMC NetWorker

HP Data Protector

IBM Tivoli Storage Manager

Veritas Backup Exec

Veritas NetBackup

Veeam

Microsoft SQL Server

Oracle RMAN

NetApp AltaVault

S3, Glacier,GovCloud

Integra com infraestrutura vigente

Desduplica, comprime e

encripta

Cache local de recentes backups,

vaults de cópias maisvelhas na Cloud

Armazena dados naCloud pública ouprivada de sua

escolha

Dispositivo ALTAVAULT: modos

*Logical capacities assume 30x deduplication© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use 65

240TB-1,92PB

Storage lógico na

Cloud:

Storage útil na

Cloud:

Até 57PB

Até 10PB

Até 10PB

Physical: 3030

Modo Cold

storage:Modo Backup:

Cache útil: 32TB-384TB 32TB

Cache

lógico: 960TB-11.5PB Até 1999M files

Rate Ingest: =8TB/hr =350GB/hr

Virtual

Até 32TB

960TB

2.6TB/hr

160TB

4.8PB

Virtual

Até 32TB

960TB

350GB/hr

10PB

10PB

Clientes


Obrigado


introducao a aws storage backup e archiving

Software