globo.comUso de anycast para balanceamento de carga na Globo.com
Uso de Anycast para balanceamento de carga
na Globo.com Marcus Vinícius G. Cesário
SBRC 2012 - 01/05/2012
Agenda‣ Caracterização do tráfego
‣ Análise das soluções
‣ Estrutura Anycast
1 Caracterização do tráfego
0
0.30
0.60
0.90
1.20
1.50
1.80
2.10
2.40
2.70
3.00
dezembro/2011
Páginas Vistas
bilh
ões
Globo.com G1 Globoesporte.comEgo. Receitas.com TechTudoFutpedia Novelas 18:00 Novelas 19:00Novelas 21:00
Demanda
fonte: Google Analytics
Demanda
Demanda
Demanda‣ Momentos de alta demanda
‣ ex: BBB com até 510 mil votos/min
0
150
300
450
600
26/03/2010 27/03/2010 28/03/2010 29/03/2010 30/03/2010 31/03/2010 01/04/2010
Votos por Minuto
Comportamento dos clientes
‣ Média de 4 a 8 conexões simultâneas
‣ 147 / 6 = 25
RTT do servidor (ms)
Tempo total (ms)
7 175
25 625
50 1250
150 3750
Premissas‣ Entrega de Conteúdo com grande consumo de
banda
‣ Percepção da Internet como um serviço 24/7/365
‣ necessidade de manutenções preventivas e corretivas
‣ Distribuição de carga e tolerância a falhas
‣ Operação pelo Datacenter no RJ ‣ Operação e monitoração pela estrutura de NOC do Rio de Janeiro
Solução escalável, com garantia de qualidade para o usuário e baixo custo?
2 Diferenças entre soluções
Esquemas de roteamento
Esquemas de roteamento
Esquemas de roteamento
Esquemas de roteamento
Site 2Site 1
1.1.1.1 2.2.2.2DNS Server
1.1.1.1 2.2.2.2
Região A Região B
Global Server Load Balancing
Site 2Site 1
1.1.1.1 2.2.2.2DNS Server
1.1.1.1 2.2.2.2
Região A Região B
Global Server Load Balancing
X
X
Content Delivery Network‣ Tecnologia dependente de Operadoras
‣ IP’s para cada localidade = mais suscetível a ataques
‣ Dimensionada para picos de acesso?
‣ Sistema de gerência dos pontos físicos
dig www.akamai.com
@Server Answer Avg RTT
201.7.183.120200.182.35.144200.182.35.163
10.564
8.8.8.8(google)
72.246.216.4272.246.216.33
157.753 +1493%
208.67.222.222(opendns.org)
23.67.53.10723.67.53.144
153.44 +1452%
4.2.2.1(level 3)
69.31.72.11569.31.72.129
152.381 +1442%
20/04/2012 - 15:00 as 15:10
Impacto da localidade
Impacto da localidade
Client subnet in DNS requests
‣ Opção EDNS0
‣ RFC2671 Agosto/1999
‣ Internet-draft 25/04/12
‣ Intended status: Experimental
Anycast
Site 2Site 1
1.1.1.1 1.1.1.1DNS Server
1.1.1.1 1.1.1.1
Região A Região B
Anycast
Site 2Site 1
1.1.1.1 1.1.1.1DNS Server
1.1.1.1 1.1.1.1
Região A Região B
X
Uso comum do Anycast‣ DNS
‣ Multicast Rendezvous Points (RP)
‣ Syslog
‣ Exportação de fluxos (flow)
‣ IPv4/IPv6 relay routers
‣ Sink hole networks
3 Estrutura Anycast
Estrutura Anycast‣ PoP’s conectados aos principais provedores de
serviço Internet - fixo / móvel / PTT Metro
‣ proximidade com o usuário
‣ Sessões BGP com anúncios simultâneos
‣ Possibilidade de crescimento em outros pontos físicos sem alterações no projeto
‣ Facilidade de manutenção
Estrutura Anycast
Perfil de tráfego
Perfil de tráfego‣ 97.65% Brasil
Perfil de tráfego‣ 81.34% do tráfego a 1 AS HOP de distancia
“Pop Switch?”
“Pop Switch?”
‣ “Never heard of it”
Anycast‣ Solução testada e confiável com TCP
‣ Barato e “Vendor Agnostic”
‣ Gerência simplificada
‣ Tolerância a falhas
‣ Melhor performance na entrega do conteúdo