Projetando o Sistema Projetando o Sistema NervosoNervoso

de sua Redede sua Rede

Professor: Antônio João de Arruda Cebalho

UNIC- UNIVERSIDADE DE CUIABÁPÓS-GRADUAÇÃO

EM SEGURANÇA DE INFORMAÇÃO

Data Center / CPD / Sala Data Center / CPD / Sala de de EquipamentosEquipamentos

Centro Nervoso das empresas.

Ambientes especialmente projetados com os últimos avanços tecnológicos em processamento de dados e comunicações.

Dedicado a fornecer serviço ininterruptamente para as operações críticas das empresas.

Layout Típico de um Data Center

Tipos de Data CentersTipos de Data Centers INTERNET DATA CENTERS (IDC)

– Telcos– Provedores de Serviços de Internet– Fornecer serviços para usuários– Representam um modelo futuro para a conectividade de

Internet e o comércio eletrônico

Tipos de Data Centers Tipos de Data Centers (Cont.)(Cont.)

DATA CENTERS PRIVADOS (PDC)– Operados por seus proprietários com o único propósito de

suportar o processamento de dados e serviços de Web orientados à sua própria organização.

– Projeto, suporte, planejamento e manutenção são realizados pelo próprio departamento de TI

– Em constante expansão para dar suporte às crescentes demandas profissionais e dar uma rápida resposta às necessidades dos usuários, iniciativas de inovação e novos aplicativos que melhorem a produtividade.

Projeto: O que observar na Rede?Projeto: O que observar na Rede?

Alta Disponibilidade Alta Densidade Alta Performance (Velocidade) Projeto Flexível Rapidez em Instalações e Modificações Agilidade na Detecção de Problemas Preparados para o Futuro Fácil de Implementar e Utilizar

Projeto do DC : Normas para observar Projeto do DC : Normas para observar

Normas:– ANSI/TIA 942 - Telecommunications Infrastructure Standard for

Data Centers (publicada em 2005)– ABNT/CB-21 CE-21:204.21/GT- 9 (draft)– ISO 24764 (draft; só cabling)– EN 50173-5.200x (draft; só cabling)

Oferece: Requisitos Recomendações Categorizações

ARQUITETURA MECÂNICA ELÉTRICA COMUNICAÇÕES

RECOMENDAÇÕES

TIER 1

TIER 2

TIER 3

TIER 4

Infra-estrutura física TIA568B, Localização de Racks, Altura, Portas, Incêndio, Temperatura, Umidade, etc…

REQUISITOS E RECOMENDAÇÕESREQUISITOS E RECOMENDAÇÕESA base da NormaA base da Norma

Recomendações: critérios que melhoram a performance do sistema e todas suas aplicações relacionadas.

Categoria 6, Fibras Ópticas Multimodo 50, Regra dos 15 metros, Transmissões em Paralelo, etc…

Requisitos: critérios gerais estabelecidos como requisitos mínimos.

Downtime & UptimeDowntime & Uptime

Downtime por ano, em função da classificação:

Tier 1 – 28.8 horas Tier 3 – 1.6 horas

Tier 2 – 22.0 horas Tier 4 – .4 horas

Uptime, em função da classificação:

Tier 1 – 99,67% Tier 3 – 99,98%

Tier 2 – 99,75% Tier 4 – 99,995%

Checklist de ProjetoChecklist de Projeto

Estime requisitos de espaço, telecomunicações, energia elétrica, refrigeração e redundância em capacidade plena, e então adicione uma margem para crescimento: tipicamente 25%.

Contate projetistas profissionais e forneça-lhes os requisitos de área, energia elétrica, refrigeração, segurança, carga de piso, aterramento e proteção elétrica para a sala de computadores.

Coordene os projetos preliminares dos projetistas e os revise conforme necessário.

• Crie uma planta de piso dos equipamentos com a localização

das salas principais e das áreas de distribuição. Inclua os requisitos

esperados de energia elétrica, telecomunicações, refrigeração e

carga de piso.

• Obtenha uma planta atualizada de seus projetistas contendo a infra-estrutura de telecomunicações,

equipamentos elétricos e mecânicos ampliados para a

capacidade total do data center.

• Projete o sistema de cabeamento estruturado baseado nas

necessidades dos equipamentos do data center

DC TIPO 1 : DC TIPO 1 : BÁSICOBÁSICO

RECOMENDAÇÕES

REQUISITOS

Sem redundância de meios ou equipamento, um só caminho físico. Etiquetagem de Cabos, Painéis e

Conectores segundo TIA 606.

DC TIPO 2 : DC TIPO 2 : REDUNTANTEREDUNTANTE

REQUISITOS

RECOMENDAÇÕES

TIPO 1

Redundância em Componentes de Equipamento (N+1), Redundância em Backbones, Etiquetas nos Patch Cords

RECOMENDAÇÕES

DC TIPO 3 : DC TIPO 3 : ADMINISTRÁVELADMINISTRÁVEL

REQUISITOS

TIPO 1

TIPO 2

Redundância por cabos independentes e caminhos separados, duas salas de entrada, ferramenta de

administração do cabeamento, CFTV e Segurança.

DC TIPO 4 : DC TIPO 4 : À PROVA DE FALHASÀ PROVA DE FALHAS

RECOMENDAÇÕES

REQUISITOS

TIPO 1

TIPO 2

TIPO 3

Cabos Armados Internos, Redundância 2(N+1), Áreas de Distribuição Secundárias.

Ex.: Checklist de Comunicações (parte)Ex.: Checklist de Comunicações (parte)TIPO 1 TIPO 2 TIPO 3 TIPO 4

Cabeamento, racks cumprem com especificações da TIA

√ √ √ √

Entradas diversas separadas por ao menos 20 metros √ √ √

Acessos e prestadores de serviços redundantes √ √

Sala de Entrada secundária √ √

Área de distribuição secundária Opcional

Backbone redundantes √ (dentro do

cabo)

√ (por cabos separados)

√

Cabeamento horizontal redundante Opcional

Switches e roteadores com fontes e processadores redundantes

√ √ √

Múltiplos roteadores e switches para redundância √ √

Patch panels, cabos e tomadas etiquetados. (Racks na frente e na parte posterior) Segundo TIA 606-A

√ √ √ √

Patch cords etiquetados em ambos extremos. √ √ √

Cabos Armados de Interiores FO √

Ferramenta de administração de cabeamento √ √

Ex: Checklist de Elétrica (parte)Ex: Checklist de Elétrica (parte)

INFRA-ESTRUTURA PARA INFRA-ESTRUTURA PARA DATA CENTERSDATA CENTERSCabeamento de Telecomunicações

Distribuição Elétrica

Sistemas Mecânicos / Ar Condicionado

Arquitetura

Administração

SISTEMAS DE INFRA-ESTRUTURA DE SISTEMAS DE INFRA-ESTRUTURA DE CABEAMENTOCABEAMENTO

Os elementos básicos do cabeamento são:– Cabeamento Horizontal– Cabeamento de Backbone– Cross-Connect de Entrada ou de Distribuição Principal– Área de Distribuição Principal (MC – Main Cross-Connect)– Cross-Connect horizontal na sala de telecom, área de distribuição

horizontal ou principal.– Ponto de Consolidação na área de distribuição.– Tomadas na área de equipamento

Realidade do cabeamento...Realidade do cabeamento...

Cabeamento NÃO EstruturadoCabeamento NÃO Estruturado

Uma solução mais inteligenteUma solução mais inteligente

MDA

EDA

EDA

CabeamentoHorizontal

ZDA

CabeamentoHorizontal

EDA

CabeamentoHorizontal

CabeamentoHorizontal

EDAHDA

Backbone

EF

ENTRANCE ROOM (Área de Entrada)ENTRANCE ROOM (Área de Entrada)

Pode estar dentro ou fora do Data Center Deve ser controlado pelo dono do Data Center Podem requerer múltiplas Áreas de Entrada Requer painéis de distribuição e UPS dedicados Mesmo sistema de backup elétrico que a Sala dos

Computadores

Área de Distribuição Principal (MDA)Área de Distribuição Principal (MDA)

Todo Data Center terá ao menos uma Área de Distribuição Principal.

É o espaço central de distribuição do Cabeamento do Data Center.

Localizado preferencialmente no centro do DC. Possui:

– Core Routers– Core LAN Switches– Core SAN Switches

Área de Distribuição Horizontal (HDA)Área de Distribuição Horizontal (HDA)

Possui os switches LAN, SAN, KVM e console. Ao menos um por piso. A quantidade máxima de conexões é medida pela

capacidade da infra (bandejas, calhas, etc.)

Área de Distribuição de Zona (ZDA, Ponto de Consolidação)

• Máximo de 288 conexões por Área.

• Não se permite fazer conexões cruzadas.

• Não deve haver equipamento ativo.

• Não pode haver mais de um Ponto de Consolidação no mesmo cabeamento horizontal

Área de Distribuição deÁrea de Distribuição deEquipamento (EDA)Equipamento (EDA)

Lugar onde finaliza o cabeamento horizontal.

O cabeamento ponto a ponto entre equipamentos é permitido:

– Entre racks adjacentes da mesma fila.

– O patch cord NÃO deve ser maior que 15m.

– Não deve passar sob o piso elevado.

AVAYA Cajun P880

Cajun P880

19x3-inch Universal Rack

Router

Server

AVAYA LazrSPEED

LSTLS-144LC

19x3-inch Universal Rack

1100D1

1100D1

AVAYA iPatchNetwork Manager

iP Net Mgr

iP1100PS-48

iP1100PS-48

1100D1

iP1100PS-48

1100D1

iP1100PS-48

1100D1

iP1100PS-48

iP1100PS-48

Armário electrônico

Armário horizontal

Sala de Telecomunicações (TR)Sala de Telecomunicações (TR)

Área que suporta o cabeamento para áreas externas à Sala de Computadores (CR).

Preferencialmente externa à CR.

Áreas de Suporte ao Data Center• Áreas à Sala de Computadores que suportam as

operações do data center.

• Ex.: Centro de Operações (NOC), sala do pessoal de suporte, salas de segurança, salas elétricas e mecânicas, almoxarifado, sala de staging, docas

de carga, etc.

TopologiaTopologia

MC EC

HC HC HC

InterconnectEquipamiento Activo

Dispositivos de Almacenamiento

InterconnectEquipamiento

Activo

InterconnectEquipamiento

Activo

EquipamientoActivo

Interconnect

Entrada Principal

ECAccess

ProvidersAccess

Providers

Backbone

Backbone

Cableado Backbone

Backbone

Cableado Horizontal Cableado

Horizontal

Area de Equipos

Punto de Consolidación

Area de Distribución Horizontal

Telecommunication Room

Area de Distribución Principal

Entrada Secundaria

HC Access Providers

ENERGIA ELÉTRICAENERGIA ELÉTRICA Circuitos independentes terminados em seus

próprios painéis. Localização de tomadas dúplex com plugues

diferentes para equipamentos não relacionados (ferramentas, instrumentos, etc).

TIA/EIA 607 para aterramento.• Deveria haver um gerador de contingência. Equipamento de controle elétrico e UPS até

100kVA pode permanecer dentro da Computer Room.

Equipamento não relacionado não deve ser instalado dentro, através, ou entrar na Sala de Equipamentos.

Ventoinhas de racks devem ser alimentadas de circuitos diferentes.

Os cabos deveriam estar fisicamente separados, ou com um divisor

•Usar as normativas correspondentes – SYSTIMAX, International codes como a EN50174-2, códigos locais e NEC NFPA 70

•Manter 50mm de lâmpadas fluorescentes e seu cabeamento

•Em caixas de conexão se deve manter 6mm de separação.

•Usar as normativas correspondentes – SYSTIMAX, International codes como a EN50174-2, códigos locais e NEC NFPA 70

•Manter 50mm de lâmpadas fluorescentes e seu cabeamento

•Em caixas de conexão se deve manter 6mm de separação.

Não acontece aqui!!!

Guia de Separação Elétrica e ComunicaçõesGuia de Separação Elétrica e ComunicaçõesGuia de Separação Elétrica e ComunicaçõesGuia de Separação Elétrica e Comunicações

Distribuição elétrica & comunicaçõesDistribuição elétrica & comunicações

INFRA-ESTRUTURA PARA INFRA-ESTRUTURA PARA DATA CENTERSDATA CENTERS

Sistemas Mecânicos / Ar Condicionado

AMBIENTEAMBIENTE

Deve ser mantido 24x365– Temperatura: 20°C / 25°C– Umidade: 40% - 55%

Deve possuir sistemas de alimentação de Standby

Usar sistemas de precisão, e não de conforto.

Taxa máxima de mudança:– 5º C por hora

Medições de temperatura:– A 1,5m de altura– A cada 3m / 6m– Ao longo do centro das fileiras frias– Outras entradas de ar de equipamentos

Fileiras quentes e friasFileiras quentes e frias

Instalação de Painéis CegosInstalação de Painéis Cegos

Insuflamento pelo corredor frioInsuflamento pelo corredor frio

Selar Saídas de Ar DesnecessáriasSelar Saídas de Ar Desnecessárias

CommScope Confidential

INCÊNDIO: Fatores de Risco a serem INCÊNDIO: Fatores de Risco a serem Considerados – 4 Áreas Principais Considerados – 4 Áreas Principais

1° Segurança dos indivíduos ou propriedade afetados pela operação (sistemas de controle, de processos, telecomunicações, etc)

2° Ameaça de fogo às pessoas em áreas confinadas ou propriedade expostas ao risco (ex: discos de armazenamento)

3° Perda econômica devido ao downtime do processo e a interrupção do negócio

4° Perda devido ao valor associado aos equipamentos.

SPRINKLERS & SPRINKLERS & EXTINTORESEXTINTORES

O nível mínimo de segurança inclui

sprinklers junto a extintores manuais. Todos os sprinklers devem ser sistemas de duto seco

(pre-action) Não se deve instalar sprinklers em baixo do piso

elevado se no espaço já se considera:– Plenum– Piso não combustível

O quadro seguinte mostra a aplicação de cada um dos tipos de extintores em função das classes de fogo: 

AÁgua

ABEspuma

ABCPó ABC

BCDióxido

de Carbono

ABCGases Inertes

ASólido

SIMMuito

eficiente

SIMEficiente

SIM Muito eficiente

Pouco eficiente

SIMEficiente

BLíquido

NÃO é eficiente

SIMMuito

eficiente

SIMMuito

eficiente

SIM Eficiente

SIMMuito

eficiente

CRisco

elétrico

NÃOdeve ser

usado

NÃOdeve ser

usado

SIMEficiente

SIMEficiente

SIMMuito

eficiente 

Deixam Resíduos e são corrosivos!!

Deveria ser utilizado.

Maior Segurança?Maior Segurança?

Sistemas mais avançados incluem: – Amostra do Ar (DC Tipo 2)

– Agentes de Supressão “Limpos” (DC Tipo 3)• FM 200• Inergem

INFRA-ESTRUTURA PARA INFRA-ESTRUTURA PARA DATA CENTERSDATA CENTERS

Arquitetura

19x3-inch Standard Rack

PROJETO DA SALA DE COMPUT.PROJETO DA SALA DE COMPUT.

O que é?

“É o espaço controlado que somente armazena equipamentos e cabeamento diretamente relacionados com sistemas

informáticos e de telecomunicações.”

Connection

ARQUITETURAARQUITETURA

1 mts

2,13 metros

2,6 metros

Piso Técnico: Mínimo 7,2 kPa - Recomendado: 12kPa

Iluminación= 500 lux

Piso ElevadoPiso Elevado Altura? Pressão Máxima? Necessidade Atual? Necessidade Futura? Crescimento? Insuflamento de Ar Frio?

Proteção & SegurançaSessões por Salas CofreSessões por Salas Cofree Cages (jaulas)e Cages (jaulas)

UTP CableUTP Cable

Cross ConnectCross Connect

380B 380B

UTP CableUTP Cable

Cross ConnectCross Connect

380B 380B

100BASE-TX

Analogcomposite

video

VCR/DVR

Switch

AdministratorPC

NAS device

Motion Detector/Passive InfraRed

(PIR) sensorSecureddoor lock

Light or speaker

Alarm out

Alarm outAlarm in

Alarm in/out

Monitor

Requer a norma para Tipo 3

Requer a norma para Tipo 3

Rede de Segurança Física

RacksRacks

INFRA-ESTRUTURA PARA INFRA-ESTRUTURA PARA DATA CENTERSDATA CENTERS

Administração

IDENTIFICAÇÃO E ADMINISTRAÇÃOIDENTIFICAÇÃO E ADMINISTRAÇÃO

A Norma fornece as orientações para facilitar a identificação de componentes e reduzir o tempo de manutenção do Data Center.

PlantasRacksPainéisCabos

PLANTASPLANTAS

Deve-se fazer um projeto de acordo com o piso elevado (600x600 mm)

Exemplo de plantaExemplo de planta

Rack amarelo: BD05

Rack azul: AK10

RACKS & PANÉISRACKS & PANÉIS

•Os Racks devem ser etiquetados na frente e na parte de trás.

•Normas da TIA/EIA 606.

•Os painéis devem ser sequenciais.

PATCH PANELS & CABOSPATCH PANELS & CABOS

•Cabos devem estar etiquetados em suas extremidades de acordo com os painéis.

•Patch Panel deve ter suas conexões identificadas.

AJ05-A01 / AQ03-B01

AQ03-B01 / AJ05-A01

Exemplo de identificação de linkExemplo de identificação de link

AK10-D01 / BD05-C01

BD05-C01 / AK10-D01

QUAL DATA CENTER VOCÊ POSSUI?QUAL DATA CENTER VOCÊ POSSUI?QUAL DATA CENTER VOCÊ REQUER?QUAL DATA CENTER VOCÊ REQUER?

QUAL DATA CENTER VOCÊ GOSTARIA DE QUAL DATA CENTER VOCÊ GOSTARIA DE TER?TER?

Este???…

….ou este???

Seu Data Center Requer SYSTIMAX

Seu Data Center Requer SYSTIMAX