pgday campinas 2015 - uma visão do ppas 9.4 e pem 5.0
TRANSCRIPT
Uma visão do PPAS 9.4 e PEM 5.0
Marcos William Valentini07 de Agosto de 2015
2
AgendaVisão Geral da EnterpriseDB PPAS 9.4
Destaques dos Recursos da Versão Gerenciamento de Recursos CPU & IO Tabelas Particionadas
Ferramentas BART xDB Replication EDB Failover Migration Toolkit PEM – Postgres Enterprise Manager
Uma visão do PPAS 9.4 e PEM 5.0
3
Empresa genuinamente PostgreSQL.
Fundada em 2004, primeiro produto em produção em 2005.
Mais de 1.500 clientes em diversos segmentos de mercado.
Forte apoio financeiro internacional:
ENTERPRISEDB
4
ENTERPRISEDB
5
Abril/2015 - State of Open Source RDBMS 2015 (Gartner) Encoraja os gestores de TI ao uso dos OSRDBMS.
Adoção do OSRDBMS cresce e força os custos para baixo.
Menor TCO (Custo Total de Propriedade).
Crescimento da maturidade dos produtos.
ENTERPRISEDB
6
ENTERPRISEDB
7
ENTERPRISEDB
Líderança na Comunidade
Funcionalidades do PPAS
Compatibilidade Oracle
Estabilidade e Suporte
8
MySQL
Microsoft
Sybase Oracle
IBM
EnterpriseDB
Aplicações de missão crítica
AltoCusto
R$
Aplicações comLeitura intensiva
BaixoCusto
R$
ENTERPRISEDB
9
ENTERPRISEDB
10
AgendaVisão Geral da EnterpriseDB PPAS 9.4
Destaques dos Recursos da Versão Gerenciamento de Recursos CPU & IO Tabelas Particionadas
Ferramentas BART xDB Replication EDB Failover Migration Toolkit PEM – Postgres Enterprise Manager
Uma visão do PPAS 9.4 e PEM 5.0
11
Desenvolvimento PostgreSQL Desenvolvimento EDB
• 64 bit LOBs up to 4TB in size
• Custom background workers
• Writable Foreign Data Wrappers
v9.1
Contribuições da EDB para o Core
•No restore In-place version upgrades
v9.2
v9.3
v9.0
•Materialized Views
• Deferrable unique constraints and Exclusion constraints
• Streaming replication
• Windows 64 bit Support
• Hot standby
• Synchronous replication
• Serializable Snapshot Isolation
• In-memory (unlogged) tables
• Writeable Common Table Expressions (WITH)
• Cascaded streaming replication
• JSON support, Range Types
• VARRAY support• SQL Profiler
• Index Advisor• Parallel Bulk Data
Load
• Row Level Security • Declarative Partitioning syntax
• Table() function support for nested tables
• INSERT APPEND hint
• xDB Multi-master replication
• Expanded Object Type support
• Partition Read Improvements over 75x
• Support for 1000s of Partitions
• Partition write improvements over 400x
•MySQL Foreign Data Wrappers for SQL/MED
Funcionalidades Chaves
• Index-only scans (covering indexes)
•Linear read scalability to 64 cores
v9.4
•pg_prewarm•ALTER SYSTEM•Concurrently updatable Materialized Views
•Mongo FDW & MySQL FDW
• Logical Decoding for Scalability
• JSONB Data Type
• JSONB
Indexing• Expanded
JSON functions• Delayed
Application of Replication
• 3x Faster GIN indexes
• Support for Linux Huge Pages
• CPU & I/O Resource Management
• SQL Aggregation with CUBE, ROLLUP and GROUPING SETS
• Comprehensive UTL_HTTP
Package• Hash Partitioned
Tables• Connect_By_Ro
ot Operator for hierarchical queries
• SQL/Protect Logging to DB
Table• EDB*Loader
Improved Error handling
POSTGRES PLUS ADVANCED SERVER
12
Postgres Plus Advanced Server
High AvailabilityPerformance
Management
24x7SUPORTE
SERVIÇOS
PROFISSIONAIS
TREINAMENTO
FerramentasPostgreSQL
REMOTEDBA
• O mais avançado banco de dados de código aberto do mundo
• Mantido pela Comunidade
PostgreSQL
POSTGRES PLUS ADVANCED SERVER
13
Postgres Plus Advanced Server
High AvailabilityPerformance
Management
DBA
REMOTO 24x7SUPPORT
PROFESSIONAL SERVICES
TREINAMENTO
FerramentasPostgreSQL
• Compatibilidade Oracle
• Maior segurança
• Desempenho
Postgres Plus Advanced Server
POSTGRES PLUS ADVANCED SERVER
14
Gerenciamento de Recursos CPU & I/O
Tabelas Hash Particionadas
Agregação SQL com CUBE, ROLLUP e GROUPING SETS
Pacote compreensivo UTL_HTTP
Operador “Connect_By_Root”
ICU Collation
Melhorias no EDB*Loader
SQL/Protect Log em tabelas
Melhorias no Migration Toolkit
Postgres Plus Advanced Server Postgres Community
Vários novos recursos incluíndo:Logical Change Set Extraction JSONB Data TypeTime Delayed StandbyALTER SYSTEMpg_prewarm()Materialized View Refresh ConcurrentlyOrdered Set Aggregates and more…
POSTGRES PLUS ADVANCED SERVERDestaque dos Recursos da Versão 9.4
15
Postgres Plus Advanced
Server
Resource Manager
(CPU & I/O)
Reporting
Transactions
80%
20%
• DBA define CPU & I/O para grupo de jobs.
• Aloca e prioriza o consumo de recursos.
• Jobs de baixa prioridade não competem com jobs de alta prioridade.
POSTGRES PLUS ADVANCED SERVERMaior eficiência com os Recursos de Gerenciamento
16
Regras de Particionamento List, Range ou HashProvê restrições para definir onde os dados serão armazenados.Considere como os dados armazenados serão consultados, deve incluir colunas muito consultadas nas regras de particionamento.
List – Particionamento de chaves simples; baseado no valor exato.
Range – Particionamento de uma ou mais chaves; baseado em valores em dois extremos.
Hash (Novo 9.4) – Dados divididos entre Partições de tamanho igual baseados em um valor de Hash.
* Testes internos mostraram que o Particionamento Hash pode incrementar a performance quando existem centenas de conexões concorrentes de insert/update para a mesma tabela*
POSTGRES PLUS ADVANCED SERVERSuporta várias regras de Particionamento
17
1. Clientes que executam um fluxo mixo de cargas.
2. Desenvolvedores de Aplicação que requerem comunicação externa com Web servers.
3. Clientes com grandes tabelas onde sempre pesquisam por comparação exata ou têm vários inserts/updates concorrentes.
4. Usuários que precisam de um banco de dados NoSQL.
5. Clientes com grande volume de relatórios/consultas ou banco de dados para Warehousing .
6. DBA’s que precisam carregar uma grande massa de dados.
7. DBA’s preocupados com Segurança e ataques SQL Injection.
POSTGRES PLUS ADVANCED SERVERCases de Sucesso
18
AgendaVisão Geral da EnterpriseDB PPAS 9.4
Destaques dos Recursos da Versão Gerenciamento de Recursos CPU & IO Tabelas Particionadas
Ferramentas BART xDB Replication EDB Failover Migration Toolkit PEM – Postgres Enterprise Manager
Uma visão do PPAS 9.4 e PEM 5.0
19
Postgres Plus Advanced Server
High AvailabilityPerformance
Management
DBA
REMOTO 24x7SUPORTE
SERVIÇOS
PROFISSIONAIS
TRAINING
Postgres Plus Cloud DatabasePostgreSQL
• BART
• Update Monitor
• xDB Replication
• EDB Failover
• Migration Toolkit
• PEM Server
Ferramentas
POSTGRES PLUS ADVANCED SERVER
20
• Gerenciamento centralizado.
• Relatório de status, backups e operações de restauração.
• Backups físicos quentes.
• Integra com o CRON.
• Suporte a tablespace.
POSTGRES PLUS ADVANCED SERVERBackup e Recovery Tool - BART
21
• Monitor de atualização.
• Notificação automática.
• Fácil Instalação.
POSTGRES PLUS ADVANCED SERVERUpdate Monitor
22
• Replicação simples e eficiente.
• Replicação ativo – passivo (Single Master) de/para Oracle, SQL Server, PostgreSQL e Postgres Plus Advanced Server.
• Replicação ativo – ativo (Multi Master) para bancos homogêneos PostgreSQL ou Postgres Plus Advanced Server.
POSTGRES PLUS ADVANCED SERVERxDB Replication
23
• Tolerância a falhas para clusters de banco de dados com o objetivo de minimizar o tempo ocioso.
• Monitoramento do Cluster.
• Detecção de falha no nó/banco de dados.
• Evitar failover falso-positivo.
• Notificação através de e-mail para o DBA.
POSTGRES PLUS ADVANCED SERVEREDB Failover Manager
24
o MASTER está fora
Entendi! Assuma o controle!
POSTGRES PLUS ADVANCED SERVEREDB Failover Manager
25
• Migração automatizada.
• Migração online/offline.
• Suporte aos bancos de dados Oracle, Sybase, SQL Server e MySQL.
• Migrações customizadas.
• Rapidez na migração.
• Melhorias no MTK:
• O Migration Toolkit fornece registros de log detalhados com os erros que
irão permitir aos DBAs um melhor entendimento de quais objetos de suas
aplicações de banco de dados do Oracle, MySQL, SQL Server or Sybase
podem ser migradas para o PPAS.
POSTGRES PLUS ADVANCED SERVERMigration Toolkit
26
POSTGRES PLUS ADVANCED SERVERMigration Toolkit
27
Mais de 225 Sondas pré-definidas e customizáveis para suportar alertas via SMTP ou SNMP.
Dashboards pré-definidos e customizáveis.
Coleção de estatísticas do S.O. e banco de dados.
Monitoramento da Replicação.
MONITORE AJUSTESGERENCIE
Operações de CRUD em todos os objetos do banco de dados.
Operações em lote através de múltiplos servidores.
Gerenciador de Capacidade para planejamento e previsão.
Gerenciador de Log e de Audit para configurar a coleção de metricas do banco de dados.
SQL/Profiler – Análise de SQLs executados em tempo real.
Index Advisor - Sugerir e criar índices.
Postgres Expert – Reforço no uso das melhores práticas
Wizard para Tuning - Utilização de maquina e perfis de carga.
POSTGRES ENTERPRISE MANAGERNenhuma outra ferramenta fornece maior visibilidade
28
POSTGRES ENTERPRISE MANAGER
29
PEM Agent
PEM Server
Monitorando
PEM Client
Gerenciando
Analisando
POSTGRES ENTERPRISE MANAGERComo funciona?
30
Dashboard Customizável.
Visão do status de todos os agentes (up/down).
Alertas de monitoramento de vários servidores em só lugar.
Navegação entre dashboards para maior nível de análise.
POSTGRES ENTERPRISE MANAGERMonitore todos bancos Postgres de uma única tela
31
• Alertas de Notificações especificas.
• Expertise na Análise de Log.
• Sondas Customizáveis.
• Auto-Discovery de Servidores Gerenciados.
• Monitoramento Remoto.
• Recomendações para Tuning.
• Processos de backend para métricas de log do SO.
• Melhor controle de granulidade e zoom.
• Gráficos hieráquicos.
• Monitoramento de Streaming Replication.
Facilidade de Uso Dashboards Ricos
POSTGRES ENTERPRISE MANAGERPrincipais destaques do PEM 5.0
32
Decida quem será notificado pelos alertas, criando grupos de email.
Defina diferentes modelos de email, dependendo do horário.
POSTGRES ENTERPRISE MANAGERGerencie o envio de e-mail de Alerta, por perfil
33
Crie e gerencie Alertas.
Exemplos – executando com pouco espaço em disco, servidor fora do ar, último vacuum, etc.
Defina os limites: baixo, médio e alto.
POSTGRES ENTERPRISE MANAGERAutomatize Notificações ou Ações com Alertas pré-definidos
34
Escolha quando e quem receberá o email.
Decida quando enviar traps SNMP
Além disso, é possível executar scripts externos.
POSTGRES ENTERPRISE MANAGERAutomatize Notificações ou Ações com Alertas pré-definidos
35
Gere relatórios de estatísticas como locks e queries que são coletadas pelo Log Manager
Colete informações com base em dados históricos (csv) independente de arquivos de logs.
Primeiro configure o Log Manager para habilitar a coleta de arquivos de log.
Com os logs coletados, use o Log Analysis Expert para gerar os relatórios escolhidos.
POSTGRES ENTERPRISE MANAGEREntenda as atividades do Banco com o Log Analisys Expert
36
Sondas são utilizados para colher as métricas para os alertas e painéis gráficos
Adicione ou modifique as Sondas existentes de acordo com as suas necessidades.
POSTGRES ENTERPRISE MANAGERRecolha qualquer informação com Sondas Customizáveis
37
Defina as colunas que serão usadas para armazenar os dados coletados.
Se a coluna puder ser apresentada em gráficos, ela estará disponível para o painel de gráficos e para o Capacity Manager.
As métricas podem ser Pontuais ou Cumulativas.
POSTGRES ENTERPRISE MANAGERRecolha qualquer informação com Sondas Customizáveis
38
Se é uma Sonda SQL, entre o comando SQL a ser executado pela Sonda na tab de Code.
Se é uma Sonda Batch, entre com o comando shell ou o script .bat que será chamado.
POSTGRES ENTERPRISE MANAGERRecolha qualquer informação com Sondas Customizáveis
39
Localize os bancos de dados que residem em servidores que possuem o Agente instalado.
Após instalar os Agentes:Selecione os bancos na tlista e escolha “Management -> Auto Discovery “ para abrir a janela.Então selecione o servidor de banco de dados e os campos serão preenchidos automaticamente.
POSTGRES ENTERPRISE MANAGERAuto Discovery de Servidores Gerenciados
40
Permite o monitoramento remoto de servidores (sem a instalação de agentes usando conexões diretas JDBC), a partir de agentes rodando no PEM server
Ignora estatísticas a nível de SO, desabilita funcionalidades tais como Server Startup, Audit/Log/Capacity Manager, Tuning/Deployment Wizard
Crie o Servidor e selecione Monitoramento Remoto na Tab “PEM Agent”.
POSTGRES ENTERPRISE MANAGERMonitoramento Remoto
41
Funcionalidade Benefício Motivação
Controle de Alertas Controla quem recebe quais Alertas dependendo da severidade e horário.. Facilidade de Uso
Log Analysis Expert Melhor entendimento das operações que ocorrem no banco de dados. Facilidade de Uso
Sondas CustomizadasObtenha qualquer informação customizada que você queira dos seus bancos de dados ou servidores; pegue as informações de status do BART ou EFM.
Compatibilidade
Auto-discovery de Servidores Gerenciados
Configure facilmente o PEM Server com todos os bancos de dados nos servidores gerenciados. Facilidade de Uso
Monitoramento Remoto Monitore servidores usando conexões diretas sem a instalação de agentes. Facilidade de Uso
Log de Métricas do SO para processos de Backend dos Servidores
Nova Sonda que captura informações de uso de Memória e CPU pelos processos. Compatibilidade
Dashboards Personalizados Compare as Métricas com informações mais acuradas e relevantes, fazendo zomm nos gráficos. Facilidade de Uso
POSTGRES ENTERPRISE MANAGERRecapitulando: Funcionalidades e Benefícios da versão 5.0
42
PostgreSQL Postgres Plus
Suporte 24/7
Serviços &
Treinamento
Recursos e Ferramentas Enterprise
SLA
Road-map do Produto
Controle
Milhares de desenvolvedore
sCiclos de
desenvolvimento rápido
Baixo Custo
Não proprietário
Recursos Avançados
Postgres Plus Advanced Server ‒ O melhor dos dois mundosA Inovação da comunidade e o desempenho e estabilidade da versão Enterprise