uyoug 2012 - oracle rac 11gr2 - new features

1/44

Oracle RAC 11gR2 – New features

Ing. Nelson Calero, [email protected]

UYOUG WorkshopMiércoles 9 de Mayo 2012

Montevideo, Uruguay

2/44

Agenda

1 - Revisión rápida de nuevas funcionalidades en Oracle RAC 11gR2 (11.2.0.x) 2 - Cambios en los procesos del cluster3 - Cambios en ASM4 - SCAN Listener5 – más cambios

3/44

Oracle RAC

Public LAN

Users

SAN Network

Private LANInterconnect

Instances of the clustered database

SAN Disks

Shared cache

4/44

New Features en 11.2.0.1

Nuevas funcionalidades– ASM Dynamic Volume Manager (ADVM)– ASM Cluster File system (ACFS)– Oracle Restart– Grid Plug and Play– Single Client Access Name (SCAN)– Server pools– Grid Naming Service (GNS)– Cluster Time Synchronization Service (CTSS)

Nuevas opciones– Oracle RAC One Node– Clusterware para single instance

5/44

Agenda


6/44

Clusterware Stack

La arquitectura de procesos y el inicio cambió:

10g) tres daemons (lanzados mediante inittab)

– CSSD, CRSD (root) y EVMD

11.2) dos stacks (lanzados por OHASD mediante inittab)

– Oracle High Availability Service Daemon (OHASD)• Gestiona procesos low level

– Cluster Ready Services Daemon (CRSD)• Gestiona recursos high level (database)

7/44

Clusterware – dependencia de procesos“Oracle Database 11gR2 High Availability”, Oracle Press

8/44

Clusterware Stack

1) Nuevos procesos de Cluster Ready Services Stack

• Cluster Time Synchronization Service (CTSS): gestión del tiempo

– Evita cambios bruscos del reloj cuando se usa NTP (modo observer)

– Sincroniza relojs (modo activo) usando cambios chicos (clock slewing)

– Detecta la presencia del proceso NTPD automáticamente y cambia su rol

• Oracle Agent (oraagent): ejecuta scripts callout cuando ocurren eventos FAN (era el antiguo proceso RACG - racgmain/racgmon)

• Oracle Root Agent (orarootagent): colabora con CRSD en el manejo de recursos creados por root (red y Grid VIP).

9/44

Clusterware Stack

2) Oracle High Availability Services Stack

Procesos que incorporan Cluster Health Monitor (CHM)

• Cluster Logger Service (ologgerd): almacena datos recibidos desde todos los nodos en un repositorio propio (base BerkeleyDB). – Corre en dos nodos del cluster (master/réplica para HA)

• System Monitor Service (osysmond): toma métricas del nodo local (uso de CPU, memoria, disco, procesos, etc.) y lo informa al ologgerd master– Corre en todos los nodos del cluster.

10/44

Clusterware Stack


• Grid Plug and Play (GPNPD): Mantiene el profile Grid Plug and Play, un archivo XML local con los datos que necesita un nodo que se quiera sumar al cluster.

– coordina actualizaciones al profile entre los nodes

– Asegura que todos los nodos tienen el profile actualizado.

• Grid Interprocess Communication (GIPC): permite uso de Interconnect redundante. Nuevo protocolo para comunicaciones del cluster (antes se usaba TNS). Soporta UDP, TCP, IPC y Grid IPC.

11/44

Clusterware Stack


• Oracle Grid Naming Service (GNS): Resolución de nombres para aquellos definidos por el cluster a pedidos de servidores DNS externos.

• Multicast Domain Name Service (mDNS): usado por Grid Plug and Play para ubicar profiles en el cluster, y por GNS para resolución de nombres.

12/44

Configuración de red

• Grid Naming Service (GNS): resuelve todas las direcciones IP del cluster: publicas, virtuales (VIP) y SCAN.

– Vinculado al DNS corporativo

– Necesita servicio DHCP en la red pública

– Tiene su propia VIP

– Almacena nombres/IP en OCR

– Opcional. Si no se habilita, las IPs deben configurarse manualmente

13/44

Clusterware Stack

Todos estos procesos se gestionan con el comando crsctl

• Para deshabilitar el inicio de OHASD:

crsctl disable crs

• Para habilitarlo:

crsctl enable crs

• Para iniciar CRS que está detenido (ejecutar con root):

crsctl start crs

• Para iniciar CRS en todos los servidores, cuando HAS está corriendo

crsctl start cluster -all

14/44

Agenda


15/44

Cambios en ASM

• ASM y Clusterware ahora es Grid Infrastructure

– Mismo ORACLE_HOME, productos separados

• Separación de roles ASM/DBA

– rol SYSASM (nuevo en 11.1)

• V$PWFILE_USERS: nueva columna SYSASM

– Password file se actualiza en todas las instancias ASM

– SYSOPER tiene algunos privilegios ASM, menos CREATE/ALTER/DELETE Disk groups

16/44


• OCR

– Soporta hasta 5 copias

– Se puede almacenar en ASM (y Voting Disk)• La cantidad de copias depende de la redundancia del diskgroup

– Oracle Local Registry (OLR) : • metadata del nodo local, no compartido• gestionado por OHASD

• OUI

– no soporta block o raw devices, solo ASM o FS compartido

– Cluster Verification Utility (CVU) integrado

– se generan fixup scripts

17/44


• Patches sin downtime : out-of-place upgrades

• ASM Rolling upgrades (después de upgrade en clusterware)

– ALTER SYSTEM START ROLLING MIGRATION TO '11.1.0.7.0';

– Upgrade ASM

– ALTER SYSTEM STOP ROLLING MIGRATION;

18/44

Mayores límites en ASM

• 10000 discos

• Hasta 63 disk groups

• 1 millón de archivos por cada disk group

• 2 TB por disco ASM (4 petabytes en Exadata)

• 20 petabytes de storage (40 exabytes en Exadata)

• Archivo de tamaño máximo 23 petabytes en redundancia normal y 1Mb AU

– 140 petabytes con redundancia externa

– 15 petabytes con redundancia alta

19/44

Disk groups

• Intelligent Data Placement

– Uso de regiones específicas del disco para obtener mejor performance (externa/interna)

– Hot/cold, mirrorhot/mirrorcold

– Utiles cuando los datos tienen diferentes patrones de acceso

– Solo con JBOD– Monitoreado con V$ASM_FILE: columnas

primary_region, mirror_region, hot_reads,hot_writes, cold_reads, cold_writes

20/44

ASM fast mirror resync

• Parámetro de inicialización: tiempo de espera antes de descartar un diskgroup (DG) que falló.

• Si el DG vuelve a funcionar antes del tiempo (DISK_REPAIR_TIME), los bloques cambiados se resincronizan y se reusa.

• Pasado ese tiempo, el DG se descarta y se rebalancea para mantener la redundancia

• Permite recuperaciones rápidas de fallas temporales

21/44

ASM Dynamic Volumes

• Publica una interfaz de disco a ASM, permitiendo acceso a archivos que no son de bases de datos

• Creado dentro de ASM DG

• Volume es un tipo de archivo ASM

• ADVM publica volumenes en /dev/asm/volname-id al SO

• Gestionados con ASMCMD, SQL, EM, ASMCA SQL> ALTER DISKGROUP data ADD VOLUME volume1 SIZE 10G;

SQL> ALTER DISKGROUP data ENABLE VOLUME volume1;

http://docs.oracle.com/cd/E11882_01/server.112/e18951/asm_util007.htm

22/44

ASM Dynamic Volumes

ASMCMD > volcreate -G data_dg -s 20G --width 1024K vol1

ASMCMD > volinfo -G data_dg vol1

Diskgroup Name: DATA_DG

Volume Name: VOL1

Volume Device: /dev/asm/vol1-123

State: ENABLED

Size (MB): 20480

Resize Unit (MB): 64

Redundancy: MIRROR

Stripe Columns: 4

Stripe Width (K): 1024

Usage:

Mountpath:

23/44

ACFS

• Originalmente disponbile en linux (11.2). Windows, AIX y Solaris en 11.2.0.2

• Clustered file system usando volúmenes ASM

• No soporta redo logs, control files, spfile, OCR, Voting disk, GI HOME

• 11.2.0.3 soporta RMAN backupsets, archive logs y Data Pump dumps.

• Configurado como recurso en CRS si se usa para un home de BD

• ACFS mount registry: cluster mounts. Registro de dependencias con CRS.

• Gestionado con acfsutil / EM

http://docs.oracle.com/cd/E11882_01/server.112/e18951/asmfs_util.htm http://docs.oracle.com/cd/E11882_01/server.112/e18951/asmfs_em.htm

http://docs.oracle.com/cd/E11882_01/server.112/e18951/asmfs_util.htm

24/44

ACFS - funcionalidades

• Snapshots: foto a un punto del tiempo de un ACFS

– Copy on write: inicialmente no usa espacio

– Creado en el directorio .ACFS/snaps

– Puede ser de solo lectura (read-only) o de escritura (read-write)

• Tagging: agrupar archivos a través de directorios o filesystems

• Seguridad: usando realms.

• Encriptación: Claves de encriptación por archivo y volumen.

• Replicacion: de archivos a otro host (standby). Solo soporta un standby, hasta ocho nodos montando el filesystem. No se puede usar con encriptación o seguridad.

25/44

ASM ACL

• Para sistemas *nix

• Permite separación de tareas y protección a cambios no intencionales a archivos

• Necesita grupos separados en el SO: OSASM/OSDBA para ASM, OSDBA para DB

• Se habilita con atributos del DiskGroup:

– access_control.enabled=true

– access_control.umask=NNN (default 066)

• Permisos a nivel de archivo dentro de ASM:

– 0: ninguno, 4: lectura, 6: rw

• Umask quita permisos a partir de full para owner, group y others:

– 0: nada, 2: quita escritura, 6: quita rw

• Ejemplo: umask 026 = 640 permiso

• Gestionado con ASMCMD, SQL, EM

• V$ASM_USER, V$ASM_USERGROUP

http://docs.oracle.com/cd/E11882_01/server.112/e18951/asm_util006.htm

26/44

Agenda


27/44

SCAN Listeners

Single Client Access Name (SCAN): nombre que resuelve a una dirección IP en la interfaz de red pública, permitiendo que clientes se conecten a la base sin conocer el nodo donde está corriendo

• Nombre por defecto es el mismo que el cluster, máximo 15 caracteres.

• Simplifica la configuración del string de conexión en aplicaciones

• Si se usa GNS, no es necesario conocer su VIP

• Asigna tres direcciones IP para HA

– Un cluster con tres nodos tiene una SCAN IP cada uno

– Cluster de dos nodos tiene dos SCAN IPs en un nodo, y uno en el otro

• En cada SCAN IP se inicia un SCAN Listener, en el puerto 1521

– HA de SCAN VIP mueve también el SCAN listener

28/44

SCAN Listeners

RAC1instanceSCAN

Listener1RAC2

instance

SCANListener2

LocalListener

LocalListener

1

2

3

4

DNS

Connect user:@scan:1521/crm

RAC3instance

LocalListener

RAC4instance

LocalListener

RAC5instance

LocalListener

SCANListener3

scan=SCAN VIP1SCAN VIP2SCAN VIP3

listener_rac4

29/44

Agenda


30/44

Server Pools

• Agrupación lógica de servidores en el cluster para gestionar el uso de recursos

• Parámetros: min/max servers, importance

• Un servidor puede ser parte de múltiples pools

• Hay server pools Top level y subpools

• Por defecto creados los server pools free y generic

• Gestionado con el comando srvctl

31/44

Node eviction mejorado

• Soporte de Intelligent Platform Management Interface (IPMI) para reinicio remoto de nodos

– Necesita hardware adicional

• Antes de 11.2.0.2, fencing = reinicio de nodo

• Desde 11.2.0.2, se intenta reiniciar el cluster, en este orden

– Mata procesos que realizan I/O (dbwr, logwr)

– Detiene el cluster

– OHASD reinicia el cluster

– Si alguno de los pasos anteriores falla, el node se reinicia

32/44

Más cambios

• Nuevo framework para programar callouts: Agents

• Action script maneja nuevos eventos sobre recursos: clean/abort (además de start/stop/check)

• Comandos para gestionar recursos:

– crsctl add/start/status/relocate

– Antes de 11.2: crs_profile, crs_register, crs_start, crs_stat, crs_relocate, crs_unregister

33/44

Más cambios

• No se necesita respaldar Voting Disk

– Se respalda automáticamente en OCR

– Tampoco se puede formatear con dd

• Paralelismo mejorado

– Grado de paraelismo automático (DOP)

– Paralel slaves respetan la definición de servicios

• No se necesita configurar PARALLEL_INSTANCE_GROUP

• No hay crs_stat

– crsctl -stat res -t

34/44

Más cambios

[oracle@rac112n2 ~]$ crsctl stat res -t------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS---------------------------------------------------Local Resources---------------------------------------------------ora.DATA.dg ONLINE ONLINE rac112n1 ONLINE ONLINE rac112n2ora.LISTENER.lsnr ONLINE ONLINE rac112n1 ONLINE ONLINE rac112n2ora.OCRVOTE.dg ONLINE ONLINE rac112n1 ONLINE ONLINE rac112n2ora.asm ONLINE ONLINE rac112n1 Started ONLINE ONLINE rac112n2 Startedora.eons ONLINE ONLINE rac112n1 ONLINE ONLINE rac112n2ora.gsd OFFLINE OFFLINE rac112n1 OFFLINE OFFLINE rac112n2ora.net1.network ONLINE ONLINE rac112n1 ONLINE ONLINE rac112n2ora.ons ONLINE ONLINE rac112n1 ONLINE ONLINE rac112n2ora.registry.acfs ONLINE ONLINE rac112n1 ONLINE ONLINE rac112n2

----------------------------------------------Cluster Resources----------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE rac112n1ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE rac112n2ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE rac112n2ora.oc4j 1 OFFLINE OFFLINE ora.racdb.db 1 ONLINE ONLINE rac112n1 Open 2 ONLINE ONLINE rac112n2 Openora.racdb.crm.svc 1 ONLINE ONLINE rac112n2 2 ONLINE ONLINE rac112n1ora.rac112n1.vip 1 ONLINE ONLINE rac112n1ora.rac112n2.vip 1 ONLINE ONLINE rac112n2ora.scan1.vip 1 ONLINE ONLINE rac112n1ora.scan2.vip 1 ONLINE ONLINE rac112n2ora.scan3.vip 1 ONLINE ONLINE rac112n2

35/44

SRVCTL

• Muchos parámetros nuevos/obsoletos

http://docs.oracle.com/cd/E11882_01/rac.112/e16795/srvctladmin.htm

• Management policy (opción -y de database/service):

– AUTOMATIC (default): Cuando se reinicia el nodo/bd, se respeta su último estado (started/stopped)

– MANUAL: no iniciar automáticamente cuando se reinicie el nodo/bd. El monitoreo continúa y si se detecta una falla entonces se inicia

– NORESTART: (desde 11.2.0.3 para BD) no iniciar aunque se detecten fallas

36/44

Nuevos procesos de BD

– ACFS - ASM Cluster File System CSS Process

– ACMS - Atomic Control File to Memory Service Process– CSnn - I/O Calibration Process– GTXn - Global Transaction Process– LMHB - Global Cache/Enqueue Service Heartbeat Monitor– MARK - Mark AU for Resynchronization Coordinator Process– PING - Interconnect Latency Measurement Process– RCBG - Result Cache Background Process– RMSn - Oracle RAC Management Process– RSMN - Remote Slave Monitor Process– TEMn - ASM disk Test Error Emulation Process– VBGn - Volume Background Process

http://docs.oracle.com/cd/E11882_01/server.112/e24448/bgprocesses.htm

37/44


• Patchsets son una instalación completa

– no necesita aplicar versión base (11.2.0.1)

– solo permite out-of-place upgrades (nuevo home)

• ACFS y ADVM soportan SUSE Enterprise Linux 10 sp3 en 64 bits.

• ACFS soporta replicación asincrónica, encriptación, tagging, y seguridad con realms.

• Utilitario Cluster Health Monitor incluído en Clusterware (nuevo proceso …)

• Nuevo grupo ASMOPER

• Servicios tienen atributo EDITION

38/44


• Oracle ACFS soporta RMAN :

– backups (archivos BACKUPSET)

– archive logs (archivos ARCHIVELOG)

– data Pump dumpsets (archivos DUMPSET)

NOTA : Estos archivos no soportan ACFS snapshots

• Oracle ACFS y ADVM 11.2.0.3 soportan SUSE Enterprise Linux 11 Service Pack 1 en 64 bits y Oracle Linux (UEK)

39/44

SO certificados

• HP-UX (Itanium / PA-RISC 64-bit), AIX en POWER 64-bit, Linux x86/x86-64, Solaris en SPARC/X86-64, Windows x64

• Cuidado con el último número de la versión: clusterware 11.2.0.3 no está certificado todavía en Windows.

• Manuales de instalación tienen los detalles sobre requisitos de SO, paquetes y configuración.

• Información actualizada sobre certificación en MOS: http://support.oracle.com

• Además en OTN - RAC Technologies Certification matrixhttp://www.oracle.com/technetwork/database/clustering/tech-generic-linux-new-086754.html

43/44

¿Preguntas?

[email protected]

44/44

Referencias• [ID 810394.1] RAC Assurance Support Team: RAC and Oracle Clusterware Starter

Kit and Best Practices (Generic)

• [ID 1053147.1] 11gR2 Clusterware and Grid Home - What You Need to Know

• Oracle Database 11g Release 2 (11.2.0.1) New Features http://docs.oracle.com/cd/E11882_01/server.112/e22487/chapter1.htm

• Oracle Database 11g Release 2 (11.2.0.2) New Features http://docs.oracle.com/cd/E11882_01/server.112/e22487/chapter1_2.htm

• Oracle Database 11g Release 2 (11.2.0.3) New Features http://docs.oracle.com/cd/E11882_01/server.112/e22487/chapter1_11203.htm

• What's New in Oracle Grid Infrastructure Installation and Configuration?http://docs.oracle.com/cd/E11882_01/install.112/e17212/whatsnew.htm

• [ID 1189783.1] Important Changes to Oracle Database Patch Sets Starting With 11.2.0.2

• Cluster Health Monitor (CHM) FAQ [ID 1328466.1]

• RACcheck - RAC Configuration Audit Tool [ID 1268927.1]

• http://www.oracleracsig.org

uyoug 2012 - oracle rac 11gr2 - new features

Technology

crsd en

new features en

x2 cambios en los procesos

mayores lmites en asm

cluster all1344

para ubicar profiles

oracle press744

procesos y