novedades en el manejo de grandes volúmenes de datos con sql server 2014
DESCRIPTION
Charla impartida en el evento de lanzamiento de SQL Server 2014 en colaboración con PASS Spain y Microsoft España.TRANSCRIPT
Foro Microsoft Big Data y Analytics
Filtrar > Decidir > AcertarNunca fue más fácil
Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014Enrique Puig [email protected]@epuignousellesBlog: www.sqlserverpasion.comDBA at RipLife Gaming Technologies
Objetivos
• ¿Qué desafíos plantea trabajar con grandes volúmenes de datos?
• ¿Qué técnicas existen para afrontar estos desafíos?
• ¿Qué trae SQL Server 2014 para ayudarnos?
Agenda
• Desafíos de las VLT• Mantenimiento• Rendimiento
• Novedades de SQL Server 2014• Reconstrucción online de Índices particionados• Estadísticas incrementales• Índices columnares / In-Memory DW
Very Large Tables (VLT)
• Gran cantidad de datos• Millones/Billones de filas• Datos estructurados
• OLTP• Aplicaciones de misión crítica
• Sistemas con elevado número de TPS• Sistemas con tracking/Logging
• DataWarehouse• Repositorio histórico de procesos de negocio• Procesos de carga perdiódicos
Desafíos de las VLT (Very Large Tables)
TransaccionalReportes
ÍndicesEstadísticasHistorificación
RendimientoMantenimiento
Desafíos: Mantenimiento de Índices• Imprescindible para evitar fragmentación
• Sobrecarga E/S• Full Scan de las tablas• Escritura intensiva en Log
• CPU• Bloqueos
• Soluciones actuales:• Reorganización vs. Rebuild• Particionado de datos
Desafíos: Mantenimiento de Índices (II)Con SQL Server 2014…• Rebuild Online a nivel de partición• Lock Priority
• Prioridad del proceso• MAX_DURATION• ABORT_AFTER_WAIT
• Reducimos Bloqueos• Mayor control de Bloqueos
Desafíos: Mantenimiento de Estadísticas• Ayudan al optimizador -> Planes de ejecución• Histogramas
• Aconsejable FULLSCAN• Requieren de E/S• Impactan en performance
•Soluciones actuales:• Actualizar estadísticas con muestreos de datos• Estrategia de actualizaciones• Varias ventanas de mantenimiento
Desafíos: Mantenimiento de EstadísticasCon SQL Server 2014…
• Estadísticas Incrementales• Basadas en particionado de datos• Definición explícita
DEMOEstadísticas Incrementales
Desafíos: Rendimiento consultas
Soluciones actuales• Índices de cobertura• Compresión• Particionado de datos• Código T-SQL Eficiente
OLTPInsert/Delete/UpdateSelect by Key (1 row)24 x 7 x 365
DataWarehouseConsultas de negocioGroup By / MAX(), MIN()…Cargas periódicas
Híbridos Cargas de trabajo mixtas Impacto en rendimiento
Desafíos: Rendimiento consultas
Con SQL Server 2014…
• Índices columnares• Mejoras desde 2012• Clustered Columnstore Indexes• Read-Write• Particionado de datos• Nuevo tipo de compresión de datos
DEMOÍndices columnares
Desafíos: Historificación de datos
• Movimiento de datos “no activos”• Almacenamiento de alto rendimiento
• limitado y caro
• Posibles soluciones actuales• Particionado + Compresión• Particionado + Compresión + Tabla Hist• Particionado + compresión + BBDD hist• Particionado + compresión + Servidor hist• Otras….
Particionado + Compresión
<=M-6 M-5 M-2M-3M-4 >= MM-1
Particiones comprimidas (PAGE)Datos “no activos”Filegroup Readonly
Almacenamiento bajo rendimiento
Particiones sin compresiónDatos “activos”
Primary FilegroupAlmacenamiento Alto rendimiento
dbo.Ventas
Particionado + Compresión + Tabla Hist
M-2 >= MM-1
dbo.Ventas
<=M-6 M-5 M-3M-4
dbo.Hist_Ventas
Particiones comprimidas (PAGE)Datos “no activos”Filegroup Readonly
Almacenamiento bajo rendimiento
Particiones sin compresiónDatos “activos”
Primary FilegroupAlmacenamiento Alto rendimiento
Switch IN/OUT
Particionado + Compresión + BBDD Hist
M-2 >= MM-1
dbo.Ventas
STG
dbo.Stg_VentasStep1Switch
OUT
HistBBDD
Step2Movimiento Datos
SSIS/Otros <=M-6 M-5 M-3M-4
dbo.Hist_Ventas
OnPremise/Azure
Particionado + Compresión + Columnar
M-2 >= MM-1
dbo.Ventas
STG
dbo.Stg_Ventas
Particiones comprimidas Columnstore vs. Columnstore_Archive
Datos “no activos”Almacenamiento alto rendimiento
Particiones sin compresiónDatos “activos”
Primary FilegroupAlmacenamiento Alto rendimiento
Step1Switch OUT
<=M-6 M-5 M-3M-4
Step2Switch IN
Resumen
• Relativo a VLT, SQL Server 2014 nos permite…• Flexibilidad en Mantenimiento
• Reduciendo impacto en performance• Consultas analíticas más rápidas
• Reducimos IOPS• Maximizamos memoria• Tablas Read-Write• Reducción de tamaños
• Nuevas capacidades de compresión• COLUMNSTORE_ARCHIVE• Aumentan las posibilidades de historificación
Gracias!
Datos de contacto:Twitter: @epuignousellesBlog Personal: www.sqlserverpasion.comMail: [email protected]
Únete a PASS SpainComunidad Española de SQL Server
• Noticias• Webcasts• Charlas• Foro, dudas…
https://www.facebook.com/PASSspanish
SolidQ Summit Madrid 201420, 21, 22 Mayo 2014• 2 Tracks SQL,BI ,Big
Data• 3 jornadas• 30 sesiones técnicas• Mentores de SolidQ
http://summit.solidq.com http://www.gusenet.org
23 charlas variadasBI, SQL, C#, MVC, angular, Javascript, Kinect, NancyFx, Dev, …
¿Preguntas?