monetización y gobierno de datosfiles.meetup.com/20282103/monetizacion y gobierno de datos.pdf•...
TRANSCRIPT
31/10/2016
1
Census Ciencia y Gobierno de Datos
Monetización y gobierno de datos
Ing. María del Rosario Bruera
Census Ciencia y Gobierno de Datos
• Los datos son un activo de la compañía. Esto supone que tienen un valor patrimonial asociado que debe cuantificarse
• El valor de los datos depende del beneficio que se obtiene al utilizarlos para la toma de decisiones
• Monetización de datos es el proceso que permite a las organizaciones agregar valor de sus activos de información para:
– Productivizarlos y venderlos a otras organizaciones generando un beneficio económico directo
– Integrarlos en sus productos para crear productos más “inteligentes” y mejorar la eficiencia de los procesos
– Descubrir patrones de comportamiento de sus clientes para optimizar su relacionamiento y mejorar el retorno de la inversión en marketing
Ideas fundamentales
31/10/2016
2
Census Ciencia y Gobierno de Datos
Porqué monetizar los activos de datos?
• Beneficios directos
• Mejora de procesos
• Atracción de inversores
• CRM y experiencia de
usuario
• Diferenciación con la
competencia
• Calidad de servicio
• Diseño de productos
• etc
Census Ciencia y Gobierno de Datos
Proceso de monetización de datos
Identificar Gestionar Aplicar
Cuáles son las
fuentes de datos
disponibles
Que hacemos para
agregarles valor ?
Cómo obtenemos un
beneficio económico?
Cadena de valor
31/10/2016
3
Census Ciencia y Gobierno de Datos
Factores que influyen en
el valor de los datos
Factores
Objetivos • Integridad • Completitud • Validez • Precisión • Obsolescencia • Disponibilidad
•……..
Factores
Subjetivos • Relevancia • Utilidad • Credibilidad • Claridad •…….
Descubrir Mejorar
La clave del éxito:
• Gobierno de datos. • Uso eficiente de la tecnología y los RRHH. • Capacitación y transformación cultural.
Census Ciencia y Gobierno de Datos
Porqué gobernar los datos?
• Gobierno de Datos es el desarrollo y aplicación de un conjunto de
reglas, políticas, procesos y estándares para manejar los datos
corporativos considerados como activos estratégicos de la
compañía.
• Se implanta a partir de un equipo de gestión (integrado por
profesionales de Tecnología y de las áreas de Negocio) unificados
en una única misión que es asegurar que los datos corporativos
alcanzan los objetivos:
– De regulación y uso autorizado
– De estandarización y documentación
– De calidad y valor potencial
31/10/2016
4
Census Ciencia y Gobierno de Datos
Niveles de madurez en el
Gobierno de los Datos
Census Ciencia y Gobierno de Datos
METADATA CALIDAD
DE DATOS
SOPORTE
LEGAL ORGANIZACION
PROCESOS CICLO DE
VIDA DEL
DATO
INTEGRACION
Y MDM
Disciplinas que integra
el Gobierno de Datos
31/10/2016
5
Census Ciencia y Gobierno de Datos
Metadata
• Metadata es la información que describe o provee contexto a los
datos sobre su contenido, significado, procesos de negocio en los
que intervienen , servicios, reglas de negocio y políticas que
soportan los sistemas de información de la compañía.
• Existen 3 tipos de Metadata:
– Técnica : nombre de la fuente de datos, nombre de las tablas,
columnas, tipo de dato, etc
– Negocio : contexto que contiene al dato, glosario de nombres,
definiciones, responsables, referencias de origenes del dato, etc
– Operativa : información sobre el uso del dato, fecha y proceso de
actualización, cantidad de accesos, última fecha de acceso, etc.
Census Ciencia y Gobierno de Datos
Ejemplo de tareas de gobierno de Metadata
• Construcción del glosario de términos de negocio que aplican a todos los elementos de datos que intervienen en el proceso
• Construcción del repositorio de información sobre los datos que contiene (para cada elemento de datos del sistema de información): – Origen del dato
– Proceso de captura
– Sensibilidad de su contenido
– Descripción semántica
– Contexto legal de uso del dato
– Procesos en los que interviene
• Definición de las políticas y procesos de actualización y publicación de la metadata
31/10/2016
6
Census Ciencia y Gobierno de Datos
Soporte Legal : Algunas normas
• Dato sensible : datos personales que revelan origen racial y étnico, opiniones
políticas, convicciones religiosas, filosóficas o morales, afiliación sindical e
información referente a la salud o a la vida sexual (Ley 25.326 Art 2).
• Los datos total o parcialmente inexactos, o que sean incompletos, deben ser
suprimidos y sustituidos, o en su caso completados, por el responsable del archivo
o base de datos cuando se tenga conocimiento de la inexactitud o carácter
incompleto de la información de que se trate, sin perjuicio de los derechos del
titular establecidos en el artículo 16 de la presente ley. (Ley 25.326 Art 4.)
• Los datos sensibles sólo pueden ser recolectados y objeto de tratamiento cuando
medien razones de interés general autorizadas por ley. También podrán ser
tratados con finalidades estadísticas o científicas cuando no puedan ser
identificados sus titulares (Ley 25.326 Art 7).
Census Ciencia y Gobierno de Datos
Tareas de Soporte Legal
• Registración de las bases de datos en la DNPDP
• Identificación datos sensibles y definición de
criterios de privacidad
• Definición de las políticas de tratamiento para los
datos sensibles
• Definición de las políticas de acceso y seguridad de
los datos sensibles y no sensibles
31/10/2016
7
Census Ciencia y Gobierno de Datos
Gestión de Datos Maestros (MDM)
• MDM refiere a las copias sincronizadas de las entidades
utilizadas en aplicaciones transaccionales o analíticas de la
organización sujetas a las políticas de gobierno.
Tradicionalmente incluye a las principales entidades (data
sets) como clientes, productos, empleados, proveedores,
etc pero puede extenderse a otras entidades críticas que
no están en esta enumeración.
Census Ciencia y Gobierno de Datos
Datos Maestros
31/10/2016
8
Census Ciencia y Gobierno de Datos
Tareas de gobierno asociadas a
Master Data Management
• Reglas de negocio para la resolución de la
identidad
• Políticas de aceptación de los niveles de calidad de
los datos previas a la integración
• Procesos de consolidación e integración de fuentes
de datos para lograr una visión única de las
entidades referenciales (Visión 360)
• Procesos de notificación y corrección de problemas
de calidad de integración
Census Ciencia y Gobierno de Datos
Mejoras en los procesos para
sostener el Gobierno de Datos
• Proceso de monitoreo de avance del programa de Gobierno
• Proceso de escalamiento , resolución de incidentes y definición de prioridades
• Definición de las políticas de uso de los datos
• Acuerdos de reciprocidad para la administración de los datos
• Modelo de negocio de monetización de los activos de datos
31/10/2016
9
Census Ciencia y Gobierno de Datos
La calidad de los datos
Census Ciencia y Gobierno de Datos
Una definición
• Los datos tienen CALIDAD cuando satisfacen los
REQUERIMIENTOS de los CONSUMIDORES DE DATOS
(DATA CONSUMERS)
• Existe un problema de calidad de datos cuando se identifica
cualquier dificultad que invalida el uso del dato por parte del
consumidor
• Un programa de aseguramiento de la calidad es una
combinación EXPLICITA de procesos, metodologías y
actividades que existen con el propósito de sostener altos
niveles de calidad en los datos
31/10/2016
10
Census Ciencia y Gobierno de Datos
Métricas
• Para poder mejorar la calidad de los datos es necesario medirla
• Las dimensiones de la calidad de los datos se utilizan para definir,
medir y gestionar esta calidad
• No existe un standard de la industria que defina unívocamente estas
dimensiones
• Cada usuario utiliza las dimensiones que más aplican a su contexto
de negocio.
Census Ciencia y Gobierno de Datos
Tenemos todos los datos necesarios?
Están completas las relaciones entre entidades
y atributos?
Los datos representan correctamente al mundo
real?
Son los datos consistentes en todos los sistemas y sub sistemas?
Los contenidos almacenados cumplen los criterios de dominios
definidos?
Los datos estàn disponibles cuando se necesita? Cuàl es su
obsolescencia?
Métricas usuales
31/10/2016
11
Census Ciencia y Gobierno de Datos
Validez
Una medida de la concordancia del contenido del
dato con la realidad (lo cual requiere una fuente de
referencia externa accesible para su verificación)
Census Ciencia y Gobierno de Datos
Cobertura
Medida de la cantidad de datos disponibles
comparada con el total del universo o población
31/10/2016
12
Census Ciencia y Gobierno de Datos
Degradadación / Obsolescencia
Medida de los cambios NEGATIVOS que sufren los
datos a través del tiempo
Census Ciencia y Gobierno de Datos
Dificultad de medición y mejora
Completitud
Exactitud
Integridad
Consistencia
Disponibilidad
Validez
Valor de Negocio
Dificultad de mediciòn
y mejora
31/10/2016
13
Census Ciencia y Gobierno de Datos
Data Profiling
Data Profiling es el proceso de EXAMINAR los datos disponibles en una fuente de datos existentes y recolectar ESTADISTICAS e INFORMACIÓN sobre estos datos.
Se puede realizar con software específico o con sentencias SQL.
El resultado de la tarea permite calcular las métricas de calidad que aplican en cada conjunto de datos
Census Ciencia y Gobierno de Datos Data Profiling
Column profiling: analiza las columnas para todos los registros. Determina: Valores, frecuencias, tipo de datos, rangos, mínimos y máximos, patrones, reglas de unicidad
Permite : Descubrir problemas de contenido Validar si los datos conforman las expectativas Comparar el status actual con el deseado
Table Profiling Interno: analiza las relaciones entre las columnas de las tablas Verifica las claves primarias
Permite : Descubrir problemas de estructura, dependencias funcionales, problemas con las claves Verificar las expectativas de uso respecto de las dependencias de la tabla
31/10/2016
14
Census Ciencia y Gobierno de Datos
Data Profiling
Table profiling Externo:Compara los datos ENTRE tablas para descubrir duplicaciones y redundancia Compara datos provenientes de diferentes fuentes Verifica la consistencia de las claves secundarias
Permite : Descubrir datos duplicados, sinónimos y valores que corrompen la integridad de los datos Construye una estructura en 3era NF eliminando redundancias. Este modelo luego puede utilizarse como base para otros almacenamientos
Census Ciencia y Gobierno de Datos
Ejemplo Data Profiling
IBM Information Governance
Solutions, April 2014
31/10/2016
15
Census Ciencia y Gobierno de Datos
Definición de métricas de DQ
Documento de Uso Reservado 29
Recolectar input: 1. Incidentes de calidad de
datos 2. Inconsistencias de
sistemas de BI 3. Requerimientos
especiales de proyectos 4. KPIs de negocio
Data profiling para identificar los problemas comunes
Medidas candidatas:
k1 k2 k3 k4 k5
k6 ….
KPI Concepto Definiciòn funcional
Frecuencia Objetivo
k1
k23
Selecciòn final de KPI significativos
1 2 3
4
Census Ciencia y Gobierno de Datos
El Data Quality Mart
30
Extracciòn DQ
Profiling
Integración DQ
Profiling
Delivery
En
terp
rise
DW
Informes
Data
Steward
Err
ore
s
Proyecciones
Fix
es
Errores
DQmart
31/10/2016
16
Census Ciencia y Gobierno de Datos Tecnologías de soporte para
Gobierno de Datos
The Forrester Wave™: Data Governance
Tools, Q2 2014
Census Ciencia y Gobierno de Datos
Productos analizados
31/10/2016
17
Census Ciencia y Gobierno de Datos
Nuevos roles
• Data Governance Officer (DGO) : Es el responsable
de la gestión del programa de Gobierno de Datos
• Data Protection Officer (DPO) : Es el responsable
del cumplimiento de las regulaciones sobre el uso
de los datos y de la aplicación efectiva de las
políticas de seguridad
• Data Stewards : Son los responsables de manejar
el contenido de los datos.
Census Ciencia y Gobierno de Datos
Tareas del Data Steward
• Participar activamente en los procesos de identificación y adquisición de nuevas fuentes de datos
• Crear y mantener la metadata de negocio
• Publicar las novedades referidas a los datos de negocio y monitorear su correcta utilizaciòn
• Ejecutar las acciones de mejora de calidad de los datos
• Interpretar y analizar los informes de calidad de datos para identificar los problemas y dimensionar su impacto
• Trabajar activamente con IT en los proyectos de diseño de contenedores de datos y procesos de MDM
34
31/10/2016
18
Census Ciencia y Gobierno de Datos
¿Cómo empezar?
Start Up
6 meses
On going
6 meses PIR Diagnóstico
3 semanas
Plan de
proyecto
Start Up
1 semana
Census Ciencia y Gobierno de Datos
Data thinking : el método para la
“Ciencia de Datos”
Thinking with Data: How to Turn Information into
Insights by Max Shron
31/10/2016
19
Census Ciencia y Gobierno de Datos
La visión 360 del cliente
Opiniones y
encuestas
Identificación y
contactación
Perfil
sociodemográfico
Comportamiento
transaccional
Census Ciencia y Gobierno de Datos
CONTEXTO
DEMANDAS
VISION
RESULTADOS
Diseño caso de uso
V360 integrada y con
gobierno
Definición del
problema a resolver
31/10/2016
20
Census Ciencia y Gobierno de Datos
Conocimiento inicial
Contexto : Marco que engloba al asunto que estamos tratando (personas , organización, objetivos de negocio, etc)
Demandas: Problemas o desafíos que se benefician (resuelven) con el conocimiento obtenido de los datos
Visión : Imagen que tenemos de cómo será nuestro trabajo cuando tengamos el conocimiento que aportará el proyecto. Proyección de mejoras de performance.
Resultado : Definición operativa de cómo se utilizará el conocimiento y cómo se integrará a los procesos actuales de la organización.
Census Ciencia y Gobierno de Datos
Desafíos de factibilidad del caso de uso
Utilidad
Disponibilidad de Datos
Mercado
Escalabilidad Tecnológica
Etica y legal
Económica
31/10/2016
21
Census Ciencia y Gobierno de Datos
Desarrollo del caso
Idea factible
Evaluación Datos
Existentes
Gobierno de Datos
Modelado analítico
Aplicación de Datos
Monetizados
REFINAR LA IDEA
Census Ciencia y Gobierno de Datos
Espacio para preguntas
31/10/2016
22
Census Ciencia y Gobierno de Datos
Bibliografía
• Ladley John, Data Governance.How to Design, Deploy, and Sustain
an Effective Data Governance Program, Elsevier, USA, 2012
• IBM Information Governance Solutions. Ibm.com/redbooks
• Sebastian-Coleman, Laura, Measuring Data Quality for Ongoing
Improvement, Elsevier, USA, 2013
• The 12 Dimensions of Data Quality. Danette McGilvray, Granite Falls
Consulting, Inc.