conferencia fidelantoniotorres
TRANSCRIPT
EL CICLO DE VIDA DEL DATO EN EL QUEEL CICLO DE VIDA DEL DATO EN EL QUEEL CICLO DE VIDA DEL DATO EN EL QUE EL CICLO DE VIDA DEL DATO EN EL QUE HACER ESTADÍSTICOHACER ESTADÍSTICO
Fidel Antonio Torres Moya
Septiembre de 2008Septiembre de 2008
AGENDAAGENDAAGENDAAGENDA
1. Conceptos básicos
2. Enfoque de procesos en el quehacer2. Enfoque de procesos en el quehacer
estadístico
3. Infraestructura Colombiana de Datos
CONCEPTOS BÁSICOS
DATOSDATOSDATOSDATOS
Según Larry English loslos datosdatos son:
•• RepresentacionesRepresentaciones de de laslas cosascosas o entidades en el mundo real.R t iR t i dd ll•• RepresentacionesRepresentaciones de de laslascaracterísticascaracterísticas o o hechoshechos (atributos) de las entidades.
• El material bruto y básico del cual se deriva la información para tomas de de decisionesdecisiones y acciones inteligentes.y g
• Junto con los datos que describan y contextualicen (metadata) los datos se produce informaciónproduce información.
INFORMACIÓNINFORMACIÓN
•• La La informacióninformación son datos en t t d t bl
INFORMACIÓNINFORMACIÓN
contexto, datos usables o útiles, datosdatos con con significadosignificadoqueque puedenpueden ser ser interpretadosinterpretados y y comprendidoscomprendidos.
INFORMACIÓN = F(F(datosdatos + + definicióndefinición + + presentaciónpresentación)
CONOCIMIENTO Y SABIDURIACONOCIMIENTO Y SABIDURIA
La información en contexto, comprendida y aplicadapor la gente se convierte en conocimientoconocimiento
ConocConoc.. = F(F(GenteGente + + InformaciónInformación + + SignificadoSignificado))
El conocimiento es un valorvalor agregadoagregado a la información a través de la experiencia y aplicaciónde la información en un área específica.
C d bi i i t tCuando se combina conocimiento correcto, experiencia e intuición comprendida es posible tomartomardecisionesdecisiones y y actuaractuar adecuadamenteadecuadamente ante ante situacionessituacionesespecíficasespecíficas Esta combinación es lo que se llamaespecíficasespecíficas. Esta combinación es lo que se llama sabiduría, el conocimiento empoderado para actuar:
SabiduríaSabiduría == F(F(GenteGente ++ conocimientoconocimiento ++ acciónacción))SabiduríaSabiduría == F(F(GenteGente + + conocimientoconocimiento + + acciónacción))
http://en.wikipedia.org/wiki/Albert_Einstein
DATOS, INFORMACIÓN, CONOCIMIENTO Y SABIDURÍADATOS, INFORMACIÓN, CONOCIMIENTO Y SABIDURÍADATOS, INFORMACIÓN, CONOCIMIENTO Y SABIDURÍADATOS, INFORMACIÓN, CONOCIMIENTO Y SABIDURÍA
DATOS, INFORMACIÓN, CONOCIMIENTO Y SABIDURÍADATOS, INFORMACIÓN, CONOCIMIENTO Y SABIDURÍA
CICLO DE VIDA DE LOS DATOSCICLO DE VIDA DE LOS DATOS•• UsoUso dede loslos datosdatos
– Definir la subvista: diseñardiseñar la la consultaconsulta– Recuperar los datos: procesarprocesar la la consultaconsulta–– ManipularManipular loslos datosdatos: ordenar, agregar, reformatear y
liUso de Uso de
analizar–– PresentarPresentar resultadosresultados: diseñar reporte, la forma de
presentación de los datos
los datoslos datos
•• ProcesamientoProcesamiento dede loslos datosdatosDD ll d td t
Procesamientode los datos
–– DepurarDepurar loslos datosdatos– Consolidar e integrar los datos– Generar valor agregado a partir de los datos
Adquisiciónde datos
•• AdquisiciónAdquisición dede loslos datosdatos– Definir la vista: modelamientomodelamiento lógicológico de los datos– Implementar la vista: diseño e implementaciónimplementación físicafísica de los datos
físicosD fi i ll dd tt de datos– Definir canalescanales dede capturacaptura
–– AsegurarAsegurar lala calidadcalidad dede loslos datosdatos en los canales de captura– Obtener los datos: poblarpoblar lala basebase dede datosdatos– Actualizar registros: almacenamiento y mantenimiento de los
datos copias de seguridad de los datos archivar los datosdatos, copias de seguridad de los datos, archivar los datos
CICLO DE VIDA DE LOS DATOS: ADQUISICIÓN DE DATOSCICLO DE VIDA DE LOS DATOS: ADQUISICIÓN DE DATOSCICLO DE VIDA DE LOS DATOS: ADQUISICIÓN DE DATOSCICLO DE VIDA DE LOS DATOS: ADQUISICIÓN DE DATOS
DiseñoDiseño lógicológicoImplementaciónImplementación
físicafísicaCanales de Canales de capturacaptura
ConsoliciónConsolición de de datosdatos
AnálisisAnálisis de de requerimientosrequerimientos
CICLO DE VIDA DE LOS DATOS: PROCESAMIENTO DE DATOSCICLO DE VIDA DE LOS DATOS: PROCESAMIENTO DE DATOSCICLO DE VIDA DE LOS DATOS: PROCESAMIENTO DE DATOSCICLO DE VIDA DE LOS DATOS: PROCESAMIENTO DE DATOS
DepurarDepurar datosdatosDepurarDepurar datosdatos
ConsolidarConsolidar e e integrarintegrar datosdatos
GenerarGenerar valorvaloragregadoagregadointegrarintegrar datosdatos
CICLO DE VIDA DE LOS DATOS: USO DE LOS DATOSCICLO DE VIDA DE LOS DATOS: USO DE LOS DATOS
DiseñoDiseño de de consultasconsultas
P t ióP t ióPresentaciónPresentaciónde de resultadosresultados
ProcesarProcesarconsultaconsulta ManipularManipular loslos datosdatos
CONCEPTOS BÁSICOS: CALIDAD DE DATOSCONCEPTOS BÁSICOS: CALIDAD DE DATOS• Calidad de alguna entidad, objeto o cualquier cosa hacereferencia al nivelnivel dede satisfacciónsatisfacción oo cumplimientocumplimientoconsistenteconsistente concon loslos requerimientosrequerimientos,, necesidadesnecesidades ooexpectativasexpectativas dede loslos usuariosusuarios.
Qué es calidad?Qué es calidad?
Qué es calidad de datos?Qué es calidad de datos? pp• La calidad de los datos hace referencia al cumplimientoconsistente (completo) de los requerimientos onecesidades de los consumidores de los datos. En esesentido, lala calidadcalidad dede loslos datosdatos eses relativarelativa alal usouso potencialpotencial
Qué es calidad de datos?Qué es calidad de datos?
dede loslos datosdatos.• Según Jurán, loslos datosdatos sonson dede altaalta calidadcalidad sisi ellosellos sonsonconformesconformes aa susu usouso previstoprevisto enen operacionesoperaciones,, tomastomas dededecisionesdecisiones yy planeaciónplaneación..• En otras palabras, calidad de datos es elel estadoestado dedecompletitudcompletitud,, validezvalidez,, consistenciaconsistencia,, oportunidadoportunidad yy exactitudexactitudqueque hacehace queque loslos datosdatos seansean apropiadosapropiados parapara unun usousoespecíficoespecífico o permitan satisfacer un propósito dado.
C l tit d– Completitud– Validez– Consistencia– Oportunidad (temporalidad)p ( p )– Exactitud
ENFOQUE DE PROCESOS EN EL QUE HACEREN EL QUE HACER
ESTADISTICO
Departamento Administrativo Nacional de EstadísticaDepartamento Administrativo Nacional de EstadísticaDepartamento Administrativo Nacional de Estadística Departamento Administrativo Nacional de Estadística ‐‐ DANEDANE
• MISION “La misión del DANE es producir y f f ó í édifundir información estadística estratégica
para la toma de decisiones en el desarrollo ó l d l í deconómico y social del país, a partir de su
liderazgo técnico ejercer la regulación del dí l”sistema estadístico nacional”
DANEDANE SU QUEHACERSU QUEHACER
Producción de Estadísticas Estratégicas para el país,
DANE DANE ‐‐ SU QUEHACERSU QUEHACER
g p p ,
garantizando su continuidad y comparabilidad (espacio-
temporal)temporal)
Actualmente el DANE realiza 65 Investigaciones al
año, entre investigaciones continuas y especiales
Coordinación del Sistema Estadístico Nacional (SEN)
Difusión de Estadísticas
DANE DANE ‐‐ SU QUEHACERSU QUEHACER
Difusión Armonización
Ejecución y
Análisis Normalización
Ejecución y Procesamiento Estandarización
DANEPlanificación Regulación
Producción Coordinación
MAPA DE PROCESOMAPA DE PROCESOMAPA DE PROCESOMAPA DE PROCESO
ANÁLISIS DE REQUERIMIENTOS Y DISEÑO
CLIENTECLIENTE VALIDACIÓN DE VALIDACIÓN DE REQUERIMIENTOSREQUERIMIENTOS
DISEÑO DE DISEÑO DE INVESTIGACIÓNINVESTIGACIÓN
Solicitudes
Requerimientos
Requerimiento de marco estadístico
MARCO UNICO
MARCO MARCO
Formato Formato ElectrónicoElectrónico
Registros Registros AdministrativosAdministrativos
LISTAS AREAS
INTERNET
METODOLOGIAS
SISTEMA DOCUMENTALDIGITAL
Diseño de cuestionarioDiseño de cuestionarioReglas de validación y Reglas de validación y
consistenciaconsistenciaDefinición de la muestraDefinición de la muestra
Pl tiPl ti
Diseño de cuestionarioDiseño de cuestionarioReglas de validación y Reglas de validación y
consistenciaconsistenciaDefinición de la muestraDefinición de la muestra
Pl tiPl ti SISTEMA DOCUMENTALDIGITALPlan operativoPlan operativo……
Plan operativoPlan operativo……
FUENTES BÁSICAS DE CAPTACIÓNCENSOS
Encuesta exhaustiva que cubre la totalidad de la población objetivo. Requiere altos niveles deRequiere altos niveles de organización y planeación, por lo que típicamente se realiza cada 5 o 10 años10 años.
Interés frente a la fuente
•Ajuste y actualización de marcos y•Ajuste y actualización de marcos y directorios•Nuevas estructuras•Proyecciones de poblaciónProyecciones de población
FUENTES BÁSICAS DE CAPTACIÓNMUESTRAS
FUENTES BÁSICAS DE CAPTACIÓN
NNBasado en un marco muestral dondel l t l i d
NNlos elementos son seleccionadosaleatoriamente con una probabilidadde selección conocida. nn
Interés frente a la fuente
•Seguimiento a marcos y directorios•Detección de cambios de coyuntura
FUENTES BÁSICAS DE CAPTACIÓN
REGISTROS ADMINISTRATIVOS
Base de datos actualizadacontinuamente por terceros (enla mayoría de los casos para
Las deficiencias en casila totalidad de los RegistrosAdministrativos hacen quela mayoría de los casos para
propósitos administrativos) y dela cual se puedenextraer/agregar/calcular
Administrativos hacen quelos INE tengan quedesarrollar su ingenio para lautilización estadística deg g
estadísticas.
Interés frente a la fuenteAd ió d tá d
estas herramientas, lo que noimplica asumir el papel deadministrador de estos
•Adopción de estándares y normas•Cobertura y comparabilidad
Que asegure la calidad de la producción estadística
instrumentos.
producción estadística
CADENA DE VALORCADENA DE VALORCADENA DE VALORCADENA DE VALOR
DIFUSION
ESTADISTICA
PRODUCCIÓN
ESTADISTICACLIENTE DISEÑO
DETECCION Y
ANALISIS DE
REQUERIMIENTOS
ANALISISCLIENTE
SOPORTE
INFORMATICO
SOPORTE CIENTIFICO
INFORMATICOY TECNICO
PRODUCCIÓN ESTADÍSTICA PRODUCCIÓN ESTADÍSTICA ‐‐ RECOLECCIÓN DE DATOSRECOLECCIÓN DE DATOS
Registros Administrativos BAES DE DATOS
Cruda
CAPTURA EN CAPTURA EN TERRENO EN TERRENO EN
DMCDMC
Sectorial Municipal
DMCDMC
Metadatos Microdato
INTERNET
CERO PAPELCERO PAPEL
Sistemas de producción
FORMULARIOS FORMULARIOS ELECTRÓNICOSELECTRÓNICOS
Sistema de Monitoreo y Control EstadísticoSistema de Monitoreo y Control Estadístico
RECOLECCIONRECOLECCION
G ióG ió
AccesoAccesoautenticaciónautenticación
Generación Generación instrumentosinstrumentos
Marcos Marcos Área Área -- ListaLista
PrediligenciamientoPrediligenciamiento
BancoBancopreguntaspreguntas
PrediligenciamientoPrediligenciamiento
ParámetrosParámetrosEncuestaEncuesta
RecolecciónRecolección
AsignaciónAsignaciónCargasCargas
DatosDatosRecolectadosRecolectados
CargasCargasAsignadasAsignadas
TransmisiónTransmisiónY ConsolidaciónY Consolidación
DatosDatosCrudosCrudos
RecolectadosRecolectados
Sistema de Monitoreo y Control EstadísticoSistema de Monitoreo y Control Estadístico
FormulaciónFormulaciónindicadoresindicadores
DatosDatosDe indicadoresDe indicadores
PRODUCCION ESTADISTICA: SISTEMA ESTANDAR DE RECOLECCION DE DATOSPRODUCCION ESTADISTICA: SISTEMA ESTANDAR DE RECOLECCION DE DATOS
Sistema para la planeación operativaSistema para la planeación operativa
SAPREDSAPRED
GEAGEA SIMCESIMCE
Sistema para la generación de Sistema para la generación de cuestionarioscuestionarios
Sistema de monitoreo y control Sistema de monitoreo y control estadísticoestadístico
GENERADOR DE ENCUESTA AUTOMATICOGENERADOR DE ENCUESTA AUTOMATICO
Aplicativo de generación de
cuestionarios
Aplicativo de habilitación de instrumentos de recolección
Aplicativo de recolección de datos
BDBDAplicativo de consolidación de bases de datos
BDBD
27
ARQUITECTURA GEAARQUITECTURA GEAARQUITECTURA GEAARQUITECTURA GEA
Autenticación Autenticación Web Web ServiceService
ServidorServidor Base deADOADO
WSDLDMC DMC SQL CESQL CE
Servidor Servidor WebWeb
Base de datos
HTTPHTTP
XMLXML
ADOADO
SQLSQLSOAPXML
WINDOWS
ORACLE
Acceso a datos Acceso a datos Web Web ServiceService
WSDL
PLATAFORMA WINDOWS IISPLATAFORMA WINDOWS IIS
FRAMEWORK .NETFRAMEWORK .NET
PCPC
SISTEMA DE MONITOREO Y CONTROL SISTEMA DE MONITOREO Y CONTROL
INDICADORESPRE‐
INDICADORES OPERATIVOS
OPERATIVOSOPERATIVOS
INDICADORES TEMATICOSTEMATICOS
IndicadoresIndicadores preoperativospreoperativos
Para Oiba Santander
Indicadores Indicadores preoperativospreoperativos
Para Oiba Santander
Rojo Amarillo Verde
Proceso precensales
Cartografía
Sensibilización
Gestión de personalEtapa 1
Distribución de material
Tecnología
Estado consolidado de Oiba
IndicadoresIndicadores preoperativospreoperativos
Para Oiba Santander y Tecnología
Indicadores Indicadores preoperativospreoperativos
DMC encuestador
DMC supervisor
Rojo Amarillo Verde
Etapa 2p
Centro de acopio
Etapa 3
Para Oiba Santander, Tecnología – Indicador 3 Centro de acopio
Fecha Responsable Acción tomadaFecha Responsable Acción tomada5-mayo-05 Responsble 1 Acción tomada 1
17-mayo-05 Responsble 2 Acción tomada 2
...
VISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA O GEOGRAFICA
Indicadores OperativosIndicadores OperativosIndicadores OperativosIndicadores Operativos
INDICADORES MUNICIPIOINDICADORES MUNICIPIO
INDICADORES CON NIVELES DEINDICADORES CON NIVELES DEDESAGREGACIONDESAGREGACION
VISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA O GEOGRAFICA
VISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA O GEOGRAFICA
VISUALIZACIÓN OPERATIVAVISUALIZACIÓN OPERATIVAN
SU
LTA
NS
ULT
AR
VE
RR
VE
RD
E C
ON
DE
CO
NC
GIS
SE
CG
IS S
EIS
TEM
A IS
TEM
A C
ON
AR
CC
ON
AR
CSS CC
Novedades cartográficas y Novedades cartográficas y GeorreferenciaciónGeorreferenciación de unidades.de unidades.
Indicadores Post Indicadores Post Indicadores Post Indicadores Post operativosoperativosoperativosoperativos
GENERALIDADESGENERALIDADES
• Permitía conocer información censal referente a:.
• Indicadores de Vivienda• Indicadores de Hogares• Indicadores de Personas• Indicadores de Unidades Agropecuarias• Indicadores de Unidades Agropecuarias• Indicadores de Unidades Económicas
• Se verifica y garantiza la calidad información censal recolectada.
CONSULTA O MODIFICACIONESCONSULTA O MODIFICACIONES
1. Introduzca el código1. Introduzca el código del Centro de Acopio (9 dígitos).
2. Click en el botón Consultar
1 2
Consultar
3. Se despliega una tabla con toda la información censal alimentadaalimentada.
4. Si desea modificar un dato, de click sobre la fecha que desea la cual se encontraracual se encontrara delineada en azul.3
29/11/2005
PRODUCCIÓN ESTADÍSTICA PRODUCCIÓN ESTADÍSTICA ‐‐ PROCESAMIENTO DE DATOSPROCESAMIENTO DE DATOS
P i tP i t dd ll d td t•• ProcesamientoProcesamiento dede loslos datosdatos–– DepurarDepurar loslos datosdatos– Consolidar e integrar los datos– Generar valor agregado a partir de los datos
PRODUCCIÓN ESTADÍSTICA PRODUCCIÓN ESTADÍSTICA ‐‐ PROCESAMIENTO DE DATOSPROCESAMIENTO DE DATOS
ControlControlRecepciónRecepción
ControlControlR ióR ió
DatosDatos
Consistencia Consistencia
ConsolidaciónConsolidación
RecepciónRecepción
B.D.B.D.
B.D.B.D.ConsolidadaConsolidada
CrudosCrudos
MetadatasMetadatas
FuncionesFuncionesEspecialesEspeciales
ImputaciónImputación
DesagregadasDesagregadas
AgregadosAgregadosCon factores deCon factores de
expansiónexpansión
ImputadaImputada
DocumentoDocumentoEvaluaciónEvaluación
EvaluaciónEvaluaciónCalidadCalidad
DesagregadasDesagregadasCon factores deCon factores de
expansiónexpansión
Producción Producción de resultadosde resultados
Sistema de Monitoreo y Control EstadísticoSistema de Monitoreo y Control Estadístico
F l ióF l ió D tD tFormulaciónFormulaciónindicadoresindicadores
DatosDatosDe indicadoresDe indicadores
CADENA DE VALOR)CADENA DE VALOR)CADENA DE VALOR)CADENA DE VALOR)
DIFUSION
ESTADISTICA
PRODUCCIÓN
ESTADISTICACLIENTE DISEÑO
DETECCION Y
ANALISIS DE
REQUERIMIENTOS
ANALISISCLIENTE
SOPORTE
INFORMATICO
SOPORTE CIENTIFICO
INFORMATICOY TECNICO
A áli i Dif ió
BANCO DE DATOS VIRTUALES
Análisis y Difusión
SISTEMAS DINAMICOS DE DIFUSIÓN
VIRTUALES
SISTEMAS DEBODEGA
CERO PAPEL
SISTEMAS DE CONSULTA DINAMICAMAPAS TEMATICOS
INTERNETBODEGA
DE DATOS
FOROS Y ExtranetFOROS Y COMUNIDADES
VIRTUALES
Extranet
ENTIDADES OFICIALES
Sistema de Monitoreo y Control EstadísticoSistema de Monitoreo y Control Estadístico
DIFUSIÓNDIFUSIÓNInfraestructura Colombiana deInfraestructura Colombiana deD tD tDatosDatos
11
33
22
Repositorio de Repositorio de Información básicaInformación básica . ta
dta
d
expansiónexpansión
DesagregadasDesagregadasCon factores deCon factores de
expansiónexpansión MetadatoMetadato
Evaluación deEvaluación deCalidadCalidad(ETL)(ETL)
.
.
nn lom
bies
tlo
mbi
est
ModelosModelosDimensiónalesDimensiónalesDe análisisDe análisisEstadísticoEstadístico
Col
Col
Estadístico Estadístico
Sistema de Monitoreo y Control EstadísticoSistema de Monitoreo y Control Estadístico
Infraestructura Colombiana de Datos• Estructura General ICDEstructura General ICD• Enfoque metodológico
Decreto 3851 de 2006: Sistema de aseguramiento de la calidad almacenamiento ySistema de aseguramiento de la calidad, almacenamiento y
consulta de la información básica colombiana y se dictan otras disposiciones
1.Proceso deCertificación
2.Proceso de Calidade Integración
3.Difusión de laInformación
de Calidad de IB
CANDANE - ACIOB
e Integraciónde la Información Básica
BODEGA DE DATOS
InformaciónBásica
COLOMBIESTAD
Información Básica:
Se define como básica “la información de carácter estadístico geográfico de personas y territorialestadístico, geográfico, de personas y territorial, de utilidad para la administración, resultante de procesar bases de datos conformadas a partir deprocesar bases de datos conformadas a partir de
registros, censos, encuestas y observaciones”.Decreto 3851 de 2006
Infraestructura Colombiana de Datos
“Sistema administrativo de información oficial
Datos
Sistema administrativo de información oficial básica, de uso público, consistente en una
arquitectura de información estandarizada, apta q , ppara la transmisión, aseguramiento de calidad,
procesamiento, difusión, e intercambio electrónico de datos entre generadores y
usuarios”Decreto 3851 de 2006
Certificación de Calidad“Para ser incorporadas a la ICD, las bases de
datos deberán obtener un Certificado de Calidad de la Información Básica -CI-, que expedirá el DANE con base en inspección
ti d i ió d tpracticada por una comisión de expertos independientes integrada por al menos tres profesionales competentes en la materiaprofesionales competentes en la materia, escogidos por el DANE entre profesores universitarios, expertos internacionales y , p y
usuarios de la información”...
D t 3851 d 2006Decreto 3851 de 2006
Criterios de Evaluación ACDIMENSIONESDE CALIDAD
DIMENSIONESDE CALIDAD
DIMENSIONESDE CALIDAD
DIMENSIONESDE CALIDAD
GESTIÓN
Procesos Recursos
PRODUCTO
Relevancia y Completitud
Diseño
GESTIÓN
Procesos Recursos
PRODUCTO
Relevancia y Completitud
Diseño
GESTIÓN
Procesos Recursos
PRODUCTO
Relevancia y Completitud
Diseño
GESTIÓN
Procesos Recursos
PRODUCTO
Relevancia y Completitud
Diseño
FinancierosRecolección
Completitud
PrecisiónDefinición de Objetivo
y Requisitos FinancierosRecolección
Completitud
PrecisiónDefinición de Objetivo
y Requisitos FinancierosRecolección
Completitud
PrecisiónDefinición de Objetivo
y Requisitos FinancierosRecolección
Completitud
PrecisiónDefinición de Objetivo
y Requisitos
Infraestructura yTecnológicos
ProcesamientoOportunidad y
Puntualidad
Definiciones metodológicasde recolección yprocesamiento
Validación del
Infraestructura yTecnológicos
Procesamiento
Accesibilidad y Cl id d
Oportunidad y Puntualidad
Definiciones metodológicasde recolección yprocesamiento
Validación del
Infraestructura yTecnológicos
ProcesamientoOportunidad y
Puntualidad
Definiciones metodológicasde recolección yprocesamiento
Validación del
Infraestructura yTecnológicos
Procesamiento
Accesibilidad y Cl id d
Oportunidad y Puntualidad
Definiciones metodológicasde recolección yprocesamiento
Validación delDifusión Humanos
Aseguramiento de calidad
Comparabilidad y Coherencia
Diseño Difusión Humanos
Aseguramiento de calidad
Comparabilidad y Coherencia
Claridad Diseño Difusión Humanos
Aseguramiento de calidad
Comparabilidad y Coherencia
Diseño Difusión Humanos
Aseguramiento de calidad
Comparabilidad y Coherencia
Claridad Diseño
calidadcalidadcalidadcalidad
REFERENCIAS : FMI, EUROSTAT, CEPAL, ISO900, MODELO EFQM
Principales componentes de la ICDde la ICD
Datos Espaciales ICDE
Datos sobre Personas
Datos Territoriales y Regionales
Datos Estadísticos y g
D t 3851 d 2006Decreto 3851 de 2006
1.Infraestructura de datos sobre personas:personas:
“Registros de hechos vitales y migracionesRegistros de hechos vitales y migraciones que sirvan para actualizar la información
censal de población, cobertura de protección p psocial, registros educativos, registro mercantil,
registro de contribuyentes, beneficiarios de b idi d ifi d t d l isubsidios, damnificados y otros de la misma
índole”.
Decreto 3851 de 2006
2.Infraestructura de datos estadísticos:
“Estadísticas generadas por registros administrativos censos o encuestas sobreadministrativos, censos o encuestas sobre
aspectos socio económicos y demográficos, estadísticas derivadas, modelos de estadística
prospectiva y demás de la misma índole”.
Decreto 3851 de 2006
PENDES
1 I t i d OFERTA1. Inventario de Operaciones Estadísticas
Prospectiva
ActualDEMANDA
O
Prospectiva
2 Diagnóstico
Oferta
Demanda
3 Documento PENDES
2. Diagnóstico
Cruce preliminar O - D
Demanda
3. Documento PENDES
Clasificación de Información de
SECTOR SUBSECTOR TOTAL1127
TOTAL SECTOR 558TOTAL
Operaciones Estadísticas
AGRICULTURA, GANADERÍA Y PESCA 97 BANCA Y SERVICIOS FINANCIEROS 99 COMERCIO, INDUSTRIA Y SERVICIOS 111 COMUNICACIONES 26 CONSTRUCCIÓN Y VIVIENDA 24
ECONÓMICO
CUENTAS ECONÓMICAS 90 MINERO - ENERGÉTICO 39 TRANSPORTE 72
TOTAL SECTOR 54 ECOSISTEMAS 47SUMINISTRO DE AGUA Y SANEAMIENTO BÁSICO 7
RECURSOS NATURALES Y MEDIO AMBIENTE
SUMINISTRO DE AGUA Y SANEAMIENTO BÁSICO 7TOTAL SECTOR 515
ADMINISTRACIÓN PÚBLICA, ACTIVIDAD POLÍTICA Y ASOCIACIONES
95
CULTURA, DEPORTE Y OCIO 63DEMOGRAFÍA Y POBLACIÓN 10DEMOGRAFÍA Y POBLACIÓN 10
EDUCACIÓN, CIENCIA Y TECNOLOGÍA 50 JUSTICIA 96 MERCADO LABORAL 13 NIVEL, CALIDAD Y CONDICIONES DE VIDA 17SEGURIDAD 101
SOCIAL
SEGURIDAD 101 SALUD Y SEGURIDAD SOCIAL 70
Clasificación de las Operaciones por tipoCENSO MUESTREO
PROBABILÍSTICOMUESTREO NO
PROBABILÍSTICOREGISTRO
ADMINISTRATIVOESTADÍSTICA
DERIVADAREGISTRO
ADMINISTRATIVO Y OTRA
ESTADÍSTICA DERIVADA Y
OTRA1.6% 4.7% 1.9% 76.1% 14.9% 0.7% 0.2%6% % 9% 6 % 9% 0 % 0 %
857
900
Censo
600
700
800
900MuestreoProbabilísticoMuestreo noProbabilístico
168300
400
500 RegistroAdministrativoEstadística Derivada
18 53 21 8 2
0
100
200 RegistroAdministrativo y OtraEstadística Derivaday Otra
3.Infraestructura Colombiana de Datos Espaciales ICDE:p
“Información geográfica relativa a catastro, inventarios de infraestructura física recursosinventarios de infraestructura física, recursos
minerales, hídricos, vegetales y biodiversidad, geología, geomorfología, suelos, amenazasgeología, geomorfología, suelos, amenazas naturales, climatología, cobertura y uso del suelo, oceanografía, batimetría, registro de
propiedad inmobiliaria, listado de direcciones de edificaciones urbanas y rurales, conexiones de ser icios públicos domiciliares demás de laservicios públicos domiciliares, y demás de la
misma índole”.Decreto 3851 de 2006
4.Infraestructura de datos generados en entidades territoriales yen entidades territoriales y regionales:
“Bases de datos no comprendidas en los componentes antes enumerados, p
administradas por Gobernaciones, Municipios, entes regionales, provinciales, locales y entes
b t l l t i tno gubernamentales que voluntariamente se incorporen a la ICD”.
Decreto 3851 de 2006
E l d l ICD
Certificación Integración y Calidad de datos Área de Integración de la
información básicaÁrea de análisis de información básica
Arquitectura de DatosAplicaciones
analíticas Difusión
Estructura general de la ICD
ción
de
dato
sConsultas Multidimen
Consultas ad hocPORTAL WEBRIB
CANDANE
Modelos de Análisis
dad
e in
tegr
ac
EPIB(Entidad
Productoras De
Informació
RAVECu
OTRO)
Indicadores
Analítica por procesos
Repositorio de información básica
CANDANE
Centros deatención
HDD
DD
HD
DDH
D
•C
alidInformació
n Basica) Minería de datos
ETL Mapas temática
MIBMetadatos de información
básica
Sistemas Transversales
Sistema de aseguramiento de la calidad
Sistema de metadatos Sistema de administración y control
EstándaresRepositorio de información básica
Plataforma tecnológica (hardware, software, comunicaciones) PCPC MóvilMóvilDSLDSL CableCable SoftwareSoftwareRedesRedes
p
Herramientas para aplicación del proceso (Kettle)ETL – Extract: Lectura de datos desde diferentes fuentes (archivos planos tablas de bases de datos
ETL Transform:
Lectura de datos desde diferentes fuentes (archivos planos, tablas de bases de datos, consultas SQL, archivos Excel, Etc.)
ETL – Transform:
- Unificación de codificaciones, Descomposición campos compuestos en únicos, Detección los valores erróneos.- Unificación de estándares: unidades de medida, tiempo, moneda., p ,- Eliminación de valores duplicados.- Creación de Claves numéricas consecutivas (llaves subrogadas).
ETL – LoadCargas los datos transformados y mapeados a la nueva fuente de datos.
Herramientas para aplicación del proceso (Kettle)
Mostrar gráfica• Hacer clic en botón para Visualizar gráfica
Medidas
Dimensión
G t PDFGenerar reporte en PDF• Hacer clic en elHacer clic en el
botón para generar reporte PDF
• Configuración del reporte PDF
• Almacenar o• Almacenar o visualizar reporte en disco local
O i t dí ti di ibl (14)Operaciones estadísticas disponibles (14)• Ministerio de Transporte
1. Costos operacionales (por Carretera).2 Mo ili ación de carga (enc esta origen destino a ehíc los de carga)2. Movilización de carga (encuesta origen-destino a vehículos de carga).3. Movimiento Portuario Fluvial 4. Registro Nacional de vehículos de carga.
• DANEDANE1. Encuesta de Transporte Urbano.2. Índice de Precios al Consumidor IPC.
• Aeronáutica Civil1. Origen y destino pasajeros y carga.2. Operaciones de trafico regular.3. Operación de aerotaxis.4 Operación de vuelos charter4. Operación de vuelos charter.5. Tráfico de Helicópteros.
• INVIAS1 Conteos Manuales de Transito1. Conteos Manuales de Transito.2. Ingreso por concepto de peajes.3. Control de Peso Bruto Vehicular.