ESCUELA SUPERIOR POLITÉCNICA DEL LITORAL

Materia: Datawarehouse

Manual para transformación ETL a usando la herramienta PENTAHO

Integrantes:Alvear JackelineBobadilla VilmaTambo RuthsbelZúñiga Herdiz

7/Mayo/2009

Manual para transformación ETL a través del programa PENTAHO

Instalación

Bajar el software desde el siguiente link:

http://www.pentaho.com/products/try_bi_suite.php

Para descargarse el mismo es necesario realizar un registro previo, luego de este proceso se habilitará la página para proceder a bajar el producto.

Este programa al instalarse, genera los siguientes componentes:

Tomcat (Servidor)

Mysql (Base de datos)

Para poder ingresar a la base de datos mysql al instalarse el programa este solicita un password, el mismo que se usará para las conexiones a esta base de datos.

2

Proceso de migración

Para el proceso de migración se considera que ya se tiene instalado en la máquina Microsoft access.

Para proceder a la migración se debe acceder a unos de los recursos que ofrece PENTAHO en este caso “Kettle” que es su programa para ETL.

El mismo se accede desde la carpeta donde se instaló el programa, suponiendo que se instaló en la carpeta “C” este sería el acceso:

“C:\Archivos de programa\pentaho\design-tools\data-integration\data-integration”

Ingresamos a “Kettle” y nos pedirá que creemos una conexión, escogemos la opción “No repository”.

3

Una vez dentro del mismo existe la opción “View”, dando clic podremos observar que se muestran dos carpetas:

“Transformations”

“Jobs”

Dando doble clic escogeremos la opción “Transformations”, se generará una nueva opción “Design”, desde esta opción escogemos la alternativa “Input”, dentro de esta categoría podemos seleccionar de que manera vamos a obtener los datos que queremos migrar, escogemos la opción “Table Input”, esto debido a que vamos a migrar de tablas Access a tablas mysql.

4

Arrastramos la opción “Table Input” al panel en blanco derecho, damos doble clic sobre el mismo y nos pedirá que escojamos desde donde vamos a obtener los datos a migrar, en la opción “Connection” seleccionamos “New”, aparecerá una ventana que nos solicitará el nombre de la conexión a configurar, como esta es la tabla de la que vamos a leer los datos, debemos configurar la conexión para Microsoft Access de la opción “Connection Type” seleccionamos “MS Access”, nos pedirá el “ODBC DSN Source Name” en este campo lo llenaremos con la siguiente trama de conexión:

Driver={Microsoft Access Driver (*.mdb)};Dbq=C:\ProyectoPentaho\BaseDatos.mdb;

5

Damos click en el botón de test y este generará una ventana con el mensaje OK, una vez realizados los cambios procedemos aprobar la configuración.

Para indicar cual es la base de destino de nuestros datos a migrar escogemos la alternativa “Output”, dentro de esta categoría podemos seleccionar de qué manera vamos a guardar los datos que queremos migrar, escogemos la opción “Table Output”, esto debido a que vamos a migrar de tablas Access a tablas mysql.

Arrastramos la opción “Table Output” al panel en blanco derecho, damos doble clic sobre el mismo y nos pedirá que escojamos donde vamos a obtener los ,en la opción “Connection” seleccionamos “New”, aparecerá una ventana que nos solicitará el nombre de la conexión a configurar, como esta es la tabla donde vamos a guardar los datos, debemos configurar la conexión para Mysql de la opción “Connection Type” seleccionamos “Mysql”, nos pedirá el “Host Name” este campo lo llenamos con localhost, este es el host por defecto que mysql asume como nombre para el servidor.

En Database Name ingresamos el nombre de la base de datos donde vamos a guardar nuestros datos: en este ejemplo lo hacemos en la base de datos “estudiantes”

Port Number: es el puerto por el cual el servidor mysql funcionar, Pentaho por defecto lo instala en el puerto 18306

User name: es el usuario con que realizaremos las conexiones ene ste caso por defecto es root

Password: es el password que previamente ingresamos al instalar PENTAHO en este caso “proyecto”.

6

Damos click en el botón de test y este generará una ventana con el mensaje OK, una vez realizados los cambios procedemos aprobar la configuración.

Este proceso haremos para cada tabla a migrar desde la base de datos Access, en nuestro caso son dos configuraciones por cada tabla, cabe recalcar que debemos especificar en cada configuración cual es la tabla a migrar, para eso en la configuración de la base Access escogemos la opción “Get SQL Statement” esta alternativa nos permitirá seleccionar la tabla que se va a migrar.

Una vez configuradas todas las conexiones tanto para las tablas que se van a leer y para las que se van a llenar, debemos indicar al programa cual es el orden de los procesos a realizarse y como estos van a estar unidos al ejecutarse, para esto debemos unir las configuraciones tanto las de ingreso como las de salida.

Dando clic sobre cualquier configuración de entrada presionamos la tecla “SHIFT” y arrastramos el mouse a la configuración de salida que deseamos unir, este proceso haremos por cada par de configuraciones tanto de entrada como de salida.

Al final cada tabla de entrada y salida estaría unida por una flecha en verde.

Esto indica al PENTAHO cual es el orden para la ejecución de los procesos.

7

Se configuró un proceso adicional el cual genera la base y las tablas en la base de datos mysql.

Para esto nos ubicamos dentro de la mism opción “Design”, nos ubicamos en “Scripting” y arrastramos al lado derecho el proceso “Execute SQL script”.

Nos ubicamos en el elemento arrastrado damos doble clic y lo configuramos, para ejecutar un script el programa nos pide la conexión de la base de datos en la cual ejecutaremos el script, como ya previamente configuramos la conexión a mysql, seleccionaríamos ese tipo de conexión.

En el espacio en blanco ubicamos el script sql a ejecutar sobre la base y que el PENTAHO se encargará de ejecutar.

8

Hasta el momento en resumen hemos configurado las tablas de ingreso y salida para la migración de la base, además hemos configurado un script para generar la base donde va a residir los datos a migrar.

Con PENTAHO podemos unir todas estas configuraciones en un solo proceso que el programa llama “JOB”.

Para el mismo realizamos lo siguiente:

Una vez dentro de la opción “View”, dando clic podremos observar que se muestran dos carpetas:

“Transformations”

“Jobs”

9

Dando doble clic escogeremos la opción “Jobs”, se generará una nueva opción “Design”, desde esta opción escogemos la alternativa “General”.

Ubicados dentro de esta carpeta seleccionamos el objeto “START” la cual indicará que los procesos empezarán desde ahí.

10

Previamente ya tenemos dos configuraciones realizadas una transformación para que el PENTAHO procese el script sql y otra que contiene todas las configuraciones para migrar las tablas de Access a Mysql.

De la carpeta “General” arrastramos el objeto “Transformation”, arrastramos dos objetos de este tipo uno por cada transformación ya previamente configuradas.

La primera transformación a ser realizada es la del script por lo tanto como anteriormente indicamos, nos posicionamos sobre el objeto “START” damos clic y con la tecla “SHIFT” arrastramos el mouse indicando que a continuación del proceso “START” viene la transformación que ejecuta el script y a continuación realizamos el mismo proceso para la transformación de la base de datos.

En cada elemento “Transformation” debemos configurar para indicar cual es la transformación que debe ejecutar, para esto previamente nuestras configuraciones las debemos haber guardado.

Dando doble clic el programa muestra una ventana en la que ubicamos la opción “Transformation file name” dando clic ubicamos el archivo “ktr” que contiene todo el proceso de las configuraciones que hemos realizado en los pasos descritos anteriormente.

11

Una vez realizado este proceso, nos ubicamos en la parte superior del menú y buscamos el icono de start, este nos mostrará una ventana en la que nos indicará si el proceso lo queremos realizar localmente o con un servidor externo, como la base de datos reside en nuestra máquina seleccionamos la opción “local Execute”.

12

El programa pregunta si queremos mandar a ejecutar seleccionamos “Launch” y después nos mostrará un log de los procesos que se están realizando con su respectivo resultado.

Por cada proceso culminado con éxito el programa genera un resultado de “Finalizado”.

Cabe recalcar que se realizó las configuraciones tanto para la migración de las tablas, asi como las configuraciones para le ejecución de los querys que ejecutan el proceso para la generación de las tablas de hecho respectivas.

QUERYS PARA OBTENCIÓN DE LAS TABLAS DE DIMENSION Y TABLAS DE HECHO

insert into dim_estudiante select cedula_est,matricula, anio_ingreso+'-'+termino_ingreso as periodo_ingreso from ingreso_carrera

insert into dim_materia SELECT distinct codigo_materia, nombre_materia FROM materia

insert into dim_periodo SELECT distinct anio_ingreso+'-'+termino_ingreso as periodo_estudio,anio_ingreso as anio,termino_ingreso as termino FROM ingreso_carrera union SELECT distinct anio+'-'+termino as periodo_estudio,anio,termino FROM paralelo;

insert into hec_registro select anio+'-'+termino as periodo_estudio,codigo_materia,cedula_estudiante as cedula_est,count(*) as cantidad from paralelo a, paralelo_estudiante b where a.id_paralelo=b.id_paralelo group by codigo_materia,anio,termino,cedula_estudiante

13