manual instalación

of 25 /25
PEÑARANDA JENNY TOAPANTA ADRIANA MANUAL DE INSTALACIÓN HADOOP INTEGRANTES:

Upload: adriana-toapanta

Post on 05-Nov-2015

26 views

Category:

Documents


1 download

Embed Size (px)

DESCRIPTION

Como instalar la herramienta de hadoop

TRANSCRIPT

  • PEARANDA JENNY

    TOAPANTA ADRIANA

    MANUAL DE INSTALACIN

    HADOOP

    INTEGRANTES:

  • 2

    -MANUAL DE INSTALACIN

    HADOOP -

    MANUAL DE INSTALACIN HADOOP

    Contents Instalacin de Hadoop .......................................................................................................................................... 3

    Instalacin del JDK ............................................................................................................................................ 3

    Configuraciones ................................................................................................................................................ 9

    Software Utilizado ........................................................................................................................................ 9

    Configuracin del Sistema Operativo ........................................................................................................... 9

    Configuraciones en los dos mbitos tanto master como en el slave: ........................................................15

    Instalacin y Configuracin de Hadoop ..........................................................................................................18

    Configuraciones Fundamentales ....................................................................................................................21

    Probando HADOOP .........................................................................................................................................23

    BIBLIOGRAFA .....................................................................................................................................................25

  • 3

    -MANUAL DE INSTALACIN

    HADOOP - Instalacin de Hadoop Instalacin del software requerido para la actividad:

    Instalacin del JDK 1. Verificar el JDK compatible y estable en el siguiente link

    http://wiki.apache.org/hadoop/HadoopJavaVersions

    2. Descargar el JDK recomendado en el link.

    2.1. Ir a la pgina de Oracle Java Archive:

    http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-

    419409.html

    2.2. Buscar la versin del JDK que se va a descargar en este caso escogemos JDK_6U31:

  • 4

    -MANUAL DE INSTALACIN

    HADOOP - 2.3. Procedemos a aceptar los trminos de aceptacin para la descarga del JDK seleccionado:

    2.4. Descargamos la versin para Linux x64 (64-bit): jdk-6u31-linux-x64-rpm.bin

  • 5

    -MANUAL DE INSTALACIN

    HADOOP - 2.5. Procedemos a ingresar nuestro usuario y contrasea para iniciar la descarga, previamente debe

    estar registrado en el Portal de Oracle para poder tener estos privilegios:

    2.6. As obtendr el archivo seleccionado.

    3. Instalar el JDK:

    3.1. Copiar el archivo descargado en el servidor donde se va a instalar para esto vamos a usar FTP.

    3.2. Una vez copiado el archivo procedemos a la instalacin del JDK, abrir el directorio donde est el

    archivo que copiamos, en nuestro caso el archivo est en: /home/hadoop/Downloads

    3.3. Cambiamos el usuario a root, Contrasea del root: hadoop

    3.4. Dar permisos de instalacin al archivo: chmod 755 jdk-6u31-linux-x64-rpm.bin

  • 6

    -MANUAL DE INSTALACIN

    HADOOP - 3.5. Ejecutamos el instalador: ./jdk-6u31-linux-x64-rpm.bin

    3.6. Esperamos hasta que se termine de instalar:

    3.7. Registramos el JDK instalado:

  • 7

    -MANUAL DE INSTALACIN

    HADOOP - 3.8. Una vez instalado el JDK vamos a editar los siguientes archivos:

    3.8.1. Abrir un terminal como root.

    3.8.2. Agregar las dos siguientes lneas al final del archivo: vim /etc/profile

    JAVA_HOME=/usr/java/default; export JAVA_HOME PATH=$JAVA_HOME/bin:$PATH; export PATH

    3.8.3. Agregar las dos siguientes lneas al final del siguiente archivo: vim .bashrc

    export PATH=/usr/java/default/bin:/usr/java/default/db/bin:$PATH

    export JAVA_HOME=/usr/java/default

    export DERBY_HOME=/usr/java/default/db

    Cerrar el terminal.

  • 8

    -MANUAL DE INSTALACIN

    HADOOP - 3.8.4. Una vez terminada la configuracin en los archivos verificamos la versin de JDK

    instalada, para eso vamos a cerrar todos los terminales abiertos, luego de eso vamos a

    escribir: java versin, y debe desplegar lo siguiente:

    3.8.5. Para verificar si est bien configurada la versin del compilador de java digitamos lo

    siguiente: javac versin, y debe desplegar lo siguiente:

  • 9

    -MANUAL DE INSTALACIN

    HADOOP - Configuraciones

    Fig1. Estructura manejada para la distribucin de Procesos.

    Software Utilizado

    SO: Centos 6.5

    JAVA: jdk_1.6_31

    HADOOP: hadoop-2.5.2 tar.gz

    Configuracin del Sistema Operativo

    PC: Master

    Estas configuraciones se las realiza como sper usuario:

    1. Configurar la interfaz con la que se va a trabajar en la maquina Master, editando el siguiente archivo,

    se trabajara con la interfaz eth0:

    vim /etc/udev/rules.d/70-persistent-net.rules

    Verificar que la propiedad NAME = eth0.

  • 10

    -MANUAL DE INSTALACIN

    HADOOP - 2. Configurar la los parmetros dentro de la interfaz con la que vamos a trabajar.

    # Abrir el Directorio para editar el archivo de la interfaz

    cd /etc/sysconfig/network-scripts/

    # Listar todo el contenido del directorio

    Ls

    # Realizar una copia de seguridad del archivo:

    cp ifcfg-eth0 ifcfg-eth0.backup

    # Editar los parmetros del archivo

    vim ifcfg-eth0

    DEVICE="eth0"

    BOOTPROTO="static"

    HWADDR="00:0C:29:66:FF:EB"

    NM_CONTROLLED="no"

    ONBOOT="yes"

    TYPE="Ethernet"

    IPADDR="10.22.108.10"

    NETMASK="255.255.252.0"

    DNS1="10.22.110.1"

    3. Editar el archivo network con los siguientes parmetros:

    vim /etc/sysconfig/network NETWORKING=yes

    HOSTNAME=hadoopBigData

    GATEWAY=10.22.110.1

  • 11

    -MANUAL DE INSTALACIN

    HADOOP - 4. Editar el archivo resolv con los siguientes parmetros:

    vim /etc/resolv.conf

    search hadoopBigData

    nameserver 10.22.110.1

    5. Ejecutamos los siguientes comandos

    # Detener el servicio de NetworkManager service NetworkManager stop # Configurar para que este demonio no inicie automticamente con el sistema chkconfig NetworkManager off # Detener la interfaz que se est usando ifdown eth0 # Verificar que no se est usando ninguna interfaz ifconfig # Subir la interfaz que se va usar ifup eth0 # Reiniciar el servicio de Red del SO service network restart # Verificar si los cambios hechos se estn reflejando en la interfaz Ifconfig # Verificar si hay conexin a la Red e internet ping www.sun.com Captura de todo el script en ejecucin:

  • 12

    -MANUAL DE INSTALACIN

    HADOOP -

  • 13

    -MANUAL DE INSTALACIN

    HADOOP - PC: Slave

    Estas configuraciones se las realiza como sper usuario:

    1. Configurar la interfaz con la que se va a trabajar en la maquina Master, editando el siguiente archivo,

    se trabajara con la interfaz eth1:

    vim /etc/udev/rules.d/70-persistent-net.rules

    2. Configurar la los parmetros dentro de la interfaz con la que vamos a trabajar.

    # Abrir el Directorio para editar el archivo de la interfaz cd /etc/sysconfig/network-scripts/ # Listar todo el contenido del directorio Ls # Realizar una copia de seguridad del archivo: cp ifcfg-eth0 ifcfg-eth1

    # Editar los parmetros del siguiente archivo: vim ifcfg-eth1

    DEVICE="eth1" BOOTPROTO="static" HWADDR="00:0C:29:69:1B:1A" NM_CONTROLLED="no" ONBOOT="yes" TYPE="Ethernet" IPADDR=10.22.108.11 NETMASK=255.255.252.0 DNS1=10.22.110.1

  • 14

    -MANUAL DE INSTALACIN

    HADOOP - 3. Editar el archivo network con los siguientes parmetros:

    vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hdp1 GATEWAY=10.22.110.1

    4. Editar el archivo resolv con los siguientes parmetros:

    vim /etc/resolv.conf

    search hdp1

    nameserver 10.22.110.1

    5. Ejecutamos los siguientes comandos

    # Detener el servicio de NetworkManager service NetworkManager stop # Configurar para que este demonio no inicie automticamente con el sistema chkconfig NetworkManager off # Detener la interfaz que se est usando ifdown eth0 # Verificar que no se est usando ninguna interfaz ifconfig # Subir la interfaz que se va usar ifup eth1 # Reiniciar el servicio de Red del SO service network restart # Verificar si los cambios hechos se estn reflejando en la interfaz Ifconfig # Verificar si hay conexin a la Red e internet ping www.sun.com

  • 15

    -MANUAL DE INSTALACIN

    HADOOP -

    Configuraciones en los dos mbitos tanto master como en el slave:

    En el Master:

    # Obtener la IP la maquina master: hostname I

    # Editamos el archivo: vim /etc/hosts 10.22.108.10 hadoopBigData 10.22.108.11 hdp1

    # Copiar el archivo del master al slave scp /etc/hosts hdp1:/etc/

    # Luego aadimos un usuario con su clave adduser hadoop # Su contrasea para el usuario hadoop passwd hadoop

  • 16

    -MANUAL DE INSTALACIN

    HADOOP - # Anadir el usuario hadoop al grupo de root gpasswd -a hadoop root

    # Vamos al usuario hadoop su hadoop # Ejecutamos las siguientes lneas de comandos ssh-keygen -t rsa -P ""

    # Digitamos cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ssh hadoopBigData

    # Copiamos el directorio .ssh del Master al Slave scp .ssh/ hdp1:~/

  • 17

    -MANUAL DE INSTALACIN

    HADOOP - # Probando comandos ejecutados anteriormente ssh hdp1

    # Ejecutamos las siguientes instrucciones service iptables stop chkconfig iptables off

    En el slave:

    # Aadir un usuario con su clave adduser hadoop # Su contrasea para el usuario hadoop passwd hadoop

    # Anadir el usuario hadoop al grupo de root gpasswd -a hadoop root

    # Ejecutamos las siguientes instrucciones service iptables stop chkconfig iptables off

  • 18

    -MANUAL DE INSTALACIN

    HADOOP - Instalacin y Configuracin de Hadoop

    1. Descargamos el paquete de hadoop ms estable que est disponible en la red: http://apache.claz.org/hadoop/common/stable1/ Escogemos la opcin: hadoop-1.2.1.tar.gz dar click derecho y copiar el link de localizacin.

    2. Abrir un terminal en hadoopBigData:

    # Digitamos lo siguiente su - hadoop curl -O http://apache.claz.org/hadoop/common/stable1/hadoop-1.2.1.tar.gz

    # Digitamos las siguientes instrucciones

    ls tar -xzf hadoop-1.2.1.tar.gz

  • 19

    -MANUAL DE INSTALACIN

    HADOOP -

    3. Editamos los siguiente archivos de configuracin # Ejecutar los siguientes comandos ls cd hadoop-1.2.1 ls cd conf/

    # Archivos que se van a configurar

    hdfs-site.xml

    core-site.xml

    mapred-site.xml

    hadoop-env.sh # Editar core-site.xml vim core-site.xml fs.default.name hdfs://hadoopBigData:9000 hadoop.tmp.dir /var/hadoop/hadoop-${user.name}

  • 20

    -MANUAL DE INSTALACIN

    HADOOP -

    # Editar mapred-site.xml vim mapred-site.xml

    mapred.job.tracker hadoopBigData:9001

    # Editar hdfs-site.xml vim hdfs-site.xml dfs.replication 1

  • 21

    -MANUAL DE INSTALACIN

    HADOOP - # Editar hadoop-env.sh vim hadoop-env.sh

    export JAVA_HOME=/usr/java/jdk1.6.0_31 export HADOOP_HOME=/opt/hadoop export HADOOP_CONF_DIR=/opt/hadoop/conf

    Configuraciones Fundamentales En el Master:

    1. Copiar el contenido HADOOP: scp -r hadoop-1.2.1 hdp1:~/ Como root:

    2. Copiar el directorio de HADOOP en el siguiente PATH tanto en el Master como en el slave: cp -r /home/hadoop/hadoop-1.2.1/ /opt/

    3. Ejecutar las siguientes sentencias tanto en el Master como en el slave: cd /opt ls mv hadoop-1.2.1/ hadoop ls

  • 22

    -MANUAL DE INSTALACIN

    HADOOP - 4. Ejecutar tanto en el Master como en el slave:

    mkdir /var/hadoop chown -R hadoop.hadoop /opt/hadoop/ chown -R hadoop.hadoop /var/hadoop/

    5. Configurar en el Master: # Regresar al usuario hadoop su - hadoop # Abrir el directorio de configuracin de HADOOP cd /opt/hadoop/conf/ # Editar el archivo masters vim masters

    # Editar el archivo Slaves vim slaves

    # Resumen de consola

  • 23

    -MANUAL DE INSTALACIN

    HADOOP - Probando HADOOP Como usuario HADOOP

    1. Vamos a formatear los nodos: cd /opt/hadoop bin/hadoop namenode -format

    2. Iniciar procesos: bin/start-all.sh

  • 24

    -MANUAL DE INSTALACIN

    HADOOP - 3. Verificamos que todo est bien, abrir un navegador y en la url digitar:

    http://hadoopbigdata:50070/ Mostrar lo siguiente:

    Damos click en Live Nodes:

  • 25

    -MANUAL DE INSTALACIN

    HADOOP - BIBLIOGRAFA

    https://www.youtube.com/watch?v=c1KFvHx9HHI

    http://tecadmin.net/steps-to-install-hadoop-on-centosrhel-6/

    http://apache.claz.org/hadoop/common/stable1/

    http://hadoop.apache.org/releases.html#Download