Teknologi Virtualisasi dan Cloud Computing

Instalasi Hadoop 2.6.0 di Ubuntu Server 14.04

(Single Node Cluster)

NAMA : NANIK SUGIARTI

NIM : P2700213404

PROGRAM PASCASAJANA

PROGRAM STUDI TEKNIK ELEKTRO

FAKULTAS TEKNIK

UNIVERSITAS HASANUDDIN

2015

PENGINSTALAN VURTUAL BOX & UBUNTU 14.04

1. Proses pertama dalam penginstalan virtual box yaitu memilih software instalasi virtualbox teman-teman semua, dalam hal ini software virtual box saya berada di MyDocument’s

2. Setelah mendapatkan software klik dua kali untuk memulai proses instalasi dan akanmuncul gambar seperti di bawah ini, klik next untuk memulai penginstalan

3. Selanjutnya kita akan di bawa ke tempat yang akan di simpan system virtual box. Secaradefault dia berada c:\Program Files\Oracle\VirtualBox\ jika ingin mengubah tempatpenyimpanan klik browse dan arahkan di mana system virtual box akan disimpan, lebihjelas lihat gambar di bawah ini

4. Selanjutnya kita akan di bawa ke pembuatan shortcut ada dua pilihan yaitu shortcut padadesktop dan launch bar, jika ingin tidak membuat shortcut lepas tanda centang pada menubar, lihat contoh gambar

5. Langkah selanjutnya ialah kita akan diberi peringatan untuk menon-aktifkan jaringan,apabila masih aktif virtual box akan menon-aktifkan secara automatis sampai instalanselesai, klik yes untuk melanjutkan penginstalan

6. Langkah selanjutnya ialah kita akan masuk ke tahap penginstalan dan ada 3 ikon/menu,back untuk mengembalikan langkah sebelumnya, install untuk memulai proses instalasi,dan cancel untuk membatalkan proses instalasi. Klik install untuk pada perintah kali inidan melanjutkan proses instalasi

7. Setelah klik install akan muncul proses intalasi tunggu sampai selesai sehingga akanmuncul gambar seperti di bawah ini, dan akan ada muncul menu pada couloum yang dimana perintah itu untuk membuka program virtual box apabila selesai dalampenginstalan. Klik finish

8. Setelah selesai penginstalan kita akan masuk di menu utama pada program virtual boxseperti gambar di bawah ini tidak ada program yang berjalan, klik new untuk membuatpartisi sederahana untuk virtual box kita

9. Langkah selanjutnya ialah kita akan masuk dalam pembuatan nama virtual machine,pemilihan type os, dan versi os. Apabila kita menulis ubuntu maka secara otomatispemilihan type os, dan versi akan berubah menjadi linux dan ubuntu lebih jelas lihatgambar, dan klik next untuk melanjutkan

10. Selanjutnya kita akan memilih total minimal Ram yang akan digunakan dalam saatmembuka virtual box kita secara default minimal ram 512 MB, apabila ingin menambahtotal ram geser ke kanan lebih jelas lihat gambar dan klik next

11. Selanjutnya yaitu pembuatan virtual hard drive klik create a virtual hard drive now danklik create

12. Langkah selanjutnya kita akan masuk type hard drive secara default virtual box diskimage (VDI) dan klik next

13. Selanjutnya kita akan melihat perintah storage on physical hard drive yang dimana adamenu yang menu pertama dynamically allocated untuk menggunakan free space darimaximal harddisk dan menu fixed size ialah kita tidak bias menggunakan atau membagidalam proses instalan, kita pilih dynamically allocated dan klik next

14. Langkah selanjutnya ialah pemilihan nama penyimpanan dan total hard disk yang akankita pakai, secara default minimal hard drive ialah 8 GB dan dan maximal 2 TB,selanjutnya klik create

15. Setealah selesai kita akan melihat system yang akan kita buat tadi klik start untukmelanjutkan proses penginstalan, dan akan muncul menu seperti di bawah ini,selanjutnya ialah kita akan memilih di mana file iso kita yang akan di install dengan klikgambar folder warna cokelat dan pilih file iso, setelah memilih klik ok lebih jelas lihatgambar 1 dan 2, dan klik start untuk memulai proses instalasi

Gambar 1 sebelum memilh iso

Gambar 2 setelah memilih file iso16. Selanjutnya kita akan masuk di menu instalasi akan ada pemilihan bahasa dan

penginstalan ubuntu kita memilih bahasa inggris untuk default, dan kita memilih installubuntu karena kalau kita memilih try ubuntu itu halnya dengan live cd dan tidak terinstaldalam hard disk kita, klik install ubuntu

17. Beri tanda centang untuk Install this third-party software untuk codec audio mp3, mpegdll kemudian klik Continue dan pastikan terkoneksi internet untuk install paket codecnya

18. Pada langkah selanjutnya kita akan menginstall ubuntu tekan install now

19. Pada langkah selanjutnya ialah pemilih kota kita ketik di pencarian kota Makassar makadia akan mendapatkan seperti ini : Makassar Time (Indonesia) lebih jelas lihat gambardan pilih continue

20. Selanjutnya kita akan di bawa ke menu pemilihan keyboard, kita menggunakan secaradefault English (us) dan klik continue

21. Langkah selanjutnya ialah pemilihan nama user dan password pada ubuntu kita

22. Selanjutnya proses copy file system

23. Setelah pengcopyan file system selesai maka kita akan mendapatkan perintah untukrestart system, untuk lebih jelas lihat gambar di bawah, klik restart Now

24. Selanjutnya kita akan masuk di desktop sebelum masuk di desktop kita masukkanpassword yang telah kita buat tadi dan tekan enter

25. Proses instalasi selesai dan kita sudah siap menggunakan ubuntu 14.04 kita

PENGINSTALAN DAN KONFIGURASI HADOOP

Install Java

Penginstallan java secara online menggunakan repository:

Proses Penginstalan Java: suso apt-get install oracle-java7-installer

Untuk mengecek penginstalan java, ketik perintah : java version

Addgroup & User

Untuk menambahkan group, menggunakan perintah addgroup seperti di bawah ini:

Untuk menambahkan user pada group yang telah dibuat, menggunakan perintah berikut:

Konfigurasi SSH

Install SSH dengan perintah di bawah ini:

Untuk melihat apakah ssh sudah terinstall atau belum dengan menggunakan perintah berikut:

Hadoop memerlukan protokol SSH untuk melakukan akses ke setiap node. Untuk pengaturansingle node, kita memerlukan pengaturan akses SSH ke localhost.

Mengenerate SSH key untuk hduser:

Mengaktifkan SSH pada local Machine yang dibuat

Koneksi SSH dengan localhost, untuk mengetahui apakah SSH sudah berhasil disetting

Menonaktifkan IPv6 dengan mengkonfigurasi file sysctl.conf

Pada sysctl.conf, diketikkan konfigurasi sebagai berikut:

Selanjutnya di reboot Ubuntu setelah konfigurasi IPv6 dan setelah itu ketikan perintah untukmelihat apakah sudah terdisable atau belum.

Jika muncul angka 1, maka proses disable IPv6 telah berhasil.

Install Hadoop

Extrac file hadoop dengan perintah $ sudo tar vxzf hadoop-2.6.0.tar.gz -C /usr/local

Pindahkan file hadoop yang sudah diextrac ke folder /usr/local/hadoop, dengan perintah :

Ubah kepemilikan seluruh file dalam direktori /usr/local/hadoop, menjadi milik user hduser

Konfigurasi Hadoop

Mengedit file ~/.bashrc, dengan perintah $ sudo nano .bashrc

Tambahkan perintah di bawah ini :

Edit file /usr/local/hadoop/etc/hadoop/hadoop-env.sh

Ubah variabel ini, export JAVA_HOME=$(JAVA_HOME) menjadi :

export JAVA_HOME=/usr/lib/jvm/java-7-oracle/

Untuk melihat hadoop sudah berhasil di install, dengan perintah :

$ hadoop version

Edit /usr/local/hadoop/etc/hadoop/core-site.xml

Sebelum melakukan konfigurasi untuk Temporary file, buat folder temporary terlebih dahulu danmengubah kepemilikannya ke user ‘hduser:hadoop’

ubuntu@ubuntu-VirtualBox:~$ sudo mkdir -p /app/hadoop/tmp

ubuntu@ubuntu-VirtualBox:~$ sudo chown hduser:hadoop /app/hadoop/tmp

Konfigurasi file Temporary Hadoop dengan mengubah baris berikut:

<configuration>

</configuration>

menjadi:

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/app/hadoop/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:54310</value>

<description>The name of the default file system. A URI whose scheme and authoritydetermine the FileSystem implementation. The uri's scheme determines the config property(fs.SCHEME.impl) naming the FileSystem implementation class. The uri's authority is used todetermine the host, port, etc. for a filesystem.</description>

</property>

</configuration>

Edit /usr/local/hadoop/etc/hadoop/mapred-site.xml

Konfigurasi MapReduce dengan Salin File template mapred-site.xm

ubuntu@ubuntu-VirtualBox:~$ sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template/usr/local/hadoop/etc/hadoop/mapred-site.xml

ubuntu@ubuntu-VirtualBox:~$ sudo nano /usr/local/hadoop/etc/hadoop/mapred-site.xml

Ubah pada baris berikut pada diantara <configuration></configuration>:

<configuration><property><name>mapred.job.tracker</name><value>localhost:54311</value><description>The host and port that the MapReduce job tracker runs

at. If "local", then jobs are run in-process as a single mapand reduce task.

</description></property></configuration>

Edit - /usr/local/hadoop/etc/hadoop/hdfs-site.xml

ubuntu@ubuntu-VirtualBox:~$ sudo mkdir -p /usr/local/hadoop_store/hdfs/namenode

ubuntu@ubuntu-VirtualBox:~$ sudo mkdir -p /usr/local/hadoop_store/hdfs/datanode

ubuntu@ubuntu-VirtualBox:~$ sudo chown -R hduser:hadoop /usr/local/hadoop_store

ubuntu@ubuntu:~$ sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml

Ubah pada baris berikut:

<configuration>

</configuration>

menjadi:

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

<description>Default block replication.

The actual number of replications can be specified when the file is created.

The default is used if replication is not specified in create time.

</description>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop_store/hdfs/namenode</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop_store/hdfs/datanode</value>

</property>

</configuration>

Format Hadoop File System

ubuntu@ubuntu-VirtualBox:~$ su hduser

hduser@ubuntu-VirtualBox:~$ hadoop namenode –format

Starting Hadoop

hduser@ubuntu-VirtualBox:~$ start-all.sh

Kemudian memastikan apakan semua service Hadoop sudah jalan.

hduser@ubuntu:~$ jps

Cek lewat Web browser:

Stopping Hadoop

Untuk menghentikan servece Hadoop dengan perintah :

hduser@ubuntu-VirtualBox:~$stop-all.sh