e-learning evaluation using iso 19796-1 and analytic hierarchy process
DESCRIPTION
This is the presentation of my thesis in university. It is about research on evaluating e-learning using ISO 19796 and analytic hierarchy process to weight the score of category. It also uses geometric mean method to aggregate the weighting resultTRANSCRIPT
![Page 1: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/1.jpg)
ANALISIS PENGEMBANGAN APLIKASI PENILAIAN KUALITAS E-LEARNING BERDASARKAN ISO 19796-1
!Oleh: Adhi Wicaksono
![Page 2: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/2.jpg)
E-learning semakin banyak
![Page 3: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/3.jpg)
Standar e-learning bermacam-macam
![Page 4: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/4.jpg)
ISO 19796
![Page 5: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/5.jpg)
Sistem yang ada:
Belum menggunakan banyak ahli dalam memberikan pembobotan
!
Belum ada penelitian tentang kualitas sistem penilaian kualitas e-learning
![Page 6: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/6.jpg)
Identifikasi masalah:
1. Standar diperlukan untuk mengukur kualitas suatu e-learning.
2. Terdapat berbagai macam e-learning sehingga sulit untuk menentukan
standar kualitas.
3. Standar yang digunakan untuk penilaian e-learning bermacam-macam dan
sulit untuk diterapkan pada sistem yang berbeda, sehingga perlu adanya
standardisasi.
4. Belum ada sistem penilaian kualitas e-learning yang bisa memberikan
bobot penilaian dari banyak ahli.
5. Belum ada analisis kualitas pada apliaksi penilaian kualitas e-learning.
![Page 7: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/7.jpg)
Batasan masalah:
1. Standar diperlukan untuk mengukur kualitas suatu e-learning.
2. Terdapat berbagai macam e-learning sehingga sulit untuk menentukan
standar kualitas.
3. Standar yang digunakan untuk penilaian e-learning bermacam-macam dan
sulit untuk diterapkan pada sistem yang berbeda, sehingga perlu adanya
standardisasi.
4. Belum ada sistem penilaian kualitas e-learning yang bisa memberikan
bobot penilaian dari banyak ahli.
5. Belum ada analisis kualitas pada apliaksi penilaian kualitas e-learning.
![Page 8: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/8.jpg)
Rumusan masalah:
1. Bagaimana merancang dan membuat aplikasi penilaian kualitas e-learning
berdasarkan ISO 19796-1 yang dapat memberikan bobot penilaian dari
banyak ahli?
2.Bagaimana tingkat kualitas aplikasi yang dikembangkan dari sisi
functionality, reliability, efficiency, usability, portability, maintainability?
![Page 9: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/9.jpg)
Tujuan penelitian:
1. Mengetahui proses perancangan dan pembuatan aplikasi penilaian kualitas
e-learning berdasarkan ISO 19796-1 yang dapat memberikan bobot
penilaian dari banyak ahli.
2. Mengetahui analisis tingkat kualitas aplikasi yang dikembangkan dari sisi
functionality, reliability, efficiency, usability, portability, maintainability?
![Page 10: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/10.jpg)
KAJIAN TEORI
![Page 11: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/11.jpg)
E-learning berarti pembelajaran dengan
menggunakan media atau jasa bantuan
perangkat elektronika (Munir, 2008)
Secara garis besar, apabila kita menyebut
tentang e-learning, ada tiga komponen
utama yang menyusun e-learning tersebut,
yaitu: peralatan, sistem dan isi (Wahono,
2008)
E-learning
![Page 12: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/12.jpg)
Tahun 2005 ISO merilis ISO 197961 tentang
kualitas e-learning (ISO, 2005).
Kategori kualitas e-learning menurut ISO
19796: need analysis, framework analysis,
conception/design, development,
implementation, learning process,
evaluation
Pendekatan standar kualitas dalam e-learning
![Page 13: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/13.jpg)
ISO 19796 Reference Process Model
![Page 14: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/14.jpg)
Analytic Hierarchy Process
![Page 15: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/15.jpg)
Geometric Mean Method
AHP 4
AHP 1
AHP 2
AHP 3
AGGREGATED!RESULT
![Page 16: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/16.jpg)
Faktor Kualitas Perangkat Lunak
ISO 9126
![Page 17: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/17.jpg)
Penelitian yang relevan
1. Tahun 2004, Chua dan Dyson (Chua &
Dyson, 2004) mengajukan framework pada
ISO 9126 untuk menilai kualitas produk e-
learning yaitu Blackboard system. Hasilnya
ISO 9126 mampu diadaptasi untuk menilai
sistem e-learning tetapi belum mencakup
aspek pengajaran, hanya menilai sistem e-
learning dari sisi software engineering.
![Page 18: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/18.jpg)
Penelitian yang relevan
2. Tahun 2005, pada bulan Oktober ISO
melalui tim SC 36 (ISO, 2005) merilis ISO
19796-1 tentang Learning, Education and
Training. Standardisasi bersifat lebih
spesifik, tetapi masih memerlukan usaha
untuk mengadaptasikannya sesuai dengan
organisasi masing-masing.
![Page 19: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/19.jpg)
Penelitian yang relevan
3. Tahun 2009, Pinghong Zhou (Zhou, 2009)
mengimplementasikan RFDQ yang terdapat
dalam ISO 19796-1 pada Huangzhong
Normal University. Hasil penelitian:
penggunaan kategori need analysis dan
framework analysis untuk mendesain
platform.
![Page 20: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/20.jpg)
Penelitian yang relevan
4. Tahun 2010, Andharini Dwi Cahyani
(Cahyani, 2010) melakukan penelitian
terhadap penilaian kualitas sistem e-
learning dengan menggunakan ISO
19796-1. Hasil penelitian ini adalah aplikasi
yang dibuat mampu menilai kualitas sistem
e-learning sesuai dengan ISO 19796-1,
tetapi penelitian ini menggunakan satu ahli
dalam memberikan bobot AHP
![Page 21: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/21.jpg)
METODE
![Page 22: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/22.jpg)
Jenis Penelitian
Langkah'langkah)Metode)Research(and(Development)(Diadaptasi)dari)Sugiyono,)2013:)298)
Research and Development (RnD)
![Page 23: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/23.jpg)
Desain Penelitian
Functionality !
Pengujian fitur dengan menggunakan checklist yang dilakukan oleh 5 orang
ahli
Reliabilty !
Stress testing dengan menggunakan LoadImpact dan WAPT 8.1
Usability !
Diuji dengan menggunakan kuisioner J.R. Lewis
Efficiency !
Diuji dengan menggunakan YSlow dan PageSpeed Insight
Maintainability !
Diuji dengan menggunakan checklist dan pengujian metrik
Portability !
Diuji dengan menggunakan menggunakan beberapa browser
![Page 24: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/24.jpg)
Analisis Data
Functionality !
Menghitung persentase kesuksesan aplikasi untuk menjalankan fungsi
tertentu
Reliabilty !
Menghitung success rate dan failure rate dari stress testing yang dilakukan
Usability !
Menggunakan rumus konsistensi Alpha Cronbach
Efficiency !
Menghitung overall rate dari pengujian yang dilakukan
Maintainability !
Mencocokkan hasil pengujian dengan metrik yang ada
Portability !
Menguji performa dengan mengakses menggunakan browser
![Page 25: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/25.jpg)
HASIL & PEMBAHASAN
![Page 26: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/26.jpg)
Use Case Diagram
![Page 27: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/27.jpg)
Class Diagram
![Page 28: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/28.jpg)
Database
![Page 29: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/29.jpg)
Mockup
![Page 30: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/30.jpg)
Hasil tampilan
![Page 31: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/31.jpg)
Hasil Pengujian
Functionality !
Nilai persentase aspek functionality 98.75% (sangat tinggi)
Reliabilty !
Pada pengujian aspek reliability, didapat hasil 100% dengan pengujian menggunakan tool dari LoadImpact,
sementara pengujian dengan WAPT 8.1 untuk tiga metrik, hasilnya adalah: sessions 95%, pages 99,68% dan hits 99,64% sehingga dari aspek
reliability menunjukkan nilai sangat tinggi
Usability !
nilai konsistensi alpha cronbach sebesar 0.937 (excellent) dan
persentase 79.32%
Efficiency !
Yslow menunjukkan rata-rata overall performance score 93 dan grade A.
Sementara pengujian efficency dengan menggunakan PageSpeed Insight menunjukkan nilai rata-rata untuk
mobile 83.5 (baik) dan desktop 92.93 (sangat baik).
Maintainability !
Pengujian dari aspek maintainability menunjukkan bahwa aplikasi telah diuji dan memenuhi metrik maintainability,
yaitu: instrumentation, consistency dan simplicity
Portability !
aplikasi telah diuji menggunakan dengan beberapa web browser. Hasilnya aplikasi bisa diakses
menggunakan semua web browser tersebut tanpa ada error
![Page 32: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/32.jpg)
KESIMPULAN & SARAN
![Page 33: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/33.jpg)
Kesimpulan
1. Pengembangan aplikasi penilalian kualitas e-learning
dilakukan melalui 7 langkah
2. Pengembangan aplikasi penilaian kualitas e-learning telah
memenuhi aspek reliability, functionality, efficiency,
portability, usability, dan maintainability menurut kaidah
software quality sesuai standar ISO 9126.
![Page 34: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/34.jpg)
Saran
1. Kategori penilaian diperbanyak dan lebih dari dua kategori
sesuai dengan ISO 19797-1.
2. Jumlah ahli yang memberikan bobot penilaian
diperbanyak untuk mendapatkan data yang labih obyektif.
3. Melibatkan lebih banyak responen yang melakukan
penilaian kualitas e-learning
![Page 35: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/35.jpg)
DEMO
![Page 36: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process](https://reader034.vdocuments.net/reader034/viewer/2022052413/559841f21a28ab27328b4606/html5/thumbnails/36.jpg)
Terimakasih