the knowledge discovery process

The Knowledge Discovery Process

DATA MINING

Data Mining adalah kegiatan untuk menemukan informasi atau pengetahuan yang berguna dari data yang jumlahnya besar.

DM dan KDD

Tahapan KDD (Peter Cabena)

Penentuan Sasaran Bisnis (Business Objective Determination)

Persiapan Data (Data Preparation)– Data Selection– Data Preprocessing– Data Transformation

Data MiningAnalysis of ResultsAssimilation of Knowledge

Bussines Objective Determination #1

Mendefinisikan permasalahan atau tantangan bisnis dengan jelas. Hal ini merupakan aspek yang sangat esensial dalam setiap proyek data mining.

(Oleh beberapa peneliti KDD lainnya -- bahkan yang terkenal -- tahapan ini cenderung diabaikan! dan jarang disebut)

Jika tanpa sasaran bisnis yang jelas, orang berkata: "Here is the data, please mine it.". Tetapi jika mining dilakukan dan pengetahuan diperoleh, bagaimana dapat diketahui bahwa solusi tersebut benar-benar dibutuhkan?


Contoh sasaran bisnis:Mengembangkan suatu strategi marketing untukmempertahankan loyalitas customer Bali terhadap produk soft drink dengan brand dan ukuran tertentu (200ml dalam kemasan kaleng) selama bulan Juni, Juli, Agustus yang akan datang. Perusahaan akan menggunakan kombinasi dari berbagai strategimarketing (mixed marketing), yang salah satunyaadalah direct mail campaign kepada customer yangtampaknya "mudah rusak" loyalitasnya.


Pertanyaan kuncinya:Customer mana yang akan dikirimi brosursupaya usaha ini berhasil? / Customer mana yang tergolong tidak loyal ?

Data Preparation #1

Mempersiapkan data yang diperlukan untuk proses data mining.

Tujuannya:– agar data yang digunakan benar-benar sesuai dengan permasalahan yang akan dipecahkan, dapat dijamin kebenarannya, dan dalam format yang sesuai/tepat.

Data Preparation #2

Tahap yang paling banyak mengkonsumsi resources (manusia, biaya, waktu) yang tersedia. Biasanya mencapai 60% keseluruhan proyek KDD.

Menurut Cabena: Secara berurutan untuk 5 fase Cabena membutuhkan: 20% (fase 1) + 60% (fase 2)+ 10% (fase 3) + 10% (untuk kedua fase 4 dan 5).

Data Preparation #3

Data Preparation #4

Data Selection– Mengidentifikasi semua sumber informasi internal dan

eksternal dan memilih sebagian saja dari data yang diperlukan untuk aplikasi data mining.

Contoh : dipilih customers yang membeli produk soft drink 200

ml dalam kemasan kaleng di Bali.

Data Preparation #5

Data Preprocessing– Meyakinkan kualitas dari data yang telah

dipilih pada tahapan sebelumnya.– Dua issue yang paling sering dihadapkan

pada tahap ini:• Noisy Data• Missing Values

Data Preparation #6

Data Transformation (#1)– Mengubah data ke dalam model analitis.– Memodelkan data agar sesuai dengan analis yang

diharapkan dan format data yang diperlukan oleh algoritma data mining.

Contoh :customers yang membeli produk soft drink 200 ml dalam kotak alumunium disorting dalam 10 kategori, yang masing-masing membedakan tingkat loyalitasnya: membeli produk tersebut 0-10%, 11-20%, ..... , 81-90%, 91-100% sepanjang waktu pembeliannya. Selanjutnya data inilah yang akan dibawa ke tahap data mining.

Data Preparation #7

Data Transformation (#2)Perlu diperhatikan terlebih dahulu 2 tipe utama data yang digunakan:

Categorical: semua nilai yang mungkin ada, bersifat terbatas nominal: tanpa urutan, seperti status perkawinan

(single, kawin, duda/janda, unknown) atau jenis kelamin (laki-laki,perempuan)

ordinal: dengan urutan, seperti rating loyalitas customer (sangat baik, baik, cukup, kurang atau vulnerable atau mudah dirusak loyalitasnya).

Data Preparation #8

Data Transformation (#3)– Quantitative: semua nilai yang mungkin dapat

diukur perbedaannya continuous (nilai-nilai bilangan real): gaji bulanan,

rata-rata transaksi dalam satu periode waktu (bulan, kuartal atau tahun).

discrete (nilai-nilai bilangan bulat): seperti jumlah pegawai, jumlah transaksi dalam satu periode waktu.

Data Preparation #9

Data Transformation (#4)Contoh

Discretization: Pendapatan < Rp. 500.000, dikodekan 1, Rp. 500.000 s.d. 1 juta dikodekan 2 dan seterusnya.

Normalization: Jika proses data mining menggunakan ANN, karena sebagian besar ANN hanya menerima input dalam range 0 s.d. 1 (binary) atau -1 s.d. +1 (bipolar), maka parameter continuous yang di luar range tersebut harus dinormalisasi.

Data Mining #1

Melakukan proses pencarian pengetahuan terhadap data yang ditransformasikan pada tahap sebelumnya.

Contoh Pengetahuan berbentuk Association Rule untuk kasus "Soft Drink“:

IF soft drink sejenis dengan ukuran yang lebih besar dibeli dalam lebih dari 58% sejarah pembelian soft drink seorang consumer THEN consumer tersebut diprediksi Loyal.

Data Mining #2

Contoh Pengetahuan berbentuk Association Rule untuk kasus "Soft Drink“: IF seorang consumer cenderung lebih banyak

membeli soft drink merk "X" THEN consumer tersebut diprediksi Tidak Loyal

IF dihitung secara rata-rata seorang consumer ternyata membeli lebih dari 345,67ml setiap kali belanja AND dengan harga rata rata soft drink per 100ml >= Rp. 550, THEN consumer tersebut diprediksi Loyal.

Analysis of Result

Menginterpretasikan dan mengevaluasi output dari tahap mining: patterns. Pendekatan analisa yang digunakan akan bervariasi menurut operasi data mining yang digunakan, tetapi biasanya akan melibatkan teknik visualisasi.

Assimilation of Knowledge

Menggunakan hasil mining yang telah dievaluasi ke dalam perilaku organisasi dan sistem informasi perusahaan.

Tahapan Proses KDD (Jia Weihan) #1

Data cleaningData integrationData selectionData transformationData miningPattern EvaluationKnowledge Presentation


Data Cleaning: menghilangkan noise dan data yang inkonsisten.

Data Integration: menggabungkan berbagai macam sumber data.

Data Selection: memilih data yang relevan (dari database) dengan "analysis task". "analysis task" = Business Objective Determination (Cabena).


Data Transformation: transformasi atau konsolidasi data ke dalam bentuk yang lebih baik untuk mining, dengan mewujudkan operasi summary dan aggregation (misal: daily data ---> monthly ---> quarterly ---> annual).

Data Mining: mengekstrak patterns dari data dengan menerapkan "intelligent methods".


Pattern Evaluation: mengidentifikasi sejumlah pola yang sungguh-sungguh menarik dan bakal menjadi pengetahuan berdasarkan sejumlah pengukuran ketertarikan (interestingness measures) seperti rule support dan rule confidence untuk rule extraction.

Knowledge Presentation: penggunaan teknik-teknik visualisasi dan representasi untuk menyajikan pengetahuan yang telah diperoleh kepada user

Pemrosesan Data

Mengapa Data Diproses Awal?

Data dalam dunia nyata kotor Tak-lengkap: nilai-nilai atribut kurang, atribut

tertentu yang dipentingkan tidak disertakan, atau hanya memuat data agregasi. Misal, pekerjaan=“”

Noise: memuat error atau memuat outliers (data yang secara nyata berbeda dengan data-data yang lain). Misal, Salary=“-10”

Tak-konsisten: memuat perbedaan dalam kode atau nama Misal, Age=“42” Birthday=“03/07/1997” Misal, rating sebelumnya “1,2,3”, sekarang rating “A, B,

C”

Mengapa Data Diproses Awal?

Data yang lebih baik akan menghasilkan data mining yang lebih baik

Data preprocessing membantu didalam memperbaiki presisi dan kinerja data mining dan mencegah kesalahan di dalam data mining.

Mengapa Data Kotor ?

Ketaklengkapan data Noise data diakibatkan oleh Nilai data tidak tersedia saat dikumpulkan Masalah manusia, hardware, dan software

Ketakkonsistenan data diakibatkan oleh Sumber data yang berbeda

Mengapa Pemrosesan Awal Data Penting?

Kualitas data tidak ada, kualitas hasil mining tidak ada! Kualitas keputusan harus didasarkan kepada kualitas

data Misal, duplikasi data atau data hilang bisa menyebabkan

ketidak-benaran atau bahkan statistik yang menyesatkan.

Ekstraksi data, pembersihan, dan transformasi merupakan kerja utama dari pembuatan suatu data warehouse. — Bill Inmon

Tugas Utama Pemrosesan Awal Data

Pembersihan data (data yang kotor)– Mengisi nilai-nilai yang hilang, menghaluskan noise

data, mengenali atau menghilangkan outlier, dan memecahkan ketak-konsistenan

Integrasi data (data heterogen) Integrasi banyak database, banyak kubus data, atau

banyak fileTransformasi data (data detail)

Normalisasi dan agregasi

Tugas Utama Pemrosesan Awal Data

Reduksi data (jumlah data yang besar) Mendapatkan representasi yang direduksi dalam

volume tetapi menghasilkan hasil analitikal yang sama atau mirip

Diskritisasi data (kesinambungan atribut) Bagian dari reduksi data tetapi dengan kepentingan

khusus, terutama data numerik

Bentuk-Bentuk Pemrosesan Awal Data

Contoh : Data yang menggandung missing values

Penghapusan data yang mengandung missing values

Mean Imputed Values

Clustering for Outlier Detection

the knowledge discovery process

Documents