beberapa kesalahan implementasi data warehouse/bi

Kesalahan Implementas i Data Warehouse

Hendro Subagyo

Informasi = Aset

DATA/INFORMASI JUGA NYAMPAH!

WAREHOUSE AMAZON.COM

Warehouse tidak terpakai

http://www.makeuseof.com/

Dalam timbunan data,

Kita haus pengetahuan

Significant IT Failures

Company Year OutcomeHudson Bay (Canada) 2005 Inventory system problems lead to $33.3 million loss

UK Inland Revenue 2004/5 $3.45 billion tax-credit overpayment caused by software errors

Avis Europe PLC (UK) 2004 Enterprise resource planning (ERP) system cancelled after $54.5 million spent

Ford Motor Co. 2004 Purchasing system abandoned after deployment costing approximately $400 M

Hewlett-Packard Co. 2004 ERP system problems contribute to $160 million loss

AT&T Wireless 2004 Customer relations management (CRM) systemupgrade problems lead to $100M loss

Data Warehouse - Wikipedia

A data warehouse (DW, DWH), or an enterprise data warehouse (EDW), is a database used for reporting and data analysis.

Integrating data from one or more disparate sources creates a central repository of data, a data warehouse (DW).

Data warehouses store current and historical data and are used for creating trending reports for senior management reporting such as annual and quarterly comparisons.

OLTP: rekam data terkini, dukung operasional

OLTP:

update datasesuai

kondisi terkini

Data OLTP: Berorientasi Aplikasi

Nama

NPWP

NIK

SIM

Alamat

Lat,Long

RT/RW, ...,Prop

Jabodetabek

Data DW: Berorientasi Subyek

Subyek sama, aplikasi berbeda

Data OLTP: mendetail

Data OLTP: operasional

Data DW: terintegrasi

Data DW: terintegrasi

Integrasi tidak mudah, tapi mungkin

Data DW: non-volatile

Data DW: non-volatile

Data DW: time variant

Data DW: tidak berubah, hanya bertambah

Data Warehouse’s Data

Karakteristik data DeskripsiBerorientasi subyek Data dikelompokkan dalam subyek-subyek.

TerintegrasiData disimpan dalam format yang konsisten secara global. Hal ini berimplikasi data-cleansing sehingga data memiliki konsistensi dalam konvensi penamaan dan atribut fisik.

Time-variantData direkam untuk penggunaan jangka panjang, biasanya 5-10 tahun. Sehingga data direkam dalam beberapa seri snapshot.

Non-volatilSekali data terekam dan tersimpan dalam waktu tertentu, misal t1, maka seluruh atribute tersebut tetap tidak berubah.

OLTP vs DWItem OLTP Data Warehouse

Tujuan Mendukung proses operasional

Mendukung analisa strategis, performa dan reporting

Penggunaan dataMerekam dan mengelola data

Eksploitasi data

Validasi dataValidasi dan verifikasi saat entri

Verifikasi setelah fakta

Frekuensi updateData diupdate setiap ada transaksi

Data ditambahkan secara periodik, dengan proses terjadwal (bukan diedit yang telah ada, tetapi data baru diambahkan).

Requirement histori data

Data terkini Histori data selama beberapa tahun

Integrasi dan balancing data

Balancing data dalam satu sistem

Data harus diintegrasikan dan di-balancing dari beragam sumber

Arsitektur DW/BI

Urutan desain dan pengembangan DW/BI

Komponen BI

Kesalahan A – Miskonsepsi

DW = OLTP + OLTP + ...

Kesalahan A - Miskonsepsi

“development done, problem solved.”(mitos)

Kesalahan A - Miskonsepsi

Kesalahan Implementasi – A

Miskonsepsi DW/BI

• data warehouse hanyalah kumpulan salinan dari database operasional (OLTP)• desain Data Warehouse tidak berbeda dengan desain database operasional

(OLTP).

• desain hanya fokus pada penyimpanan berbasis rekord

• mitos bahwa dengan membuat data warehouse maka secara otomatis masalah pengambilan keputusan terselesaikan

Kesalahan Implementasi – B

Tidak fokus dalam menghasilkan nilai (bisnis)

• tertarik pada implementasi teknologi terbaru, hal-hal menarik untuk dicoba dan menyelesaikan tantangan teknologi

• manajer DW hanya berorientasi pada teknologi

Margins of Error in Cost and Time Estimates

Typical margins of Error for

Well-done Estimates

Phase Deliverable Cost (%) time (%)

Planning System Request 400 60

Project Plan 100 25

Analysis System Proposal 50 15

Design System Specification 25 10

Source: Boehm et al. (1995)

Kesalahan C –

No Collaboration, No Communications

Tidak melibatkan stakeholder

Kesalahan C – Kolaborasi, Komunikasi

Kesalahan Implementasi - C

Tidak melibatkan seluruh stakeholder

• pengguna tidak merasa memiliki

• sistem yang telah dibangun tidak sesuai dengan budaya pengguna, atau dalam kata lain, ”gap” antara sistem as-is dan to-be terlalu jauh

Kesalahan Implementasi - C

Miskomunikasi

• Pernyataan pengembang kepada stakeholder bisnis/manajemen “sistem ini membantu manajer/manajemen mengambil keputusan lebih baik”

• Audiens, “Mereka (pengembang) akan memperbaiki kita, karena selama kita tidak baik!”

Kesalahan Implementasi - C

Minimalnya komitmen dan dukungan manajemen

• komitmen dan dukungan manajemen sangat minimal, baik dukungan manajerial, SDM maupun dana

Kesalahan Implementasi - C

Tidak ada Kolaborasi dg Stakeholder Bisnis

• Pengembang tidak tertarik untuk melibatkan pengguna dan stakeholder lain

• Pengembang tidak mengembangkan komunikasi efektif dengan stakeholder lain

• Stakeholder bisnis, terdiri dari operator lapangan, manajemen, sponsor dana, dan pengguna sistem DW (pengambil keputusan), juga tidak tertarik untuk memahami aspek-aspek batasan teknis pengembangan

Kesalahan Implementasi - DTidak adaptif dan tidak iteratif

• Metodologi pengembangan tidak adaptif terhadap perubahan lingkungan bisnis yang dinamis

Menyesuaikan diri

Kesalahan Implementasi Lainnya

• Tidak menggunakan framework (mis: Matrix-Bus)

• Kesalahan pemilihan teknologi (tools)

• Target pengembangan yang utopi

• Tidak tersedianya skill, kurangnya training

THE MAN WHO MAKES

NO MISTAKES

DOES NOT USUALLY

MAKE ANYTHING

LET’S MAKE BETTER MISTAKES

TOMORROW.