Warszawa, 18 maja 2016 r.

Wdrażanie Hurtowni Danych

Bogdan Miedzik

1. Kiedy w jednej z firm usprawniłem procesy sprawozdawcze i rozliczeniowe

z kontrahentami, to spotkałem się ze specyficzną reakcją, ponieważ na 3 dni

przed końcem miesiąca pracownicy działu finansowego nie mieli co robić.

2. Szczęśliwie znalazłem pracę w Banku. Gdy na początku pytałem o możliwość

korzystania z danych analitycznych z systemów operacyjnych, usłyszałem:

- Nie, w żadnym wypadku – zbyt duże ryzyko. Nawet o tym nie myśl.

- Czy wiesz na co się porywasz ?

- Nie pracujemy, żeby nam się lepiej raportowało.

3. Zrozumiałem, że:

- Potrzebuję wsparcia Biznesu;

- Muszę zaprezentować korzyści biznesowe, jako uzasadnienie dla projektu.

Wstęp zamiast Agendy

2

Oczekiwania Biznesu

3

Jakie są oczekiwania Biznesu? Jak je spełnić?

1 Osiągnąć Korzyści Udowodnić zwrot na inwestycji (ROI)

2 Zapewnić Krótki Termin Realizacji Wybrać najpilniejszy temat w organizacji

3 Zapewnić Szeroki Zakres Informacji Zbudować model umożliwiający rozbudowę bez

utraty wcześniejszych wyników

4 Udostępnić Raporty

Zbudować narzędzia dostępowe dla odbiorców:

- one click

- e-mail

- sms

5 Posiadać Dane do Analiz Zbudować narzędzia dla analityków (SQL)

6 Rozpowszechnić Wiedzę Opublikować definicje, metadane

7 Zapewnić Dobrą Jakość Danych

i Raportów

Badać dane i zwracać wyniki do systemów

źródłowych.

Budować raporty w oparciu o spójne definicje

8 Zapewnić Bezpieczeństwo Dostęp dla właściwych użytkowników, audyt

wykorzystania danych

• Udostępnić Organizacji Informację zrozumiałą i bardzo szybko dostępną

• Udostępnić Organizacji Spójną Informację i Spójne Raporty

• Umożliwić ciągłość rozwoju HD bez utraty wcześniejszych danych, wyników

i konieczności zmiany technologii

• Chronić dane przed nieuprawnionym dostępem i umożliwić wgląd w

wykorzystanie i nadużywanie informacji

• Wspomagać Biznes w podejmowaniu decyzji

Cele Hurtowni Danych (HD)

4

Podstawowe Elementy Hurtowni Danych

Systemy

Operacyjne

Dane Źródłowe

S1 S2 S3 S4 S5 Sn

M1

M2

Mi

Diagnostyki

Metadane

ETL

Procesy

Importu

Jakość

Danych

Ad-hoc SQL

Portal

Raportowy

Aplikacje

Modele Data Marty

Model Danych

Analitycznych

Serwer Prezentacyjny

Obszar

Przejściowy

(Staging Area)

5

Cykl Życia Hurtowni Danych

6

Planowanie

Projektu

Zdefiniowanie

Wymagań

Biznesowych

Zarządzanie Projektem

Projekt

Infrastruktury

Wybór Platformy

i Instalacja

Modelowanie

Bazy

Projekt

Fizyczny Bazy

Danych

Projekt

Obszaru

Przejściowego

Uruchomienie Utrzymanie

i Rozwój

Specyfikacja Aplikacji

Użytkownika

Budowa Aplikacji

Użytkownika

Źródło: Ralph Kimball - The Data Warehouse Lifcycle Toolkit

Czy organizacja jest gotowa na projekt HD

„Litmus Test”

1. Oceń czy masz silnego sponsora biznesowego (60%) a) Liczy się w organizacji

b) Jest gotów wspierać zespół

c) Szybko podejmuje decyzje

d) Aktywnie, głośno i widocznie wspiera – jest gotów bronić, postawić się

e) Ma realne oczekiwania (wyniki, terminy, skala)

2. Czy możesz wykorzystać biznesową motywację (15%)

a) Duża zależność firmy od HD

b) Koszty nie stanowią problemu

c) Jest jasno określona wizja

d) Wspólna wizja rozwiązania

e) Zadanie strategiczne

f) Możliwość zwiększenia przychodów

g) Duży zwrot z inwestycji

3. Czy panują dobre relacje między IT i Biznesem (10%)

a) Biznes zgodnie współpracuje z IT

b) IT aktywnie zaangażowane w jednostkach biznesowych

c) Duże zaufanie do obecnej sprawozdawczości

d) IT szybko reaguje na ad-hoc’owe zapytania

e) Nie ma zaległości w realizacji wniosków Biznesu 7

4. Czy istnieje zwyczaj prowadzenia bieżących analiz (10%) a) Decyzje są podejmowane na podstawie faktów i liczb

b) Użytkownicy biznesowi domagają się dostępu do danych – sami

chcą analizować

c) Bieżące raporty są wykorzystywane do analiz i badania trendów

historycznych

d) Użytkownicy sprawnie używają komputerów

e) Informacja(raporty) jest otwarcie rozpowszechniana w organizacji

5. Czy jest prawdopodobne, że wykonasz zadanie (15%)

a) Jest dobra i nowoczesna infrastruktura

b) Doświadczone zasoby są dostępne

c) Wiarygodne dane są dostępne

8

Czy organizacja jest gotowa na projekt HD

„Litmus Test” (2)

Znajdź Pilne Potrzeby Biznesowe

9

1. Analiza Kluczowych potrzeb biznesowych a) Rozpoznaj kluczowe, strategiczne potrzeby biznesowe

b) Zidentyfikuj kluczowe wskaźniki wydajnościowe lub metryki sukcesu dla każdej strategicznej

inicjatywy biznesowej

c) Zdefiniuj najważniejszy proces, który biznes monitoruje i na który chce mieć wpływ

d) Oszacuj potencjalny wpływ poprawy procesu informacyjnego

2. Ustal priorytety wymogów biznesowych

3. Proof of Concept – prezentacja potencjalnego wpływu HD na podstawie

niewielkiego, nisko kosztowego eksperymentu

Zadanie A

Zadanie B

Zadanie C

Zadanie D

Niski

Wysoki

Wysoka

Wpływ na

Biznes

Wykonalność Niski

Wstępny Zakres Projektu i Uzasadnienie

10

1. Opracuj wstępny zakres projektu bazując na potrzebach Biznesu, a nie na

podanych terminach:

a) Pracuj wspólnie z IT i przedstawicielami Biznesu

b) Ustal czy Zadanie jest w pełni wykonalne

c) Osiągnij efekt w krótkim czasie - wykonaj zadanie dla jednego obszaru/procesu

d) Ogranicz początkową liczbę użytkowników HD

e) Ustal kryteria sukcesu podczas definiowania zakresu prac

f) Skoryguj zakres projektu stosownie do jego wagi

2. Określ nakłady i koszty finansowe

a) Zakup(wynajem) sprzętu i oprogramowania

b) Bieżące koszty utrzymania

c) Wewnętrzne zasoby rozwojowe

d) Zewnętrzne zasoby rozwojowe

e) Szkolenia zespołu projektowego i Biznesu

f) Bieżące wsparcie

g) Wydatki na wsparcie skalowalnego wzrostu/rozwoju

3. Określ korzyści finansowe

a) Wzrost przychodów , np. z tytułu nowej sprzedaży

b) Wzrost zysku, np. z tytułu wyższego wskaźnika odpowiedzi na maile

c) Poprawa serwisu klientów lub jakości obsługi

d) Dostępność nowych informacji

4.Połącz/wykorzystaj liczby i policz zwrot z inwestycji (ROI)

11

Zorganizuj Zespół Ludzi

Komitet Sterujący Projektu NaProX

A1-Sponsor

D1

Zespół Infrastruktury

A4

Zespół Bezpieczeństwa

A5

Zespoły Data Martów

A6

D4

Zespół Modelu Danych

A9

D6

Zespół ETL

A8

D5

Zespół Ekstraktów

A7

Kierownictwo Projektu

A3 D3

główne linie komunikacji przedstawiciel Firmy przedstawiciel Dostawcy

Biuro Projektowe

Zespół Jakości Danych

A6

D4

Zespół Raportów

A11

A2

Kierownik Projektu

Lider Biznesowy

Analitycy systemów biznesowych

Projektant modelu wymiarowego

Projektant fizycznego modelu danych

Projektant obszaru przejściowego

Deweloperzy aplikacji użytkownika HD

Trener/Szkoleniowiec

Architekt Infrastruktury

Architekt bezpieczeństwa

Specjaliści wsparcia technicznego

Programiści ETL

Menedżer Danych

Analityk jakości danych

Konsultanci zewnętrzni

Role w Projekcie

HARMONOGRAM

12

Zadanie Zasoby

(Kto)

Plan

(dni)

Data

Startu

Pierwotna

Data

Zakończ.

Planowana

Data

Zakończ

Status

Niezbędne

nakład pr.

do

Zakończenia

Zależności

Flaga

Opóź-

nienia

P20.5_1.3.0.0 Analiza

systemów źródłowych MK 22 14/04 6/05 14/05 18 8

P20.5_1.3.1.0

Dokumentacja systemów

źródłowych dostępna

BL 0 14/04 14/04 19/04 5 P05_3.2.9.1 6

P20.5_1.3.2.0 Analiza

Systemu Księgi Głównej BK 4 14/04 18/04 14/04 0 P05_3.2.9.1 0

Plan projektu jest bardzo ważnym narzędziem, które powinno:

1. Zawierać wszystkie zadania związane z całym cyklem projektu

2. Zawierać zadania akceptacji formalnej użytkowników po każdym większym etapie

3. Służyć do monitorowania postępów prac

4. Umożliwiać zapobieganie opóźnieniom

5. Być na bieżąco aktualizowane

6. Zawierać dodatkowe estymacje:

a) nakładu pracy na nieujawnione zadania lub konieczne konsultacje

b) zasobów dyskowych i wydajnościowych

Narzędzia w Projekcie HD

13

1. Zorganizuj Kickoff Meeting

2. Monitoruj Statusu projektu

a) regularne spotkania statusowe

b) regularne raporty statusowe

3. Aktualizuj/Utrzymuj Plan

4. Dokumentuj Projekt

5. Zarządzaj zakresem projektu

a) śledź problemy

b) kontroluj zmiany

c) dokumentuj pojawiające się żądania zmian

6. Przygotuj Plan Komunikacji

7. Zarządzaj Oczekiwaniami

Kickoff Meeting

14

Wprowadzenie Sponsor Biznesowy

• Cele i zadania projektu

• Zakres projektu

Ogólne omówienie hurtowni danych Kierownik Projektu

Role i Odpowiedzialności Zespołów Kierownik Projektu

Zarządzanie projektem Kierownik Projektu

• Narzędzia administracyjne

• Kamienie milowe

• Omówienie propozycji planu projektu

Pytania i Odpowiedzi

Następne kroki

Spotkania Statusowe

15

1. Przegląd Harmonogramu

• Zadania zakończone

• Kamienie milowe zakończone i oczekujące

• Status ważniejszych produktów

• Zadania na następny tydzień

2. Omówienie problemów i kolejnych zadań

• Problemy rozwiązane od poprzedniego spotkania

• Nowe problemy

• Otwarte kwestie i decyzje dot. koniecznych zmian

3. Przegląd proponowanych zmian

• Zmiany zamknięte od ostatniego spotkania

• Nowe żądania zmian

• Otwarte żądania zmian – ustalenie, czy zmiana niezbędna

4. Informacje i uwagi ogólne

Raporty Statusowe

16

Stan Projektu Hurtowni Danych

Do: BPL, BA, DM

OD: Kierownik Projektu

CC: Sponsor

Data: 8/04

Zadania Wykonane w czasie ostatniego tygodnia

• Zakończono analizę Systemu Księgi Głównej

• Wprowadzono zmiany do harmonogramu

• Przeprowadzono wywiady z Kontrolingiem i Ryzykiem Kredytowym

Prace zaplanowane do 15/04

• Dokumentacja i dostarczenie zapisów indywidualnych wywiadów

• Rozpoczęcie przygotowywania dokumentacji wymagań

Otwarte kwestie

• Uzgodnić termin dodatkowego spotkania z Kontrolingiem przed 20/04

Lista Problemów

17

LP Temat Opis Data

zgłosz.

Odpow. Data

zamkn

Status Priorytet

1 Sprzęt Brak docelowego sprzętu

gotowego do instalacji 15/07 TF 15/08 Zamkn. Wysoki

2 SSO Zmieniające się mapowania 22/07 AM Otwarte Średni

3 DMS

Wysoki stopień komplikacji

reprezentacji danych BM i MR.

Problem gotowości systemów.

Brak możliwości stworzenia

dokumentacji

22/07 JO, TD Otwarte Niski

Przegląd i identyfikacja problemów są krytyczne dla

powodzenia projektu.

Listę problemów należy analizować na każdym

spotkaniu statusowym

Zgłaszane Zmiany (Change Requests)

18

Kontroluj i dokumentuj zmiany

Pojedyncze, drobne, niewinnie wyglądające zmiany , generują często

duży wpływ na losy projektu, jak każda kumulacja.

czas

LP Zmiana Zgłosił Data

zgłosz. Priorytet

Odpowie-

dzialny

Szacunk.

Nakład

Szacunk.

Koszt

Data

Zak. Status

CR01 Dodatkowych 5 wywiadów BM 15/07 Wysoki BK 3 dni 300 22/07 Zamk

CR02 Nowe źródło danych PD 19/07 Wysoki MK TBD TBD Otw

Plan Komunikacji

19

Fani Front Office Coach Typowe Zespoły

Zespoły do zadań

specjalnych

Zadania

Biz

nes

Sponsor

Biz

nesow

y

DW

/BI D

yre

kto

r /

Pro

gra

m M

anag

er

Kie

row

nik

Pro

jektu

Lid

er

Biz

nesow

y P

roje

ktu

Analit

yk B

iznesow

y

An

alit

yk J

ako

ści /

Mened

żer

Danych

Arc

hitekt B

azy D

./

Data

Modele

r / D

BA

Meta

data

Manager

ET

L A

rchitect /

ET

L D

evelo

per

BI A

rchitect / A

pp

Develo

per

/ P

ort

al

Develo

per

Technic

al A

rchitect /

Tech S

upport

Specia

list

Se

cu

rity

Ma

nag

er

Lead T

este

r

Data

Min

ing /

Sta

ts

Specia

list

Educato

r

ZDEFINIOWANIE PROJEKTU

1 Ocena gotowości DW/BI m m l l t t

2 Przygot. wstępnego zakresu projektu m m l l t t t t t

3 Stworzenie biznesowego uzasadnienia t m t l l t t t t t

PLANOWANIE I ZARZĄDZANIE PROJ.

1 Ustal nazwę projektu t t l l

2 Zidentyfikuj zasoby projektowe t l l

3 Przygotuj plan projektu r r l l m m m m m m m m m m m

4 Przygotuj plan komunikacji t t l l

5 Poprowadź zespołowy kick-off i planowanie t t l l m m m m m m m m m m m

6 Proces do zarządzania zakresem i zmianami t t l l

7 Przygotuj proces do pomiaru sukcesu m t l l

8 Akceptacja użytkowników/przegląd projektu r m m l l m r r r r r r r r r r

9 Bieżące zarządzanie projektem r r r l l m m m m m m m m m m m

LEGENDA:

l Odpowiedzialny

m Zaangażowany

t Dostarcza informacje

r Informowany o wynikach

Źródło: Ralph Kimball - The Data Warehouse Lifcycle Toolkit

Zbierz Wymagania Biznesowe

20

Projekt

Architektury

Technicznej

Projekt

Fizyczny

Projekt Obszaru

Przejściowego

Specyfikacja

Aplikacji

Użytkownika

Plan

Wdrożenia/Urucho

mienia

Utrzymanie

i Rozwój

Planowanie

i Zarządzanie

Modelowanie

Wymiarowe

Wymagania

Biznesowe

Wymagania biznesowe mają wpływ na

wszystkie elementy projektu

Zbierz Wymagania

21

# Definicja Wymagań Biznesowych Odpowiedzialny

1 Przygotuj zespół prowadzący wywiady PM

2 Wybierz rozmówców PM, BPL

3 Przygotuj plan wywiadów PM, BPL, BA

4 Przygotuj kwestionariusze/skrypty wywiadów BA

5 Przygotuj rozmówcę PM, PBL

6 Przeprowadź wywiad z biznesem BA

7 Przeprowadź wywiad nt. jakości danych w systemach BA

8 Opublikuj wywiady i wraz z informacja zwrotną BA

9 Przeanalizuj wyniki rozmów BA

10 Udokumentuj wyniki BA

11 Udostępnij rezultaty wymagań(wymagane produkty) BA

12 Nadaj priorytety i zrewiduj zakres projektu PM, BPL

13 Uzyskaj akceptację użytkowników PM, BPL

PM – Kierownik Projektu

PBL – Lider Biznesowy Projektu

BA – Analityk Biznesowy

Przejdź do Następnych Faz Projektu

22

Planowanie

Projektu

Zdefiniowanie

Wymagań

Biznesowych

Projekt

Infrastruktury

Wybór

Platformy

i Instalacja

Modelowanie

Bazy

Projekt

Fizyczny Bazy

Danych

Projekt

Obszaru

Przejściowego

i Programow.

Uruchomienie Utrzymanie

i Rozwój

Specyfikacja

Aplikacji

Użytkownika

Budowa Aplikacji

Użytkownika

Zarządzanie Projektem

23

I Odnieś Sukces

Nowoczesna

technologia Koordynacja

Integracja

Możliwość

Dalszego

Rozwoju

Model

Danych

Kompletność

Zrozumienie

Potrzeb

Biznesu

1 2 3 4

Literatura

24

R. Kimball – The Data Warehouse Lifecycle Toolkit

R. Kimball, M. Ross - The Data Warehouse Toolkit, 3rd Edition

Kimball & Caserta -The Data Warehouse ETL Toolkit

Kimball Dimensional Modeling Techniques

Pytania

25