7.12web.efzg.hr/mvarga/bp/skladištenje podataka.pdf · 7.12.2009 3 skladište podataka Čitanje...

7
7.12.2009 1 Baze podataka SKLADIŠTE PODATAKA Baza podataka ako baza podataka pohranjuje podatke dokumenata, može se nazvati bazom dokumenata baza strukturiranih (formatiranih) podataka (skup relacija definiranih relacijskom shemom baze podataka) relacijska baza podataka specifična baza podataka, polu strukturiranih podataka namijenjena analitičkoj obradi naziva se skladištem podataka Skladište podataka Izdvojeni, veliki skup podataka koji je oblikom i sadržajem pripremljen za zahtjevne analize, kako bi se iz njega «izvukle» informacije i znanje za potrebe odlučivanja Skladište podataka Skladište podataka • području orijentiran, integriran, nepromjenjiv i vremenski dinamičan skup podataka namijenjen za potporu odlučivanja podaci su detaljni, ekstrahirani, agregirani i obogaćeni s ciljem potpore analizi i procesu donošenja odluke Skladištenje podataka Postupak: izdvajanja podataka iz operativnih baza podataka i drugih izvora podatka pohranjivanja u dimenzijsku organizaciju baze podataka analize podataka postupcima analitičke obrade Proces prikupljanja i upravljanja podacima iz različitih izvora Sučelje koje dijeli operativne obrade od aplikacija za potporu odlučivanju Skladište podataka (cilj, svrha, uloga) osigurati pouzdan, ostvariv na zahtjev, brz i jednostavan pristup podacima korporacije konzistentnost podataka izdvajanje i međusobno povezivanje podataka, dobivanje mjera i pokazatelja poslovanja alat za kreiranje upita, analize i prikaz informacija mjesto za publiciranje podataka može pokrenuti redizajn (promjenu) poslovnog sustava

Upload: others

Post on 09-Sep-2019

5 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 7.12web.efzg.hr/mvarga/bp/skladištenje podataka.pdf · 7.12.2009 3 Skladište podataka Čitanje Učitavanje (umetanje) Operativne BP Umetanje, promjena, brisanje i čitanje Nepromjenjivost

7.12.2009

1

Baze podataka

SKLADIŠTE PODATAKA

Baza podataka

ako baza podataka pohranjuje podatke dokumenata, može se nazvati bazom dokumenata

baza strukturiranih (formatiranih) podataka (skup relacija definiranih relacijskom shemom baze podataka) – relacijska baza podataka

specifična baza podataka, polu strukturiranih podataka namijenjena analitičkoj obradi naziva se skladištem podataka

Skladište podataka

Izdvojeni, veliki skup podataka koji je oblikom i sadržajem pripremljen za zahtjevne analize, kako bi se iz njega «izvukle» informacije i

znanje za potrebe odlučivanja

Skladište podataka

Skladište podataka

• području orijentiran,

• integriran,

• nepromjenjiv i

• vremenski dinamičan

skup podataka namijenjen za potporu odlučivanja

• podaci su detaljni, ekstrahirani, agregirani i

obogaćeni s ciljem potpore analizi i procesu

donošenja odluke

Skladištenje podatakaPostupak:

izdvajanja podataka iz operativnih baza podataka i drugih izvora podatka

pohranjivanja u dimenzijsku organizaciju baze podataka analize podataka postupcima analitičke obrade Proces

prikupljanja i upravljanja podacima iz različitih izvora

Sučelje koje dijeli operativne obrade od aplikacija za potporu odlučivanju

Skladište podataka (cilj, svrha, uloga)

• osigurati pouzdan, ostvariv na zahtjev, brz i

jednostavan pristup podacima korporacije

• konzistentnost podataka

• izdvajanje i međusobno povezivanje podataka,

dobivanje mjera i pokazatelja poslovanja

• alat za kreiranje upita, analize i prikaz informacija

• mjesto za publiciranje podataka

• može pokrenuti redizajn (promjenu) poslovnog

sustava

Page 2: 7.12web.efzg.hr/mvarga/bp/skladištenje podataka.pdf · 7.12.2009 3 Skladište podataka Čitanje Učitavanje (umetanje) Operativne BP Umetanje, promjena, brisanje i čitanje Nepromjenjivost

7.12.2009

2

OPERATIVNE BAZE

PODATAKA

(sustav za obradu

transakcija)

VANJSKI

IZVORI

PODATAKA

SKLADIŠTE

SKLADIŠTE

PODATAKA

(sustav za potporu

upravljanju)

POSLOVNI

INFORMACIJSKI

SUSTAV

Skladište podataka kao dio poslovnog informacijskog sustava

Skladište podataka

Specifično strukturirana kopija

transakcijskih podataka za izvještavanje i

analizu podataka

Kimball

Skladište podataka

Usmjeren području, integriran,

vremenski odreĎen i nepromjenjiv niz

podataka

Inmon

Usmjereno području

Transakcijsko okruženje

Inv. fondovi

Dionice

Osiguranje

Krediti

Štednja

Skladište

podataka

Financijske informacije o korisniku

- pokriva čitavo poslovno područje

Integriranost-konzistentnost- podaci (različitih izvora) se jednom definiraju

i spremaju

Skladište podatakaTransakcijska baza

Korisnik

Štednja

Računi

KreditiSkladište podataka

Vremenska određenost

Podaci se spremaju kao vremenske

serije (engl. series of snapshots)

- omogućuje vremensku perspektivu

Page 3: 7.12web.efzg.hr/mvarga/bp/skladištenje podataka.pdf · 7.12.2009 3 Skladište podataka Čitanje Učitavanje (umetanje) Operativne BP Umetanje, promjena, brisanje i čitanje Nepromjenjivost

7.12.2009

3

Skladište podataka

Čitanje

Učitavanje (umetanje)

Operativne BP

Umetanje, promjena,

brisanje i čitanje

Nepromjenjivost

- bez operativnog ažuriranja podatakaOperativne BP Skladište podataka

Prvo učitavanje

Osvježivanje

Osvježivanje

Osvježivanje

Brisanje ili

arhiviranje

Promjene u skladištu

podataka

Operativna BP vs. skladište podataka

Obilježja Operativna BP Skladište

podataka

Vrijeme odziva sekunde Sekunde do sati

Operacije DML Uglavnom čitanje

Priroda

podataka

30 – 60 dana Vremenske serije

Organizacija

podataka

Aplikacija Područje, vrijeme

Veličina Male do velike Velike do izrazito

velike

Izvori podataka Operativni,

unutarnji

Operativni,

unutarnji, vanjski

Aktivnosti procesi analize

Krivulje korištenja

– operativni sustav (relacijska baza) je

predvidljiv

– skladište podataka:

varijabilno

nepredvidivo

Operativne obrade Skladište podataka

Ko

rište

nje

CP

U

Ko

rište

nje

CP

U

00:00 06:00 12:00 18:00 00:00 06:00 12:00 18:00

Glavna obilježja skladišta podataka podaci su organizirani i orijentirani na

odreĎeno područje i POTPORA SU ODLUČIVANJU

podaci su konzistentni (integrirani iz raznih aplikacija)

istovremeno obuhvaća i agregirane i detaljne podatke

podaci obuhvaćaju višegodišnje razdoblje i koriste se za trend analize, predviĎanje i usporedbe u vremenu (vremenske serije)

jednom uneseni podaci se ne mijenjaju već nadopunjuju (nepromjenjivost podataka)

Izvori podataka – unutarnji podaciSustav za obradu transakcija

– financijski podsustavi (glavna knjiga …)

– logistički podsustavi (planiranje materijala, nabava...)

– podsustavi prodaje

– podsustavi proizvodnje (upravljanje i kontrola proizvod.,

praćenje radnih naloga, praćenje projekata…)

– podsustavi ljudskih resursa (plaće, radna mjesta,...),

– …

Sustav za potporu upravljanju (planovi, odluke,

pravilnici i sl.)

Sustav za potporu komunikaciji i suradnji ( npr.

elektronička pošta i sl.)

Page 4: 7.12web.efzg.hr/mvarga/bp/skladištenje podataka.pdf · 7.12.2009 3 Skladište podataka Čitanje Učitavanje (umetanje) Operativne BP Umetanje, promjena, brisanje i čitanje Nepromjenjivost

7.12.2009

4

Izvori podataka – vanjski podaci

podaci konkurentnosti (proizvodi, usluge, promjene konkurentnih poduzeća …)

ekonomski podaci (valutne promjene, politički indikatori, promjene kamata, burzovni pod.…)

strukovni podaci (tehnološki, marketinški trendovi …)

financijski podaci, robni podaci (cijene sirovina..)

ekonometrijski podaci (prihodi pojedinih skupina, ponašanje kupaca …)

psihometrijski podaci (profiliranje kupaca …),

Meteorološki, demografski marketinški podaci

Kada ići u razvoje?

postoji velika količina podataka kojima pristupaju krajnji korisnici

podaci transakcijskih obrada su spremljeni u različitim sustavima

upravljanje i odlučivanje se temelji na informacijama

postoji veliki broj rasprostranjenih kORISNIKA

isti podaci se različito prikazuju u različitim sustavima

Funkcioniranje skladišta

podatkovni dio:

osnovni podaci

agregirani višedimenzijski podaci

mehanizmi manipulacije podacima:

postupci ekstrakcije i transformacije,

sustav upravljanja podacima,

postupci analitičke obrade i prezentacija

Funkcioniranje skladišta

Dimenzijska struktura podataka

promatranje poslovnih pojava kroz dimenzije

razumljiv pogled na podatke u bazi podataka

jednostavno postavljanje poslovnih pitanja (upita)

Npr. koliki je prihod od prodaje bezalkoholnih pića u Zagrebu u 2006. godine

Prihod od prodaje bezalkoholnih pića u Zagrebu u 2006.

PRODAJA(Kn)

2006.

bezalkoh.

pića

Zagreb

500.000

Page 5: 7.12web.efzg.hr/mvarga/bp/skladištenje podataka.pdf · 7.12.2009 3 Skladište podataka Čitanje Učitavanje (umetanje) Operativne BP Umetanje, promjena, brisanje i čitanje Nepromjenjivost

7.12.2009

5

Dimenzije

imaju svoje pozicije po kojima se mogu kategorizirati

Npr. pozicije dimenzije Vrijeme su: 1.1.2007., 2.1.2007…, 31.12.2007.

pozicije 1.1.2007 do 31.01.2007.mogu se kategorizirati u poziciju 1. mjeseca, pozicije 1.2.2007 do 28.02.2007 u pozicije 2. mjeseca itd.

pozicije 1. 2. i 3. mjeseca mogu se kategoriziratu u 1. kvartal, itd.

HIJERARHIJA – detaljizirano i agregirano promatranje pojava

Vrijednost ili mjera

kvantitativno obilježje pojave

Npr. broj prodanih komada, iznos prihoda od prodaje, iznos troškova prodaje, itd.

podaci mjera su zbrojivi (npr. iznos prihoda od prodaje po danima može se zbrojiti u iznos prodaje u jednom mjesecu)

Prikaz dimenzijskog modela

ključ_roba

opis_roba

vrsta_roba

kategorija_roba

podkategorija_roba

jedinica_mjere_roba

puni_opis_roba

marka_roba

odjel_roba

broj_u_paleti

veličina_pakiranja

tip_pakiranja

dužina_roba

širina_roba

visina_roba

težina_roba

...

Dimenzija roba

Dimenzija prodavaonica

Tabela činjenica

ključ_vrijeme

ključ_roba

ključ_dučan

prodano_kune

prodano_jedinca

troškovi_kune

ključ_vrijeme

datum

dan_u_tjednu

dan _ u_mjesecu

tjedan_u_mjesecu

tjedan_u_godini

mjesec

kvartal

fiskalni_period

godina

oznaka_blagdana

...

Dimenzija vrijeme

ključ_prodavaonica

naziv_prodavaonica

tip_prodavaonica

adresa_prodavaonica

grad

područje

regija

država

datum_otvaranja_prodavaonica

datum_zadnjeg_uređenja_proda

kvadrati_prodavaonica

...

Analitička obrada

(engl. On Line Analytical Processing - OLAP)

tehnologija za brzi, konzistentan i interaktivan pristup i manipulaciju dimenzijskim podacima

operacije na dimenzijskom modelu podataka:

rotacija

selektiranje

detaljiziranje

agregiranje

Rotacija

tržište tržište

vrijeme roba

roba vrijeme

roba

tržište

vrijeme

Selektiranje

selektiranje pozicije jedne ili više dimenzija

isticanje je selektiranje (“fiksiranje”) jedne pozicije dimenzije (engl. slice and dice)

Page 6: 7.12web.efzg.hr/mvarga/bp/skladištenje podataka.pdf · 7.12.2009 3 Skladište podataka Čitanje Učitavanje (umetanje) Operativne BP Umetanje, promjena, brisanje i čitanje Nepromjenjivost

7.12.2009

6

Detaljiziranje i agregiranje

hijerarhija u pozicijama dimenzije

detaljiziranje - silaženje, svrdlanje (engl. drill down) po hijerarhiji pozicija jedne dimenzije

agregiranje - dizanje (engl. drill up) po hijerarhiji pozicija jedne dimenzije

roba

ZG ST RI VŽ OS SB ČK

selekcija i isjecanje

de

talji

zacija

agregacija

Selektiranje, agregiranje, detaljiziranje

Alati za analitičke obrade

Excell

Oracle OLAP

Oracle BI

Busines Objects

Cognos

Primjer izvještaja iz skladišta podataka

Broj prodanih automobila u 10. mjesecu 2008. godine

VW Ford Audi Škoda ... Ukupno

Slavonija 234 89 48 156 … 1892

Podravina 143 67 52 125 … 1034

…. … … … … … …

Ukupno(Hrvatska) 1276 450 382 446 … 5634

Primjer: skladište podataka u Manageru 4 (SoftPro Tetral)

Primjer: skladište podataka u Manageru 4 (SoftPro Tetral)

Page 7: 7.12web.efzg.hr/mvarga/bp/skladištenje podataka.pdf · 7.12.2009 3 Skladište podataka Čitanje Učitavanje (umetanje) Operativne BP Umetanje, promjena, brisanje i čitanje Nepromjenjivost

7.12.2009

7

Primjer: skladište podataka u Manageru 4 (SoftPro Tetral)