ht dwh, big data · 2019. 3. 26. · poslovne inteligencije: dwh, big data. data warehouse (dwh) je...
TRANSCRIPT
![Page 1: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/1.jpg)
![Page 2: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/2.jpg)
HT – DWH, big data Hrvatski Telekom: GORAN KESEGIĆ, ADRIJAN ĐURIN,IVAN VRATARIĆ
![Page 3: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/3.jpg)
Agenda
01 BUSINESS INTELLIGENCE (BI) 02 DWH - SKLADIŠTE PODATAKA
03 BIG DATA – ARHITEKTURA 04 BIG DATA – HALO PROJEKT
05 Apache Airflow 06 BI tim
![Page 4: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/4.jpg)
business intelligence (BI)
Business INTELlIGENCE (poslovna inteligencija) najčešće je definiran kao sustav za podršku i potporu poslovnom odlučivanju. Sam pojam objedinjuje skup metodologija, softverskih alata i hardvera koji omogućuje poslovanju pristup podacima i analitiku nad podacima s ciljem unaprjeđenja poslovanja . Dva su ključna pojma poslovne inteligencije: DWH, BIG DATA.
data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan i vremenski različit skup podataka koji služi kao potpora odlučivanju. U skladištu podataka, podaci se integriraju iz različitih izvora. Proces integracije podataka jedan je od najzahtjevnijih procesa pri skladištenju podataka.
BIG DATA tehnološki koncept za prikupljanje, obradu i analizu velike količine podataka, koji su opsegom, kompleksnošću i brzinom dolaska veliki.
![Page 5: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/5.jpg)
DWH – arhitektura
DWH PLATFORMA
IZVORIŠNI SUSTAVI (REALACIJSKE BAZE)
CRM – BILLING – PAYMENT – BSS – OSS – ERP….
DWH
DATA
MART
DATA
MART
DATA
MART
DATA
MART
KORISNICI
APPLICATION DATABASE OLAP ANALITICS DASHBOARD REPORTS
….
ETL alat
▪ Informatica Power Center - ETL (extracttransform load) alat za dohvat podatka sa izvorišnih sustava, integraciju i transformaciju podataka
▪ Dnevna obrada > 1 TB podataka
▪ ORACLE RDBMS – baza za skladište podataka
▪ Veličina skladišta > 20 TB podataka
Izvještavanje i analitika:
▪ Izvještajni alati:
▪ Microsoft Power BI
▪ Microsoft reporting and analysisservices
▪ SAP busniess objects
▪ Broj internih korisnika izvještaja (dnevno) > 1000
![Page 6: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/6.jpg)
BIG DATA ARHITEKTURA
IZVORIŠNI SUSTAVI (REALACIJSKE BAZE)
….NESTRUKTURIRANI
PODACI
MS Reporting & Analysis Services MS PowerBI
SQL
R Studio
KNIME
PL/SQL
SAP BO IBM SPSS
SAS CM
AIRFLOW
▪ Cloudera - open source distribucija apache hadoop platforme
▪ Hadoop – framework za distribuiranu obradu podataka.
▪ ETL alati:
▪ Informatica BDM
▪ Sqoop
▪ Real – time ingestion: Kafka
▪ Airflow – alat za orkestraciju taskova na clouderi
▪ Hadoop Database:
▪ Apache Hive
▪ Apache Impala
▪ Apache Hbase
▪ Analitički alati:
▪ Rstudio
▪ Knime
▪ IBM spss
DWHBIG
DAT
A
Sqoop
![Page 7: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/7.jpg)
BIG DATA – Halo projekt
HALO projekt - projekt na razini Deutsche Telekom grupe. Svaka članica DT grupe na lokalnoj BIG DATA-i ima isti podatkovni model (T – Data Model). Podaci su podloga za razvoj analitičkih modela (npr. model za predikciju otkaza usluge od strane korisnika, analiza mreže….)
![Page 8: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/8.jpg)
BIG DATA – Halo projekt
1. HALO projektni tim broji > 20 članova2. Radimo u multinacionalnom okruženju – razvojni tim iz Indije i Grčke.3. HT IT tim zadužen je za izradu ETL-a na BIG DATA-i, na dnevnoj bazi pruža podršku razvojnom timu izvan HR.4. DEVOPS metodologija rada
HT Project manager, DT Project manager:
B2C stream: HR
Data scientists:
B2B stream: HR
Data scientist:
IT TPL:: HR
Data engineer: HR
Data engineer: GR
Dana engineer. IN
Data Architecture stream: RO
Data Engineer: GR
Data analytics stream: POL
Data analyst; IN
HALO Architecture: GER
![Page 9: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/9.jpg)
APACHE AIRFLOW
- Developed by Airbnb [2014]
- Open source platform [github.com/apache/airflow]
- Pyhton based
- Author, schedule and monitor workflows
![Page 10: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/10.jpg)
HT DEVOPS OKRUžENJE
Continuous Integration and Continuous Delivery
commit trigger deploy submit
Deployment is done at theend of the each Jira sprint
![Page 11: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/11.jpg)
BI odjel
▪ 18 DJELATNIKA
▪ 2 LOKACIJE:
➢ ZAGREB: 12
➢ VINKOVCI: 6
▪ Razvojni tim: E2E razvoj
▪ Tehnologije, alati : Informatica Power Center, PostgreSQL, ORACLE, MS SQL, PL/SQL,
PYTHON, JAVA, OS LINUX,
▪ Izvještajni alati, vizualizacija : MS OLAP CUBE, MS Reporting services, Power BI, Kibana
![Page 12: HT DWH, big data · 2019. 3. 26. · poslovne inteligencije: DWH, BIG DATA. data warehouse (DWH) je subjektno orijentiran (podaci organizirani po poslovnim temama), integriran, postojan](https://reader035.vdocuments.net/reader035/viewer/2022081411/60a8f64527c3404c4c181654/html5/thumbnails/12.jpg)
Hvala na pažnji !