poznan -- 60 tb danych na db2€¦ · 3 sap business warehouse: 7, 20, 60 tb business excellence/...
TRANSCRIPT
![Page 1: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/1.jpg)
1
Artur WrońskiIBM Information Management
Technical Team [email protected]
II Krajowa Konferencja Naukowa TECHNOLOGIE PRZETWARZANIA DANYCH
SAP Business Warehouse:60 TB danych na IBM DB2 i Power 5W ostatnich czasach coraz częściej używa się określenia, że bazy danych to tzw. „commodity”, czyli powszechny produkt, który znalazł swoje miejsce praktycznie w każdego rodzaju systemach informatycznych. Innymi słowy, bazy danych to już nie technologia lotów kosmicznych, czyli jak to określają Amerykanie, żadne tam „rocketscience”. Dla porównania można powiedzieć, że samochody to także typowy przykład powszechnego produktu „commodity”. Praktycznie każdy samochód jest w stanie przewieść osobę bądź rzecz z punku A do punktu B w określonym czasie. Czy jednak oznacza to, że samochody się nie różnią się od siebie i że nie jest istotne, do jakiego samochodu wsiadamy? Opowiedz jest oczywista! Jest różnica i to tym większa, im więcej będziemy od takiego samochodu wymagać w zakresie osiągów, bezpieczeństwa, czy serwisowania.
Hurtownie danych SAP Business Warehouse są przykładem systemów, które stawiająserwerowi danych (włączając oprogramowanie bazy oraz sprzęt) bardzo wysokie wymagania w zakresie wydajnego przetwarzania dużego wolumenu danych. Jedna z największych firm spożywczych w Europie zwróciła się do IBM SAP InternationalCompetence Center z prośbą o wykonanie testów skalowalności ich systemu SAP BI działającego na bazie DB2. Testy obejmowały symulacje przyrostu danych z 7 TB (aktualny stan bazy danych) do 20 TB, a następnie do 60 TB.
![Page 2: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/2.jpg)
2
Jak poradzić sobie z „dużą” bazą?
• Dodać więcej mocy• Uporządkować dane• Zmniejszyć• Podzielić na wiele małych baz
![Page 3: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/3.jpg)
3
SAP Business Warehouse: 7, 20, 60 TBBusiness Excellence/ Best Practice ImplementationData Standards/ Data Management Implementation
System Implementation
Zone EURSwitzerland (10)
2002 2003 2004 2005 2006 2007
Zone AOAMY/ Singapore (9)
Zone AMSAndean (11)
Poland/Baltics (8)
Indochina (9) Middle East (1)Japan (2)Israel (7)
Korea (1)Greater China (7)Oceania (10)
Germany/Aut. (6)UK/ Ireland (7)Netherlands (8)Russia/ Ukr. (11)
Canada (5)Mexico (8)Brazil (10)
Indonesia (1)Philippines (4)S.E. Africa (7)South Asia (9)
USA (10)
France/ Belg. (1)Norden (2)NPP Europe (2)
Spain/Portugal (1)Czech/Slovak (3)Hungary (3)Italy/ Malta (4)Greece (6)Romania (9)Bulgaria (9)
Plata Region (11)Caribbean (11)NPP USA (11)
Switzer. /UK (9)France/ Belg. (11)
Spain/Port (9)Germany (12)
USA (1)
Italy (8)
Bolivarian (1)Central Amer. (7)Dominican (7)
Based on Cluster 1 Go-Live (Month)
![Page 4: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/4.jpg)
4
Rozmiar danych
60 TB
20 TB
7 TB100użytk.
500Użytk.
300 Użytk.
Czas odpowiedzi < 20sBackup < 8hOdtworzenie < 18h
X3
X1
X5
WydajnośćŁadowanie danychAgregacja danych
![Page 5: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/5.jpg)
5
Bardziej szczegółowo…http://www.ibm.com/support/techdocs/atsmastr.nsf/WebIndex/WP101012
Opis dla testu 20 TB (drugi redbook dla testu 60 TB wkrótce)
http://www.ibm.com/redbooks
![Page 6: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/6.jpg)
6
Spojrzenie na zasoby serwera danych.
Procesory
Pamięć
Dyski
Dane
Dodać więcej mocy
![Page 7: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/7.jpg)
7
Jak poradzić sobie z przyrostem danych?
Procesory
Pamięć
Dyski
Dane
Dodać więcej mocy
![Page 8: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/8.jpg)
8
Jak poradzić sobie z przyrostem danych?
Procesory
Pamięć
Dyski
Dane
Dodać więcej mocy
![Page 9: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/9.jpg)
9
Rozbudowa sprzętu nie zawsze jest gwarancją sukcesu.
Procesory
Pamięć
Dyski
Dane
Dodać więcej mocy
![Page 10: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/10.jpg)
10
Najczęściej dyski są niedoszacowane
Transfer w MB/s nie jest najistotniejszym parametrem opisującym dyski.
Dużo ważniejsza jest liczba operacji na sekundę, jakąmoże wykonać dysk,
Najczęstszym kryterium doboru dysków jest ich pojemność.
… ponieważDyski są najdroższe.
… czyli ilość dysków (głowic) ma kluczowe znaczenie.
Dodać więcej mocy
![Page 11: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/11.jpg)
11
Dopiero proporcjonalna rozbudowa sprzętu pozwala osiągnąć sukces…
Procesory
Pamięć
Dyski
Dane
Dodać więcej mocy
![Page 12: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/12.jpg)
12
… jednak nie zawsze jest gwarancjąsukcesu…
Procesory
Pamięć
Dyski
Dane
Dodać więcej mocy
![Page 13: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/13.jpg)
13
… ponieważ, dopiero proporcjonalne wykorzystanie zasobów daje gwarancję.
Procesory
Pamięć
Dyski
Dane
Dodać więcej mocy
![Page 14: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/14.jpg)
14
DPF - Database Partitioning Featureprzykład podziału zasobów 4 CPU, 16 GB RAM, 28 dysków
Procesory
Pamięć
Dyski
Dane
1 CPU
4 GB RAM
7 Dysków
1/4 danych
Partycja bazy danychArchitektura „shared-nothing”
Dodać więcej mocy
![Page 15: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/15.jpg)
15
Procesory
Pamięć
Dyski
Dane
1 CPU
4 GB RAM
n Dysków
1/n danych
BCU – Ballanced Configuration Unitmetodologia wymiarowania opracowana przez IBM
BPU – Balanced Partition Unit
Dodać więcej mocy
![Page 16: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/16.jpg)
16
1 CPU
4 GB RAM
n Dysków
1/n danych
BCUBPU
1 CPU
4 GB RAM
n Dysków
1/n danych
1 CPU
4 GB RAM
n Dysków
1/n danych...
Partycja DB2 DPFp575, 8 CPU, 32 GB RAM
MacierzeDS4800DS8300
System AIX
http://www.ibm.com/software/data/db2bi/balanced-warehouse/
Istnieje także BCU oparta o system Linux
Dodać więcej mocy
![Page 17: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/17.jpg)
17
Jak się tworzy tabelę w DPF?
CREATE TABLE sprzedaz(id_trans BIGINT,kod BIGINT,region INT,data DATE,ilosc INT,wartosc DECIMAL(16,2)
)DISTRIBUTE BY HASH ( id_trans)
Dodać więcej mocy
![Page 18: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/18.jpg)
18
Par
tycj
a 1
Par
tycj
a 2
Par
tycj
a 3
Par
tycj
a 8
Par
tycj
a 16
Par
tycj
a 9
Par
tycj
a 14
Par
tycj
a 15
Komputer 1, p575, 8 CPU
800 GB - Tabela X
… …
Komputer 2, p575, 8 CPU
Skalowanie systemu
Jedna partycja DPF zarządza 50 GB fragmentem tabeli
Dodać więcej mocy
![Page 19: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/19.jpg)
19
Par
tycj
a 1
Par
tycj
a 2
Par
tycj
a 3
Par
tycj
a 8
Par
tycj
a 16
Par
tycj
a 9
Par
tycj
a 14
Par
tycj
a 15
Komputer 1, p575, 8 CPU
… …
Komputer 2, p575, 8 CPU
Skalowanie systemu
Jedna partycja DPF zarządza 50 GB fragmentem tabeli
Par
tycj
a 24
Par
tycj
a 1
7
Par
tycj
a 22
Par
tycj
a 23
…
Komputer 2, p575, 8 CPU
1200 GB - Tabela X
Dodać więcej mocy
![Page 20: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/20.jpg)
20
Każda partycja bazy danych ma własny dziennik transakcji
Tabele można replikowaćna wiele partycji
Tabele mogą być rozłożone równomiernie na dowolną liczbę partycji
Dodać więcej mocy
![Page 21: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/21.jpg)
21
CREATE TABLE sprzedaz(kod BIGINT,region INT,data DATE,ilosc INT,wartosc DECIMAL(16,2)
)ORGANIZE BY (kod, region);
Indeks blokowy: kod
Indeks blokowy: region
ekstent
1, 22, 2006-03-21, 66, 123.121, 22, 2006-04-01, 7, 53.001, 22, 2006-01-25, 13, 78.99…
strona strona strona strona strona
Rekordy o tych samych kluczach MDC umieszczone są w tych samych ekstentach.
MDC (multidimensional clustering)
Kompozytowy indeks blokowy: kod, region
Uporządkować dane
![Page 22: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/22.jpg)
22
Strona z indeksem
Strony z danymi (np. 4 KB)
1, adres fizyczny ATradycyjnyIndeks
1
1
1
1
1
1, adres fizyczny B1, adres fizyczny C1, adres fizyczny D1, adres fizyczny E
1, adres fizyczny AMDC
11111
Blok danych (np. 2 MB)
11111
Jeden wskaźnik dla danej wartości
Po doładowaniu 100 MB danych łączny rozmiar 3 indeksów MDC przyrósł tylko o 150 KB.
Uporządkować dane
![Page 23: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/23.jpg)
23
DPF, partycjonowanie, MDC
• DISTRIBUTE BY HASH• PARTITION BY RANGE• ORGANIZE BY DIMENSIONS
East West East West East West East West East West East West
North South North South North South North South North South North South
Komputer 1
TS1 TS2 TS1 TS2 TS1 TS2
Tabela jest rozrzucona na trzy partycje bazodanowe
Jan Feb Jan Feb Jan Feb
DISTRIBUTE
PARTITION
ORGANIZE
Komputer 2 Komputer 3
Uporządkować dane
![Page 24: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/24.jpg)
24
P1 P2 P3 P4
2006
2005
Uporządkować dane
![Page 25: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/25.jpg)
25
Kompresja rekordów
……
Plano, TX, 2435502
Dept 50001
24355TXPlano10000500Fred
24355TXPlano20000500John
ZipCodeStateCitySalaryDeptName
Słownik
…24355TXPlano20000500John24355TXPlano10000500Fred
…(02)20000(01)John(02)10000(01)Fred
Dla powtarzających się wzorców danych budowany jest słownik kompresji. Słownik kompresji budowany jest dla całej tabeli.
Rekord przed kompresją
Rekord po kompresji
Zmniejszyć
![Page 26: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/26.jpg)
26
Powtarzający się w rekordzie wzorzec jest zamieniany na 12bitowy symbol.
Strona z danymi po kompresji
SOCKS BLUE DALLAS TEXAS
x’01C’
Wiersznieskompresowany
Wiersz skompresowany
Strona z danymi przed kompresją
REORG TABLE
Zmniejszyć
![Page 27: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/27.jpg)
27
Rodzaj kompresji liczba stron 32KB Miejsce na dysku
No compression 5893888 179.9GB
Row compression 1392446 42.5GB
% oszczędność miejsca: 76.4%
Zmniejszyć
![Page 28: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/28.jpg)
28
Zmniejszyć
Wykorzystanie CPU w system SAP ERP przed i po kompresji
![Page 29: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/29.jpg)
29
Synonim
Synonim
Tabela
Opakowanie relacyjne
Natywny klient
Opakowanie nieralacyjne
Natywny klient
Zdalne źródłaBiblioteki do innych źródeł:WebSphere Federation Server
API
Optymalizator kosztowy DB2
Sfederowanaprocedura
DB2
Lokalne dane
Plan wykonania zapytań(zdalny i lokalny)
Podzielić na …
![Page 30: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/30.jpg)
30
Ujednolicenie interfejsów
Zapis na wielu źródłach (dwufazowe zatwierdzanie)
Mapowanie użytkowników
Optymalizacja dostępu
Parametry opisujące źródło (wydajność CPU, systemu dyskowego, przepustowość sieci, kolejność sortowania, …)
Informacyjne więzy spójności
Statystyki optymalizacyjne dla zdalnych obiektów
Wykonywanie zdalnych procedur
Agregaty oparte na zdalnych źródłach
Możliwość tolerowania błędów
Asynchroniczne wykonywanie operacji na źródłach danych
Podzielić na …
![Page 31: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/31.jpg)
31
Dane lokalne
SQL API(JDBC/ODBC)
Opakowanie
00001|SONY|Television|... 00002|RCA|VideoPlayer|.. 00004|SONY|DVDPlayer 00003|SONY|VideoRecorder.......
Aplikacja
SELECT I.man, count(*)FROM transactions T,
items IWHERE I.id=T.item_id
AND I.category='Television'AND YEAR(T.tran_date)=2001
GROUP BY I.man;
SELECT tran_date, item_idFROM transactions
WHERE YEAR(tran_date)=2001
ITEMS
TRANSACTIONSSfederowana
baza
Globalny słownik
Danena zdalnym systemie
Pokaż listę sprzedanych telewizorów z podziałem na producentów
Podzielić na …
![Page 32: Poznan -- 60 TB danych na DB2€¦ · 3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System](https://reader033.vdocuments.net/reader033/viewer/2022050303/5f6c40d20fd24242642ec58f/html5/thumbnails/32.jpg)
32
DB2 9.5 – nowy mechanizm zarządzania obciążeniem-- IV kwartał 2007
Artur WrońskiIBM Information ManagementTechnical Team [email protected]