Pokłady możliwości

Wykorzystanie technologii ETLw procesach przetwarzania danych przestrzennych na potrzeby przedsiębiorcy górniczego

Paweł Kosydor – Gł. Inż. ds. Informacji Przestrzennej

Mirosław Chodań – Gł. Specjalista Administrator Aplikacji i Systemów BranżowychWarszawa, 29.03.2018 r.

PLAN PREZENTACJI

• Znaczenie technologii ETL w przetwarzaniu danych przestrzennych w przedsiębiorstwie górniczym

• Zdobyte w KGHM doświadczenia

• Wnioski i plany dalszych działań

Warszawa, 29.03.2018 r.

Znaczenie technologii ETL w przetwarzaniu danych przestrzennych w przedsiębiorstwie górniczym

Zagadnienie krytyczne - zapewnienie ciągłego wzrostu ogólnej wydajności przetwarzania danych przestrzennych.

Warszawa, 29.03.2018 r.

Problem skali.

Warszawa, 29.03.2018 r.

Całkowita powierzchnia obszaruobjęta koncesjami wydobywczymi wynosi:

495 km2

517 km2

Warszawa, 29.03.2018 r.

Rok 2017

Łączny postęp wyrobisk wykonanych w złożu

487 351 metrów bieżących

Szacowana łączna długość wyrobisk ~ 10.000 km

Sieć drogowa Warszawy ~ 2840 km

Warszawa, 29.03.2018 r.

Głębokość eksploatacji

Temperatura pierwotna górotworu

1200

1050

800

650

450

Organizacja obszaru informacyjnego – dane przestrzenne na przykładzie KGHM.

Warszawa, 29.03.2018 r.

Oddziały KGHM Polska Miedź S.A.

Górnictwo

Zakłady Górnicze Lubin

Zakłady Górnicze Polkowice-

Sieroszowice

Zakłady Górnicze Rudna

Zakłady Wzbogacania

Rud

Zakład Hydrotechniczny

Hutnictwo

Huta Miedzi Głogów

Huta Miedzi Legnica

Huta Miedzi Cedynia

Pozostałe

Centrala

Jednostka Ratownictwa

Górniczo-Hutniczego

Centralny Ośrodek Przetwarzania

Informacji

▪ Środowisko heterogeniczne:

▪ Bentley

▪ Intergraph

▪ AutoDesk

▪ DataMine

▪ … kolejne w drodze

▪ Ok 1000 użytkowników informacji przestrzennej

▪ Od 200 do 300 użytkowników wprowadza codziennie pozyskane przez siebie dane

▪ Indywidulane potrzeby

▪ Indywidualne – specjalistyczne aplikacje (kilkadziesiąt)

Warszawa, 29.03.2018 r.

Organizacja obszaru informacyjnego – dane przestrzenne na przykładzie KGHM.

req Funcjonalność

Podstawowe

obliczenia

geodezyjne

Monitoring

deformacji

Baza Danych o

Pomiarach

Deformacj i

Szybów

Geodezja

Zaawansowane/specjalne

obliczenia geodezyjne

Tworzenie

dokumentów

tekstowych

Acrobat Reader

Przeglądanie

dokumentów

tekstowych

Adobe Acrobat

Geonet

Transformacja

współrzędnych

RasTrans

nTrans

Inne funkcje

specjalne -

dziedzinowe

(aplikacje)

Zakładowy Bank

Zanieczyszczeń

Środowiska

(ZBZŚ)

Komputerowe

wspomaganie

projektowania

Przetwarzanie

danych

przestrzennych

(GIS)

AutoCAD

Electrical

AutoCad

Mechanical Autodesk

Inv entor

SyZeM

Edytor map

Geoedytor firmy

BMT

Bentley

Descartes

Przetwarzanie

map rastrowych

Przetwarzanie

map wektorowych

Bentley

PowerMap V8.5

Bentley

PowerMap V8i

Microstation

Geographics 8.1

Microstation

V8.5

Winkalk

Kartoteka

Osnów

MWG

WiseImage PRO

12 PL

CorelDraw

Graphics Suit x4

ARES

ARP2000POWIERZCHNIA

ARP2000SZYBY

Grapher v . 9

Surfer v . 10

ANALIZA

SEJSGRAMÓW

LogMeIn

Hamachi

GDAL GIMP

Modelowanie

Hydrogeologiczne

GMS 8.1

GMS Modflow

Przeglądanie

dokumentów

rastrowych

IrfanView

Mapa2000

OTG_Wykresy

OcenaWin

PDF Creator

Strona

internetowa

KOBIZE

Aplikacja

Inwentaryzacje

GeoMedia GRID

GeoMedia

Terrain

Analizy

(geo)statystyczne

Geointegrator

3.4

Geomedia 6.1

Geomedia SDI

Portal 6.1

Publikacja map i

danych

Geomedia

WebMap

Professional 6.1

System

Informacj i o

Terenie KGHM

System

automatycznego

monitoringu

przemieszczeń i

deformacj i zapory

wschodniej GeoMoS

Microsoft

Access

Baza Danych

Microsoft Office

Document

Imaging

Microsoft Office

Excel

Microsoft Office

Word

Oracle

Autowent v 5.0

SYSTEM POŻAR

wersja 1.2PS

OPGK GRAPH

OPGK MINE

2001

APO - Aplikacja

Planowo-Odbiorowa

Area

BDG - baza

danych

geologicznych

MPG-Moduł

Pomiarów

Geodezyjnych

C-GEO v 8

Trimble Total

Control 2.7

BDG WEB - baza

danych

geologicznych

«use»

«use»

«use»

«use»«use»

«use»

«use»

«use»

«use»

«use»

«use»

«use»

«use»

«use»

«use»

«use»

«use»

«use»«use»

2009 – Utworzenie CZM

Ujednolicono strukturę podstawowych danych mierniczych i geologicznych, układy współrzędnych.

Warszawa, 29.03.2018 r.

Czas niezbędny na weryfikację, przetworzenie i udostępnienie w jednorodnej formie map obejmujących kilka zakładów skrócono z 2 tygodni do 2 godzin (platforma Bentley).

2009 – Utworzenie CZM

1. Uporządkowano ujednolicono i rozpowszechniono najlepsze i najprostsze dotychczasowe rozwiązania.

2. Bez istotnej zmiany technologii i sposobu opisu zjawisk – mapa wektorowa.

3. Niemal wyłączna architektura dwuwarstwowa –serwery danych i plikowe + przetwarzanie na stacjach roboczych użytkowników.

Warszawa, 29.03.2018 r.

Ciągły wzrost apetytu na dane

Wdrożenie nowego

rozwiązania

Sukces

Nowe pomysły Zwiększenie

apetytu na dane

Zwiększenie wydajności

pozyskiwania

Warszawa, 29.03.2018 r.

Czy można tak bez końca?

Warszawa, 29.03.2018 r.

20

06

20

07

20

08

20

09

20

10

20

11

20

12

20

13

20

14

20

15

20

16

20

17

20

18

20

19

20

20

20

21

20

22

20

23

20

24

20

25

Dynamika wzrostu – skala liniowa

Wydajność Ilość danych

20

06

20

07

20

08

20

09

20

10

20

11

20

12

20

13

20

14

20

15

20

16

20

17

20

18

20

19

20

20

20

21

20

22

20

23

20

24

20

25

20

26

20

27

20

28

20

29

20

30

20

31

20

32

20

33

20

34

20

35

20

36

Dynamika wzrostu – skala wykładnicza

Wydajność Ilość danych

Budowa CZM Mapa obiektowa

Czy można tak bez końca?

Warszawa, 29.03.2018 r.

Warszawa, 29.03.2018 r.

Raport U.S. National Institute of Standards and Technology GCR 04-867 z 2004 roku:

„w części firm szacuje się, iż 40% czasu kadry inżynierskiej jest poświęcane na lokalizowanie i weryfikację informacji pozyskiwanych z różnych systemów”

1. Infrastruktura teleinformatyczna nie jest z gumy.

2. Manualnie sterowany proces wymiany danych (konwersja, transformacja i przeniesienie do zasobów centralnych).

3. Rozwiązanie „szyte na miarę” – (wbudowane w aplikacje)• Są proste (technologia) nieskalowalne, trudno modyfikowalne

• Nakładają liczne ograniczenia i są trudne w obsłudze

• Użytkownicy w przypadku małej ilości danych wolą wprowadzać je manualnie od podstaw.

• Obsługują tylko jeden konkretny przypadek biznesowy

• Wymagają utrzymania rozproszonych zasobów i kompetencji odrębnych dla każdego procesu wymiany z osobna

Ograniczenia

Warszawa, 29.03.2018 r.

4. Jakość danych.• Prosty wektorowy charakter gromadzonych danych referencyjnych

ogranicza możliwość przetwarzania danych.

• Nieadekwatne typy geometrii.

5. Koszty integracji systemów często przekraczają w długim okresie koszty samych integrowanych systemów.

Ograniczenia

Warszawa, 29.03.2018 r.

Wizja - Budowa CZDP

Wykorzystanie wszelkich dostępnych form przetwarzania automatycznego udostępniającego dane w formie zoptymalizowanej dla odbiorcy.

Wyodrębnienie procesu wymiany danych przestrzennychi scentralizowanie kompetencji oraz zasobów.

Budowa własnych kompetencji.

Warszawa, 29.03.2018 r.

Ewolucja Możemy wykorzystać to co już mamy -CZM

Odczyt Transformacja Zapis

Warszawa, 29.03.2018 r.

CZM

Sprawdzenie koncepcji

Kluczowe sprawdzenie technologii - ETL

Czy jesteśmy w stanie wypracować samodzielnie rozwiązanie przetwarzające dane różnych środowisk geoprzestrzennych.

Czy jesteśmy w stanie udostępnić dane „pod klienta”.

Warszawa, 29.03.2018 r.

Poszukiwania dostawcy technologii ETL (2015/16)

FME - Oprogramowanie typu ETL firmy Safe Software dedykowane

do danych przestrzennych.

• Wtyczki do Bentley Map, Intergraph.

• Możliwość samodzielnego szkolenia i testów w oparciu o materiały firmy

Safe i przy wsparciu firmy Globema

• Wykonane testy obsługi GML

• Obsługa 350++ formatów i 400++ funkcji transformacji danych.

• Referencyjne wdrożenia: Państwowy Rejestr Granic, Berlin

Odczyt Transformacja Zapis

Warszawa, 29.03.2018 r.

Praktyczne przykłady zastosowania w KGHM.Analiza IZO

Warszawa, 29.03.2018 r.

Warszawa, 29.03.2018 r.

Konwersja i przetworzenie danych DataMine -> Bentley

Warszawa, 29.03.2018 r.

Konwersja i przetworzenie danych DataMine -> Bentley Wariant „uobiektowiony” –WIZJA

Scalenie powierzchni parcel

Warszawa, 29.03.2018 r.

Scalenie wyrobiskRedukcja ilości elementów graficznych o 88%Wzrost szybkości odczytu danych

Warszawa, 29.03.2018 r.

Praktyczne przykłady zastosowania w KGHM.2016 Granice Gmin oraz granice obrębów z Państwowego Rejestru Granic.

Warszawa, 29.03.2018 r.

Praktyczne przykłady zastosowania w KGHM.Analiza zmian treści mapy.

Znaczenie kolorów:

Elementy nie zmienione

Elementy usunięte

Elementy dodane

Warszawa, 29.03.2018 r.

Praktyczne przykłady zastosowania w KGHM.Analiza topologii parcel - TMi

Identyfikacja skuteczna dla wszystkich znanych rodzajów nieścisłości.

Także tych, których „nie widzimy” na platformie Bentley.

Wynik w postaci pliku DGN zawierającego na wydzielonych warstwach

miejsca występowania problemu.

Warszawa, 29.03.2018 r.

Wnioski.

Warszawa, 29.03.2018 r.

▪ Od 2016-02 do 2017-12 zrealizowano ok 30 różnych pilotowychzastosowań wykorzystania technologii ETL – wszystkie z sukcesem.

▪ Samodzielność możliwa – bardzo pomaga wcześniejsze przygotowanie informatyczne i geoinformatyczne.

▪ Czas opracowania od 10 minut do kilku dni.

▪ Najbardziej złożone procesy przetwarzały jednocześnie dane pozyskanebezpośrednio z 4 niezależnych źródeł z zapisem wyników w CZM.

▪ Wdrożono jeden stały i bezobsługowy proces raportowania jakości danych o parcelach.

Warszawa, 29.03.2018 r.

Czy jesteśmy w stanie wypracować samodzielnie rozwiązanie przetwarzające dane różnych środowisk geoprzestrzennych?

▪ Możliwość zmiany struktury danych w procesie konwersji i przetwarzania.

▪ Możliwości analiz często istotnie uzupełniały i rozszerzały możliwości indywidualnych systemów.

▪ Możliwość wykorzystania danych opisowych DataMine w procesie przetwarzania zamiast danych graficznych (kolor, styl linii, wypełnienie) daje jednoznaczne wyniki.

▪ Wyeliminowano niemal wszystkie czynności manualne.

▪ Możliwość pełnej automatyzacji i integracji środowisk Bentley i DataMinepo zakupie SDK Datamine. Zidentyfikowano także gotowe rozwiązania na rynku australijskim.

Warszawa, 29.03.2018 r.

Czy jesteśmy w stanie udostępnić dane „pod klienta”?

▪ Rozpowszechnienie wiedzy – warsztaty wewnętrzne dla przyszłych klientów usługi i administratorów – ok 20 osób – w trakcie.

▪ Włączenie w prace dostawców poszczególnych systemów

▪ W nowych rozwiązaniach - wymaganie

Warszawa, 29.03.2018 r.

Plany dalszych działań.

Warszawa, 29.03.2018 r.

▪ Pilotowe wdrożenie procesów ETL w oparciu oprogramowanie FME Server – pierwsze kroki

• Automatycznie inicjowane i wykonanie procesów raportowania jakości danych - parcele– w trakcie.

• Automatyczne generowanie raportów i map na podstawie przestrzennych baz danych – kwiecień/maj 2018.

Plany dalszych działań.