tietovarastoautomaatio kokemuksia & näkymiä · © cerion solutions oy cerion lyhyesti cerion...

Tietovarastoautomaatiokokemuksia & näkymiä

TDWI Finland 11.9.2015

Kari Karru

© Cerion Solutions Oy

Cerion lyhyesti

Cerion on tiedolla johtamisen ja toiminnan tehostamisen innovatiivinen palveluyritys.

Toimitamme IT-ratkaisuja ja palveluja, jotka antavat asiakkaalle tukea kokonaisvaltaiseen johtamiseen.

Palvelumme

• Tiedolla johtamisen palvelut

• Integraatio- ja sovelluskehityspalvelut

• Projektipalvelut muutoshankkeiden läpivientiin

Cerion numeroina• Perustettu 2004

• Liikevaihto 4,2M€

• Henkilökunnan omistama

• 40 osaajaa

• Toimipisteet Turussa ja Helsingissä


Agenda

Tietovarastoautomaatio?

Cerionin ja Turun kaupungin yhteinen kasvupolku

WhereScape

Miten eteenpäin?


Kaikki muuttuu, vai muuttuuko?


Ei ainakaan helpommaksi


Muutos ja epävarmuus

Gartner: ”… most project failures com from inability to render usefuldata in a flexible model”

”… ~70% of the requirements will change in the next 1st year” Gartnerinblogi, Bill Hostman

”… data usage is continuosly evolving… data platforms cannot be static” Ralph Kimball


Tehokkuutta automaatiolla

Miten tämä liittyy tietovarastointiin?

https://youtu.be/-odJIRdvsXw

TDWI: Data warehouse automation

• "using technology to gain efficiencies and improve effectiveness in data warehousing processes. Data warehouse automation is much more than simply automating the development process. It encompasses all of the core processes of data warehousing including design, development, testing, deployment, operations, impact analysis, and change management."

https://youtu.be/-odJIRdvsXw


Enemmän vähemmällä

Automatisoitu tietovarastotyökalu

• Tietovaraston määrittely, toteutus ja operointi

• Automatisoidaan toistuvat rutiinit parhaiden käytäntöjen ja kehitysstandardien mukaisesti

• Sisäänrakennettu data governance

• Metadata ketterän kehityksen tueksi

• Laadukas ja kattava dokumentaatio

• Nopeasti tuloksia liiketoiminnalle ja IT:lle

• SÄÄSTÄÄ asiakkaan aikaa ja rahaa


Kehityshankkeet

Sosiaali- ja Terveyshuollon yhdistyminen

• Tiedolla johtamisen edelläkävijä

IT-palvelujen ratkaisukonsepti

• Alusta, menetelmät

Konserniyhtiöiden raportointi

• Arkea Oy

Järjestelmäraportoinnin kehittäminen

• Palautepalvelu

Kuntatieto-ohjelman pilottiprojekti

• Sivistystoimi, tietopalvelumallit

Työterveyshuollon raportoinnin kehittäminen

Tiedolla johtamisen kehittämishanke


Hyötyjä

Säästetty selvää rahaa

Ei ainoastaan tekninen ratkaisu

• syntynyt yhdenmukainen toimintamalli

Yhteinen kieli toiminnasta

• käsitemalli koko organisaation käyttöön


Teknologiaa

Lähdejärjestelmiä:

• SAP, Personec, Effica, Pegasos, Primus, Wilma, Kurre, Hansa, Titania, jne.

Microsoft-teknologiat

• SQL Server, sharepoint, office,

Tietosuoja & oikeudet

• Käyttäjäkohtaiset sisällöt

Analysointi, ymmärrys ja

päätöksenteko

Toiminnan mallintaminen –

asiakas

ja konsultti yhdessä

Raportit, visualisointi,

analytiikka.

TietovarastoETL

Kehittämistapa

DW

Lähdejärjestelmät

Mäppäykset, ympäristö,

kehitystyö


Analysointi, ymmärrys ja

päätöksenteko

Tarvelähtöinen tietotarpeiden

mallintaminen – asiakas

ja konsultti yhdessä

Valmentava ja

osallistava

konsultointi!

SmartEngine

Raportit, visualisointi,

analytiikka.

Joustava ja laajennettava

tietovarasto

DW ja ETL

generoidaan

Älykkäämmät

päätökset!

ETL

Cerion SmartDW kehittämismenetelmä

DW

Lähdejärjestelmät

SmartModeller

K#

Metadata

Asetukset

SmartDW

Loppukäyttäjien

työkalut. Julkaisu,

jakelu, itsepalvelu.

Deploy!

Heti käyttöön


SmartStudio for agile SmartDW

SmartModellerVisual ParadigmSmartExtensionlaajennuksella

SmartEngineDW, ETL ja rajapintojen

generointi

K#Skriptikieli ja hyödylliset

kirjastot

MallinnustyökalutAgile SmartDW ja ETL konfigurointityökalut

Skriptaustyökalut

Script KSharp.SelectToConsole(String pServer,

String pSQL) {

Console.Clear();

Object aSrv=

DatabaseServer.Find(pServer);

Object aConn = aSrv.CreateConnection();

String aData =

aConn.GetData(pSQL, "; ");

Console.OutLF(aData);

}

SmartDW-arkkitehdin työkalut

DW

ETL


Tiedonkeruu &

tietovarastointi

Ratkaisuarkkitehtuuri

Käyttäjien raportit ja työkalut

Raj

apin

ta Tieto-

varastoETL

Analyysi-

rakenteet

Raportti-

rakenteet

SQLSovellukset

Julkaisu & jakelu

Personointi

SmartDW

Tieto-

lähteet

Tiedon

käyttäjät

Raj

apin

ta

Tiedon esittäminen

Raportit

Visualisointi

Dash-

boardit

Analytiikka

SmartStudio:

SmartEngine


SmartDW-työkalut

Miltä se näyttää?


Miten eteenpäin?

Tuotebusiness?

Isommat kokonaisuudet?

Palvelun rakentaminen?

Kumppanin etsiminen?


WhereScape – Company Background

Founded in 2000 in Auckland New Zealand by Data Warehouse experts

UK - European Head Office, US Global Head Office, Development in NZ

Privately held company $20m-$40m Turnover

Stellar 38% Growth in 2014/15

3000+ WhereScape RED/3D Developers (Europe, Asia Pac, US)

4500 downloads of WhereScape 3D

130 Staff – 80 Data Warehouse Consultants

14 years of Solid Growth World-wide

Information Management Top 40 Vendors to watch

Only Global recommended DW Automation Software for Teradata


Wherescape


Some of 700+ WhereScape customers


Traditional approach to development

REQUIREMENTS

DW framework

Profile

Logical Model

Physical Model

DB Architecture

Storage Mgmt

Index Mgmt

OLAP Design

ETL Mapping

ETL Dev

Version Control

Workflow

Deployment

Maintenance

Word/Excel

Mainly in-house

solutions

Informatica

Microstrategy

IBM Clear Case

Trillium

AbInitio

DataStage

TOAD

PowerDesigner

Enterprise Architect

Cognos

JIRA

SSMS

SSIS

SSAS

SVN

IBM Clear Quest

Informatica

ErWIN

DB Management Tools

DataStage

Documentation

• Overcomplicated

• Too many tools


Data Warehouse Development With WhereScape

DW Framework

Profile

Physical Model

DB Architecture

Storage Mgmt

Index Mgmt

OLAP Design

ETL Mapping

ETL Dev

Version Control

Workflow

Deployment

Maintenance

Logical Model

Documentation

REQUIREMENTS

WhereScape RED

WhereScape 3D

• Simplification

• Automation


WhereScape -työkalut

Miltä se näyttää?

Hype & WhereScape


WhereScape on Big Data

Customers:

• Big data collaborators (70%)

• Big data sceptics (30%)

• NOTE: not big data pure plays (0%)

Belief: Big data changes how our customers architect solutions. Yet the same time and cost problems that exist in enterprise data also exist in the big data world.

Aim: To serve the organizations that want to get the most out of their big data and enterprise data cost effectively


More Big Data Research…

…clearly, no single technology can handle all big data needs... a mix of technologies is required, each of which has its own strengths ...

... the EDW is the most cited technology for deriving value from big

data ...

... the EDW now appearing at the centre of an ecosystem ...

technologies for deriving value from big data, 54% of the respondents

chose the EDW ...

... through 2017, 90% of information from big data analytic efforts will be siloed and un-leveragable across multiple business processes ...

... #1 hurdle remains determining the value (ROI) of big data (increased to 65%) ...


SmartDW:n tulevaisuus

Itsepalvelutyökalu?

DW:n kehityspalvelu?

Open Source?

SmartModellerMallinnus

SmartEngineDW, ETL

ja algoritmit

K#Skriptikieli ja

kirjastot

Script

KSharp.SelectToConsole(String

pServer, String pSQL) {

Console.Clear();

Object aSrv=

DatabaseServer.Find(pServer);

Object aConn =

aSrv.CreateConnection();


Eteenpäin WhereScapen kanssa

Lisenssimyynti

Konsultointi

Koulutus

Projektitoimitukset

Palvelumalli

Kiitos!

Kari Karru

[email protected]

040 8380 280

mailto:[email protected]

tietovarastoautomaatio kokemuksia & näkymiä · © cerion solutions oy cerion lyhyesti cerion...

Documents