tietovarastoautomaatio kokemuksia & näkymiä · © cerion solutions oy cerion lyhyesti cerion...

Tietovarastoautomaatiokokemuksia & näkymiä

TDWI Finland 11.9.2015

Kari Karru

© Cerion Solutions Oy

Cerion lyhyesti

Cerion on tiedolla johtamisen ja toiminnan tehostamisen innovatiivinen palveluyritys.

Toimitamme IT-ratkaisuja ja palveluja, jotka antavat asiakkaalle tukea kokonaisvaltaiseen johtamiseen.

Palvelumme

• Tiedolla johtamisen palvelut

• Integraatio- ja sovelluskehityspalvelut

• Projektipalvelut muutoshankkeiden läpivientiin

Cerion numeroina• Perustettu 2004

• Liikevaihto 4,2M€

• Henkilökunnan omistama

• 40 osaajaa

• Toimipisteet Turussa ja Helsingissä

© Cerion Solutions Oy

Agenda

Tietovarastoautomaatio?

Cerionin ja Turun kaupungin yhteinen kasvupolku

WhereScape

Miten eteenpäin?

© Cerion Solutions Oy

Kaikki muuttuu, vai muuttuuko?

© Cerion Solutions Oy

Ei ainakaan helpommaksi

© Cerion Solutions Oy

Muutos ja epävarmuus

Gartner: ”… most project failures com from inability to render usefuldata in a flexible model”

”… ~70% of the requirements will change in the next 1st year” Gartnerinblogi, Bill Hostman

”… data usage is continuosly evolving… data platforms cannot be static” Ralph Kimball

© Cerion Solutions Oy

Tehokkuutta automaatiolla

Miten tämä liittyy tietovarastointiin?

https://youtu.be/-odJIRdvsXw

TDWI: Data warehouse automation

• "using technology to gain efficiencies and improve effectiveness in data warehousing processes. Data warehouse automation is much more than simply automating the development process. It encompasses all of the core processes of data warehousing including design, development, testing, deployment, operations, impact analysis, and change management."

© Cerion Solutions Oy

Enemmän vähemmällä

Automatisoitu tietovarastotyökalu

• Tietovaraston määrittely, toteutus ja operointi

• Automatisoidaan toistuvat rutiinit parhaiden käytäntöjen ja kehitysstandardien mukaisesti

• Sisäänrakennettu data governance

• Metadata ketterän kehityksen tueksi

• Laadukas ja kattava dokumentaatio

• Nopeasti tuloksia liiketoiminnalle ja IT:lle

• SÄÄSTÄÄ asiakkaan aikaa ja rahaa

© Cerion Solutions Oy

Kehityshankkeet

Sosiaali- ja Terveyshuollon yhdistyminen

• Tiedolla johtamisen edelläkävijä

IT-palvelujen ratkaisukonsepti

• Alusta, menetelmät

Konserniyhtiöiden raportointi

• Arkea Oy

Järjestelmäraportoinnin kehittäminen

• Palautepalvelu

Kuntatieto-ohjelman pilottiprojekti

• Sivistystoimi, tietopalvelumallit

Työterveyshuollon raportoinnin kehittäminen

Tiedolla johtamisen kehittämishanke

© Cerion Solutions Oy

Hyötyjä

Säästetty selvää rahaa

Ei ainoastaan tekninen ratkaisu

• syntynyt yhdenmukainen toimintamalli

Yhteinen kieli toiminnasta

• käsitemalli koko organisaation käyttöön

© Cerion Solutions Oy

Teknologiaa

Lähdejärjestelmiä:

• SAP, Personec, Effica, Pegasos, Primus, Wilma, Kurre, Hansa, Titania, jne.

Microsoft-teknologiat

• SQL Server, sharepoint, office,

Tietosuoja & oikeudet

• Käyttäjäkohtaiset sisällöt

Analysointi, ymmärrys ja

päätöksenteko

Toiminnan mallintaminen –

asiakas

ja konsultti yhdessä

Raportit, visualisointi,

analytiikka.

TietovarastoETL

Kehittämistapa

DW

Lähdejärjestelmät

Mäppäykset, ympäristö,

kehitystyö

© Cerion Solutions Oy

Analysointi, ymmärrys ja

päätöksenteko

Tarvelähtöinen tietotarpeiden

mallintaminen – asiakas

ja konsultti yhdessä

Valmentava ja

osallistava

konsultointi!

SmartEngine

Raportit, visualisointi,

analytiikka.

Joustava ja laajennettava

tietovarasto

DW ja ETL

generoidaan

Älykkäämmät

päätökset!

ETL

Cerion SmartDW kehittämismenetelmä

DW

Lähdejärjestelmät

SmartModeller

K#

Metadata

Asetukset

SmartDW

Loppukäyttäjien

työkalut. Julkaisu,

jakelu, itsepalvelu.

Deploy!

Heti käyttöön

© Cerion Solutions Oy

SmartStudio for agile SmartDW

SmartModellerVisual ParadigmSmartExtensionlaajennuksella

SmartEngineDW, ETL ja rajapintojen

generointi

K#Skriptikieli ja hyödylliset

kirjastot

MallinnustyökalutAgile SmartDW ja ETL konfigurointityökalut

Skriptaustyökalut

Script KSharp.SelectToConsole(String pServer,

String pSQL) {

Console.Clear();

Object aSrv=

DatabaseServer.Find(pServer);

Object aConn = aSrv.CreateConnection();

String aData =

aConn.GetData(pSQL, "; ");

Console.OutLF(aData);

}

SmartDW-arkkitehdin työkalut

DW

ETL

© Cerion Solutions Oy

Tiedonkeruu &

tietovarastointi

Ratkaisuarkkitehtuuri

Käyttäjien raportit ja työkalut

Raj

apin

ta Tieto-

varastoETL

Analyysi-

rakenteet

Raportti-

rakenteet

SQLSovellukset

Julkaisu & jakelu

Personointi

SmartDW

Tieto-

lähteet

Tiedon

käyttäjät

Raj

apin

ta

Tiedon esittäminen

Raportit

Visualisointi

Dash-

boardit

Analytiikka

SmartStudio:

SmartEngine

© Cerion Solutions Oy

SmartDW-työkalut

Miltä se näyttää?

© Cerion Solutions Oy

Miten eteenpäin?

Tuotebusiness?

Isommat kokonaisuudet?

Palvelun rakentaminen?

Kumppanin etsiminen?

© Cerion Solutions Oy

WhereScape – Company Background

Founded in 2000 in Auckland New Zealand by Data Warehouse experts

UK - European Head Office, US Global Head Office, Development in NZ

Privately held company $20m-$40m Turnover

Stellar 38% Growth in 2014/15

3000+ WhereScape RED/3D Developers (Europe, Asia Pac, US)

4500 downloads of WhereScape 3D

130 Staff – 80 Data Warehouse Consultants

14 years of Solid Growth World-wide

Information Management Top 40 Vendors to watch

Only Global recommended DW Automation Software for Teradata

© Cerion Solutions Oy

Wherescape

© Cerion Solutions Oy

Some of 700+ WhereScape customers

© Cerion Solutions Oy

Traditional approach to development

REQUIREMENTS

DW framework

Profile

Logical Model

Physical Model

DB Architecture

Storage Mgmt

Index Mgmt

OLAP Design

ETL Mapping

ETL Dev

Version Control

Workflow

Deployment

Maintenance

Word/Excel

Mainly in-house

solutions

Informatica

Microstrategy

IBM Clear Case

Trillium

AbInitio

DataStage

TOAD

PowerDesigner

Enterprise Architect

Cognos

JIRA

SSMS

SSIS

SSAS

SVN

IBM Clear Quest

Informatica

ErWIN

DB Management Tools

DataStage

Documentation

• Overcomplicated

• Too many tools

© Cerion Solutions Oy

Data Warehouse Development With WhereScape

DW Framework

Profile

Physical Model

DB Architecture

Storage Mgmt

Index Mgmt

OLAP Design

ETL Mapping

ETL Dev

Version Control

Workflow

Deployment

Maintenance

Logical Model

Documentation

REQUIREMENTS

WhereScape RED

WhereScape 3D

• Simplification

• Automation

© Cerion Solutions Oy

WhereScape -työkalut

Miltä se näyttää?

Hype & WhereScape

© Cerion Solutions Oy

WhereScape on Big Data

Customers:

• Big data collaborators (70%)

• Big data sceptics (30%)

• NOTE: not big data pure plays (0%)

Belief: Big data changes how our customers architect solutions. Yet the same time and cost problems that exist in enterprise data also exist in the big data world.

Aim: To serve the organizations that want to get the most out of their big data and enterprise data cost effectively

© Cerion Solutions Oy

More Big Data Research…

…clearly, no single technology can handle all big data needs... a mix of technologies is required, each of which has its own strengths ...

... the EDW is the most cited technology for deriving value from big

data ...

... the EDW now appearing at the centre of an ecosystem ...

technologies for deriving value from big data, 54% of the respondents

chose the EDW ...

... through 2017, 90% of information from big data analytic efforts will be siloed and un-leveragable across multiple business processes ...

... #1 hurdle remains determining the value (ROI) of big data (increased to 65%) ...

© Cerion Solutions Oy

SmartDW:n tulevaisuus

Itsepalvelutyökalu?

DW:n kehityspalvelu?

Open Source?

SmartModellerMallinnus

SmartEngineDW, ETL

ja algoritmit

K#Skriptikieli ja

kirjastot

Script

KSharp.SelectToConsole(String

pServer, String pSQL) {

Console.Clear();

Object aSrv=

DatabaseServer.Find(pServer);

Object aConn =

aSrv.CreateConnection();

© Cerion Solutions Oy

Eteenpäin WhereScapen kanssa

Lisenssimyynti

Konsultointi

Koulutus

Projektitoimitukset

Palvelumalli

Kiitos!

Kari Karru

Kari.karru@cerion.fi

040 8380 280