pilvi ja big data 3.10.2013, ivorio

Tietoa yrityksestä

❏ puolueeton big data -asiantuntija❏ johdon konsultointi❏ koulutukset❏ selvitykset, teknologiakatsaukset

❏ kasvuhakuinen ja kansainvälinen❏ visiona Pohjoismaiden johtajuus

big data -asiantuntijana

© Ivorio 2013

“Cloud Computing” ja “Big Data”

Google-haun “big data” suosio

© Ivorio 2013

Google-haun “cloud computing” suosio

HAVAINTO:Datan määrä ja laatu kasvaa kiihtyvällä tahdilla maailmassa.

REAKTIO:Asialle tarvitsisi tehdä jotain.

Mitä tarkoittaa “Big Data”?

© Ivorio 2013

Saatavilla olevat datavarannot(avoin data, datamarkkinat)

Potentiaalinen data(ei vielä kerätä)

Digitaalinen todellisuus(internet, sosiaalinen media)

Fyysinen todellisuus(sensorit, esineiden internet)

Mistä sitä dataa oikein tulee?

Organisaation hallussa tai saatavilla oleva data(ERP, CRM, DW, RDBMS)

© Ivorio 2013

Kuinka suuret ovat big data -markkinat?

● Yleisin luku on välillä 15-50 mrd €

○ IDC sanoo (12/2012), että vuonna 2016 markkinoiden koko on n. 26 mrd $

○ Gartner sanoo (10/2012), että vuonna 2012 big data -markkinat olivat n. 28 mrd $

○ Wikibon ennustaa (02/2012), että big data -markkinat ovat vuonna 2015 n. 54 mrd $

○ McKinseyn raportissa (05/2011) arvioitiin big datan vuotuisen lisäarvo- ja kustannussäästöpotentiaalin olleen jo vuonna 2011 arviolta 1 000 mrd €

© Ivorio 2013

“Accenture:

Räjähdysmäisesti kasvavat tietomäärät avaavat uusia mahdollisuuksia ja potentiaalisia kilpailuetuja monilla aloilla ja monissa yrityksissä.

“

© Ivorio 2013

“McKinsey, 2011:

By 2018, the United States alone could face a shortage of 140,000 to 190,000 people with deep analytical skills.

“

© Ivorio 2013

Koska big data -hankkeet aloitetaan?

Julkishallinnon organisaatiot“Big data -selvitys, 09/2013”

© Ivorio 2013

Big datan hyödyntämiskohteita

● Markkinointi

● Suositukset (recommendation engine)

● Tutkimus- ja kehitystyö

● Mallintaminen ja ennustaminen

● Resurssien kohdentaminen tehokkaammin

Mahdollisuuksien tunnistaminen vaatii toimialan ja organisaation ymmärtämistä!

© Ivorio 2013

Big datan teknologiat

● Hadoop (tunnetuin yksittäinen uusi teknologia)

● NoSQL (uudenlaiset tietokannat)

● Appliance (valmisratkaisut)

● In-memory -analytics

● Pilvipalvelut○ Amazon Elastic MapReduce (Hadoop)○ Google BigQuery (Dremel)○ Microsoft HDInsight (Hadoop)

© Ivorio 2013

Hadoopin asema big data -ilmiössä

Hadoop

Tiedon määrä

Tied

on r

aken

teis

uus

2 Tb1 Gb 20 Tb 200 Tb

Nearly all sectors in the US economy had at least an average of 200 terabytes of stored data per company with more than 1,000 employees.McKinsey 2011

By 2015, 65 percent of packaged analytic applications with advanced analytics will come embedded with Hadoop.Gartner 2013

© Ivorio 2013

Pilvipalveluiden rooli nyt ja tulevaisuudessa

● Riskitön tapa lähteä liikkeellekokeillaan ennen investointeja ja sitoutumista

● Ketteryys ja kustannustehokkuuskustannukset muuttuvia, tulevaisuutta ei tarvitse ennustaa

● Tulevaisuudessa yhä keskeisemmässä roolissamitä suurempi painoarvo jaetulla, avoimella tai datamarkkinapaikoista saatavalla datalla on, sitä mielekkäämpi vaihtoehto pilvipalvelut ovat

© Ivorio 2013

© Ivorio 2013

Pilvipalveluiden kiinnostavuus big datan yhteydessä riippuu näkökulmasta dataan

Suppein näkökulma dataan

Tästä näkökulmasta big data koskettaa ilmiönä n. 0.2 % maailman organisaatioista

“Eihän meillä edes ole big dataa!” “Pilvipalvelut sopivat pilotointiin.”

Yrityksen oma strukturoitu dataYrityksen vielä hyödyntämätön data

Yrityksen vielä keräämätön data

© Ivorio 2013

“Nordea ja SAP HANA

Siinä missä ennen joidenkin tulosten laskeminen vaati kahdesta kolmeen tuntia, Hanan avulla tulokset saatiin puristettua ulose neljässä minuutissa.Tietoviikko 02/2012

“

© Ivorio 2013

Suppeahko näkökulma dataan

Tästä näkökulmasta big data koskettaa ilmiönä n. 3 % maailman organisaatioista

“Liiketoimintakriittistä dataa ei voida laittaa pilveen, ehkä jotain lokitietoja tms.”“Privaattipilvi kiinnostaa!”



© Ivorio 2013

Laaja näkökulma dataan


“Mihinkäs me laitetaan kaikki tuo data...”“Olisiko julkisilla pilvipalveluilla jotain annettavaa?”



© Ivorio 2013

““

Google I/O Conference 05/2013

400: The number of sensor modules that have been plugged around the conference center.

150 million: The number of database records the project generated.

© Ivorio 2013

Verkostoitunut näkökulma dataan


“Verkottunut yritys ei voi hillota dataansa!”

Organisaatio

Kumppani Kumppani

Kumppani Kumppani

Kumppani Kumppani

© Ivorio 2013

© Ivorio 2013

Kun suurin osa verkoston datasta on pilvessä muodostuu tiedonsiirto pullonkaulaksi, jos oma data ei ole siellä.

Kokonaisvaltainen näkökulma dataan


“Palvelinkellarissa homehtuva data ei tuota lisäarvoa tai kilpailuetua!”

Avoin data(dokumentoidut rajapinnat)

Data marketplace(pilvessä olevat datan markkinapaikat)

Datakauppiaat(yksittäiset suoraan omaa tai

verkostonsa dataa myyvät)

Puoliavoin data(ei rajapintoja, hajallaan)

© Ivorio 2013

Amazon, Google, Microsoft

© Ivorio 2013

Dataa yht. Amazon (S3) Google Storage Microsoft Azure Storage

< 1 TB 0.095 $ 0.085 $ 0.095 $

< 50 TB 0.080 $ 0.076 $ 0.080 $

< 500 TB 0.070 $ 0.063 $ 0.070 $

< 1000 TB 0.065 $ 0.063 $ 0.065 $

< 5000 TB 0.060 $ 0.054 $ 0.055 $

Mitä maksaa gigatavun tallentaminen per kuukausi julkisessa pilvessä?

“McKinsey:

By 2009, nearly all sectors in US economy had at least an average of 200 terabytes of stored data per company with more than 1 000 employees.

Pilvitallennus: n. 1.32 milj.€ per vuosi“

© Ivorio 2013

Datan analysoiminen pilvessä

© Ivorio 2013

Terasortin maailmanennätys Googlen pilvipalvelussa:

MapR (Hadoop-jakeluyritys):“Benchmark broke the one minute barrier with 1,003 servers, 4,012 cores and 1,003 disks as compared to the previous record set by Yahoo. The prior documented record of 62 seconds was set by Yahoo running Apache Hadoop on 1,460 servers, 11,680 cores and 5,840 disks.”

Mitä maksoi?

Datan analysoiminen pilvessä

© Ivorio 2013

Terasortin maailmanennätys Googlen pilvipalvelussa:

“Since the servers used in MapR’s world record were virtually instantiated in the Cloud, the cost estimate for running the TeraSort was about $9 compared to the over $5M estimate to run the previous record.”

pilvi ja big data 3.10.2013, ivorio

Technology