büyük veriye genel bakış, mimari ve...

Büyük veriye genel bakış, mimari ve çözümler Tansel Okay Kurumsal Mimar

Copyright © 2012, Oracle and/or its affiliates. All rights reserved. 2

Gündem

 Neden “Büyük Veri” ?

 Farkı nedir ?

 Nasıl ? –  Oracle’ın önerdiği mimari yol haritası nedir ? –  Ne sağlıyorsunuz ?

 Örnek(ler)


Gündem


 Farkı nedir ?


 Örnek(ler)


Neden “Büyük Veri” ?

Karar

EylemGözlem

/Olay



İşlemsel Veri

Machina Research / Big Data in M2M Tipping Points and Subnets of Things / Whitepaper



B2B

İşlemsel Veri




P2P

B2B

İşlemsel Veri




İşlemsel Veri

M2M

P2P

B2B

İşlemsel Veri




İşlemsel Veri

M2M

P2P

B2B

İşlemsel Veri

İşlemek zorunda kaldığımız verinin ...



İşlemsel Veri

M2M

P2P

B2B

İşlemsel Veri


Hacmi...



İşlemsel Veri

M2M

P2P

B2B

İşlemsel Veri

Kontrolümüz dışında artan çeşitliliği

Hacmi...




İşlemsel Veri

M2M

P2P

B2B

İşlemsel Veri

Kontrolümüz dışında artan çeşitliliği

Hacmi...

Azalan işlem süremiz...



Gündem


 Farkı nedir ?


 Örnek(ler)


Farkı Nedir ?


Schema on Read

Name Node

Farkı Nedir ?


Sharding

Farkı Nedir ?


Farkı Nedir ?


Gündem


 Farkı nedir ?


 Örnek(ler)


Nasıl ? / Mimari yol haritası

Mimarinizi Büyük Veriye doğru geliştirmek:  Adım 1: Mevcut Verinizi daha iyi analiz edin  Adım 2: Veri çeşitliliği ve hacmini yönetin  Adım 3: Veri hızını yönetin  Adım 4: Veri içindeki yeni örüntüleri (pattern) keşfedin

Arttırın İş Değeri


Adım 0: Temel Veri Ambarı mimarisi

Oracle Database

Oracle BI Enterprise

Edition

Acquire Organize Analyze Decide

High Density Data

• Dashboard • Ad-Hoc Query


Adım 1: Mevcut Verinizi daha iyi analiz edin

Oracle Database


Edition Spatial

and Graph

Advanced Analytics


High Density Data


• Optimisations • Predictive Mnt.


Mavi Balina / Düşük yoğunluklu Veri


Adım 2: Veri çeşitliliği ve hacim için mimari

Oracle Database


Edition

Hadoop

Low Density variable Data


Spatial and Graph

Advanced Analytics Aggregate

Pre-Analyze



• Alarm & Performance

• M2M telemetry

High Density Data


Adım 3: Hız için mimari

Acquire Organize

High Density Data

Oracle Database


Edition Hadoop

Low Density

Batch Data

Analyze Decide

Aggregate Pre-Analyze

Streaming Data

Real Time Decisions

Event Processing

Act

Model

Spatial and Graph

Advanced Analytics




• M2M telemetry

• Recommend • Act


Real Time Decisions

Adım 4: Yeni enformasyonu keşfedin

Acquire Organize

High Density Data

Oracle Database


Edition Hadoop

Low Density

Batch Data

Analyze Decide

Aggregate Pre-Analyze

Streaming Data

Event Processing

Act

Model

Spatial and Graph

Advanced Analytics

Endeca Information Discovery


• Optimisations • Predictive Mnt


• M2M telemetry

• Recommend • Act

• Discover


Gündem


 Farkı nedir ?


 Örnek(ler)


Zaman

İş Değeri

Büyük Veri: Problemden fırsata İş Değeri elde etmek için Büyük Veri’yi kullanın

→  Yüksek Çeşitlilik →  Yüksek Hacim →  Yüksek Karmaşa →  Yüksek Hız

Büyük Veri

Bugün

→  Derin Analitik →  Yüksek Çeviklik →  Yüksek Ölçeklenme →  Gerçek Zamanlı

Yarın

Problemler

Büyük Veri Platformu

29 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8

•  Derin Analitik •  Agile/Çevik geliştirme •  Yüksek ölçeklenme •  Gerçek Zamanlı Yanıt •  Yüksek işlem

•  Yerinde Veri hazırlığı •  Tüm veri yapıları

•  Düşük Gecikme •  Yüksek işlem sayısı •  Esnek veri yapısı

Büyük Veri: Altyapı Gereksinimleri

Acquire Organize Analyze


Belirsizliği yönetmek Bir sonraki seçimleri ne olacak ? Yeni hizmetim başarılı olacak mı? Doğru maliyetlendirme yaptım mı? Kaynaklarımı doğru yönetiyor muyum?

Bla Decide

•  Veri odaklı •  Analitik uygulamalı •  Gerçek Zamanlı •  Operasyon üzerinde etkili

Acquire Organize Analyze


Bölünmüş çözüm alanı

Acquire Analyze Organize

MapReduce Çözümleri

DBMS (DW)

DBMS (OLTP)

Gelişkin AnaliDk

DağıGk Dosya Sistemleri

İşlem (Key-‐Value) Store’lar

ETL

NoSQL

Esnek, Özel,

Geliştirici Merkezli

SQL

Güvenilir, Güvenli, Yönetilen

Farklı Veri

“High Density”

Enformasyon Yoğunluğu

“Low Density”


Oracle Tasarlanmış Sistem Çözümleri

Acquire Analyze Organize

Oracle Database (DW)

Oracle Database (OLTP)

In-‐DB AnalyDcs

“R” Mining Text Graph SpaDal

Oracle BI

Oracle NoSQL DB

HDFS Hadoop

Oracle Data Integrator

OLH

Data Variety

“High Density”

InformaDon Density

“Low Density”

Exadata

Big Data Appliance

Exaly2

cs


Big Data Appliance

•  Hardware: Comparable to an Exadata Storage Expansion Rack •  18 Nodes

•  2 CPU’s •  12 x 3TB 3.5” 7200 RPM SAS disks per node

•  InfiniBand Networking with IB/10 GbE connectivity •  Software:

–  Hadoop Distribution –  Oracle NoSQL DB –  Oracle Data Integrator (Hadoop capabilities ) –  Oracle Loader for Hadoop –  Oracle JRockit –  Oracle Linux

34 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is the industry leader in database and informa4on management. Oracle provides all the components you need to get real results from your big data ini4a4ves

Oracle Büyük Veri Platformu

Stream Acquire Organize / Discover Analyze Visualize /

Decide


Gündem


 Farkı nedir ?


 Örnek(ler)

0101010101010101010101010101010101010101

0101010101010101010101010101010101010101

0101010101010101010101010101010101010101

Örnek(ler) Elektrik dağıtım şirketi

Ne Topluyorlar Smart Metering –Enerji tüketimini topluyor

Nasıl kullanıyorlar Daha iyi talep planlaması için Daha iyi pazarlama için Kişilerin kullanım alışkanlıklarına uygun çözümler sunmak için

Ev bazında tüketim tahmini yapabilmek Spot marketten alım ihtiyacını düşürebilmek …Demek…

Büyük Veri …

Nike Spor işinde mi…yoksa Veri işinde mi ?

büyük veriye genel bakış, mimari ve...

Documents