big data diy
DESCRIPTION
Big Data DIY auf der Microsoft CeBIT Bühne. Big Data ist einer der großen IT-Trends und doch für viele noch Neuland. In dieser Session stellen wir vor, wie man Big Data selber mit Hilfe von Tweets bauen kann. Anhand einer Windows Azure Applikation für die Echtzeit-Analyse von Twitter-Daten schildern wir die Rolle der Microsoft Technologien und wie Open Source Technologien, wie Hadoop, in Windows Azure integriert ist. Unser Szenario kann leicht „nachgebaut“ werden und ist ein guter Ausgangspunkt für eigene Entwicklungen.TRANSCRIPT
Big Data Do-It-Yourself mit MicrosoftOlivia Klose
Technical Evangelist, Microsoft Deutschland GmbH
aka.ms/oliviaklose, @oliviaklose
Die 3 Vs
MB
GB
TB
PB
batch
periodic
real
time
table
data
base
un-
struc-
tured
web
Big Data, Gesellschaft für Informatik, 2013,
http://www.gi.de/service/informatiklexikon/
detailansicht/article/big-data.html
Daten
Demo
DemoTweets extrahieren: Echtzeit-Dashboard
StreamInsight
Extract
StreamInsight
Azure SQL
Azure Blob
Storage
Real-Time
Dashboard
Tweets extrahieren
Demo
DemoTweets speichern im Windows Azure Blob Storage
Hadoop
Hadoop
MapReduce
MapReduce
MapReduce: Map
MapReduce: Reduce
Analyze
Hive Tables
…
Azure Blob
Storage
Azure Blob
Storage
Mash Up &
Visualise
Tweets in HDInsight Analyze
Azure SQL
Real-Time
Dashboard
Extract
StreamInsight
HDInsight auf PowerShell
Analyze
Hive Tables
…
Azure Blob
Storage
Azure Blob
Storage
Mash Up &
Visualise
Hive in HDInsight Analyze
Hive Tables
…
Azure SQL
Real-Time
Dashboard
Extract
StreamInsight
Mash Up &
VisualiseAzure SQL
Tweets visualisieren
Mash Up &
Visualise
Analyze
Hive Tables
…
Real-Time
Dashboard
Extract
StreamInsight
Azure SQL
Azure Blob
Storage
Demo
DemoTweets visualisieren
Demo
DemoTweets visualisieren
Extract
StreamInsight
Azure SQL
Azure Blob
Storage
Real-Time
Dashboard
Big Data Twitter Infrastruktur
Mash Up &
Visualise
Analyze
Hive Tables
…
Big Data DIY in der MVA
http://aka.ms/BigDataDIY
Weitere Informationen
aka.ms/oliviaklose
Twitter:@oliviaklose
Big Data DIY Kurshttp://aka.ms/BigDataDIY
Windows Azure Trialhttp://aka.ms/azurenow
HDInsighthttp://tinyurl.com/hdinsight
Hortonworks for Windowshttp://aka.ms/hdp
Microsoft Big Data Supporthttp://aka.ms/bigdatasupport
