social media analyses - a poc using ibm big insight

15
Social Media Analysen Nutzung von BigInsights & Integration mit anderen Verfahren

Upload: paradigma-consulting

Post on 25-Dec-2014

372 views

Category:

Social Media


0 download

DESCRIPTION

Möglichkeiten & Grenzen der API‘s der sozialen Netzwerke am Beispiel der GSE. Analysen mit BigSheets, GEPHI, AQL & Naive Bayes Classifier; Produktionsprozess mit JAQL & BigSQL

TRANSCRIPT

Page 1: Social Media Analyses - a POC using IBM Big Insight

Social Media Analysen

Nutzung von BigInsights & Integration mit anderen

Verfahren

Page 2: Social Media Analyses - a POC using IBM Big Insight

Themen

GSE auf Facebook, Twitter & Linkedin

Möglichkeiten & Grenzen der API‘s der sozialen

Netzwerke

Die Analysen mit BigSheets, GEPHI, AQL & Naive

Bayes Classifier

Der Produktionsprozess mit JAQL & BigSQL

Vorteile der Vorgehensweise - Erkenntnisse

Page 3: Social Media Analyses - a POC using IBM Big Insight

GSE Präsenz in der Sozialen Medien …

Page 4: Social Media Analyses - a POC using IBM Big Insight

Facebook Verhalten analysieren

Wer sind die "friends" und wie stark sind diese vernetzt?

Woher kommen diese "friends", was weiss man über sie?

(Ort, Firma, Alter, ...)

Wie aktiv sind die "friends", d.h. wie häufig liefern sie

selbst Beiträge oder „like“ und kommentieren diese?

Zu welchen Tageszeiten wird i.d.R. geposted?

Welche Art von Themen werden dabei angesprochen?

Welche Einträge werden am häufigsten

"geliked";"kommentiert" oder wieder gepostet?

Page 5: Social Media Analyses - a POC using IBM Big Insight

Social Media API’s & Informationselemente

In JAVA Code eingebettete Web API's (FB Query Language, Twitter REST API, Linkedin REST API)

Bedarf einer individuellen Anmeldung / Authentifizierung (OAuth bzw. OAuth2 - Protokoll) (alle Dienste)

Anzahl der Anfragen über API‘s limitiert (Twitter & LinkedIn)

In Tweets und Posts eingebettete URL‘s werden mittels Crawler untersucht und Inhalte in JSON files abgelegt (Boilerpipe HTML Text Extract)

User

Followers

Tweets, Retweets,

Favorites

User

Connections

Posts, Shares, Likes

Followings

Group Memberships

User

Friends

Posts, Likes

Comments

Page 6: Social Media Analyses - a POC using IBM Big Insight

Die GSE Community auf FACEBOOK

Page 7: Social Media Analyses - a POC using IBM Big Insight

Mit welche Unternehmen sind diese verbunden?

Page 8: Social Media Analyses - a POC using IBM Big Insight

Themen der Guide Share Europe Community

Page 9: Social Media Analyses - a POC using IBM Big Insight

Timeline der klassifizierten Facebook Einträge

Page 10: Social Media Analyses - a POC using IBM Big Insight

Tageslinie der auf FB aktiven Mitglieder

Page 11: Social Media Analyses - a POC using IBM Big Insight

Facebook Analysen: Produktionsprozeß

Delta

Download

Combine, Convert

Distinct, URL extract

Feature Extractor

Naive Bayes Classif.

URL Crawler

Content Extractor

JSON

Raw Data

JSON

Combined Data

JSON

Augmented Data

Input für Timeline,

GEPHI & Bigsheets.

JSON files nodes,

links, timeline, bs

JAVA Programme für REST API

JAQL mit AQL zur Extraktion eventueller URLs

Eigener Crawler für html Seiten

Boilerpipe - JAVA UDF in JAQL

Feature Extraction mit AQL in JAQL

Naive Bayes model als UDF in JAQL

Separate Files je Analyse

Page 12: Social Media Analyses - a POC using IBM Big Insight

Facebook Analysen: Produktionsprozeß

28. Dezember 2013

Page 13: Social Media Analyses - a POC using IBM Big Insight

Patterns fuer Analysen der Postings & Comments

28. Dezember 2013

Page 14: Social Media Analyses - a POC using IBM Big Insight

Aufbereitung der Netzwerkstruktur mit JAQL

Page 15: Social Media Analyses - a POC using IBM Big Insight

Zusammenfassende Erkenntnisse

Sociale Medien API’s stellen Engpass dar

Facebook & Linkedin stark limitiert; Twitter eher offen

Dienste der Datenintegratoren (BOARDREADER , GNIP et.al.) zukaufen

Hauptnutzen

Analyse der Socialen Medien mittels Netzwerkmethoden und Textanalysen geben Aufschluss über das Gruppenverhalten und deren Struktur

Themen können zeitnahe identifiziert & beeinflusst werden

Sichten der Daten & Definition von Kennzahlen mit BigSheets

Aufbereiten & Zusammenführen von Daten mit AQL, JAQL & BigSQL : GEPHI

Integration von Open Source Routinen (Bayes) mit JAVA & JAQL

Skalierbarkeit durch HADOOP Architektur gegeben

BigInsights als Integrationsplattform der Wahl