social media analyses - a poc using ibm big insight

Social Media Analysen

Nutzung von BigInsights & Integration mit anderen

Verfahren

Themen

GSE auf Facebook, Twitter & Linkedin

Möglichkeiten & Grenzen der API‘s der sozialen

Netzwerke

Die Analysen mit BigSheets, GEPHI, AQL & Naive

Bayes Classifier

Der Produktionsprozess mit JAQL & BigSQL

Vorteile der Vorgehensweise - Erkenntnisse

GSE Präsenz in der Sozialen Medien …

Facebook Verhalten analysieren

Wer sind die "friends" und wie stark sind diese vernetzt?

Woher kommen diese "friends", was weiss man über sie?

(Ort, Firma, Alter, ...)

Wie aktiv sind die "friends", d.h. wie häufig liefern sie

selbst Beiträge oder „like“ und kommentieren diese?

Zu welchen Tageszeiten wird i.d.R. geposted?

Welche Art von Themen werden dabei angesprochen?

Welche Einträge werden am häufigsten

"geliked";"kommentiert" oder wieder gepostet?

Social Media API’s & Informationselemente

In JAVA Code eingebettete Web API's (FB Query Language, Twitter REST API, Linkedin REST API)

Bedarf einer individuellen Anmeldung / Authentifizierung (OAuth bzw. OAuth2 - Protokoll) (alle Dienste)

Anzahl der Anfragen über API‘s limitiert (Twitter & LinkedIn)

In Tweets und Posts eingebettete URL‘s werden mittels Crawler untersucht und Inhalte in JSON files abgelegt (Boilerpipe HTML Text Extract)

User

Followers

Tweets, Retweets,

Favorites

User

Connections

Posts, Shares, Likes

Followings

Group Memberships

User

Friends

Posts, Likes

Comments

Die GSE Community auf FACEBOOK

Mit welche Unternehmen sind diese verbunden?

Themen der Guide Share Europe Community

Timeline der klassifizierten Facebook Einträge

Tageslinie der auf FB aktiven Mitglieder

Facebook Analysen: Produktionsprozeß

Delta

Download

Combine, Convert

Distinct, URL extract

Feature Extractor

Naive Bayes Classif.

URL Crawler

Content Extractor

JSON

Raw Data

JSON

Combined Data

JSON

Augmented Data

Input für Timeline,

GEPHI & Bigsheets.

JSON files nodes,

links, timeline, bs

JAVA Programme für REST API

JAQL mit AQL zur Extraktion eventueller URLs

Eigener Crawler für html Seiten

Boilerpipe - JAVA UDF in JAQL

Feature Extraction mit AQL in JAQL

Naive Bayes model als UDF in JAQL

Separate Files je Analyse

Facebook Analysen: Produktionsprozeß

28. Dezember 2013

Patterns fuer Analysen der Postings & Comments

28. Dezember 2013

Aufbereitung der Netzwerkstruktur mit JAQL

Zusammenfassende Erkenntnisse

Sociale Medien API’s stellen Engpass dar

Facebook & Linkedin stark limitiert; Twitter eher offen

Dienste der Datenintegratoren (BOARDREADER , GNIP et.al.) zukaufen

Hauptnutzen

Analyse der Socialen Medien mittels Netzwerkmethoden und Textanalysen geben Aufschluss über das Gruppenverhalten und deren Struktur

Themen können zeitnahe identifiziert & beeinflusst werden

Sichten der Daten & Definition von Kennzahlen mit BigSheets

Aufbereiten & Zusammenführen von Daten mit AQL, JAQL & BigSQL : GEPHI

Integration von Open Source Routinen (Bayes) mit JAVA & JAQL

Skalierbarkeit durch HADOOP Architektur gegeben

BigInsights als Integrationsplattform der Wahl