big-data und data-mining für die stadt · 2016-06-16 · • software: lambda (λ) architektur •...

Ihr Partner für GeoinformationFZI FORSCHUNGSZENTRUMINFORMATIK

12.05.2016 © EFTAS GmbH | www.eftas.com 1

Big-Data und Data-Mining für die Stadt

BigGIS

Big-Data und Data-Mining

im Umfeld städtischer

Nutzungskartierung

8. Dresdner

Flächennutzungssymposium

Dresden, 12.05.2016

Dr. Bodo Bernsdorf (EFTAS)

M. Sc. Inf.-Wirt. Julian Bruns (FZI)

(pic

ture

cre

dits:

foto

lia.d

e,

EF

TA

S G

mbH

, F

ZI)


2

Agenda

• Vorstellung

• Grundlagen | Big-Data und Data-Mining - Dimensionsreduktion

• BigGIS | Smart City

• Datenquellen | Einsatzbereiche

• Zusammenfassung | Fazit

12.05.2016 © EFTAS GmbH | www.eftas.com 28. DFNS www.ioer.de/8dfns

https://www.ioer.de/8dfns/


Vorstellung und Hintergrund

EFTAS Fernerkundung Technologietransfer GmbH

• Seit über 25 Jahren effizienter Einsatz von Luft- und

Satellitenbildern.

• Schaffung von Entscheidungsgrundlagen in Wirtschaft und

Verwaltung, digitale Photogrammetrie, GIS und GDI.

• Breite Themenpalette: Land-/Forstwirtschaft, Natur/Landschaft,

Telekom/Verkehr, Wasser /Abwasser, Geologie /Bergbau,

Gefahrenabwehr.

• Einer der führenden GeoIT-Dienstleister Deutschlands, weltweit

etabliertes Projektgeschäft.

• Interdisziplinäre Fachexpertise.

• Stammpersonal ca. 65 MA / projektbezogen ca. 50 - 70 MA.


(Bild

nachw

eis

: E

FT

AS

Gm

bH

)

8. DFNS www.ioer.de/8dfns


Die Einrichtung FZI

Forschungszentrum Informatik am KIT

Unabhängige gemeinnützige Stiftung des bürgerlichen Rechts für

Anwendungsforschung in der Informatik

Mitglied der Innovationsallianz Baden-Württemberg und Technologieregion Karlsruhe

Innovationsdrehschreibe in Baden-Württemberg im Bereich Informationstechnologie

Innovationspartner des KIT im Bereich IT

12.05.2016 © FZI Forschungszentrum Informatik 48. DFNS www.ioer.de/8dfns

Zahlen, Daten, Fakten

12.05.2016 © FZI Forschungszentrum Informatik 58. DFNS www.ioer.de/8dfns



Big-Data

• Big-Data – Definition: vier “Vs”

• Volume = Datenmenge

• Velocity = Geschwindigkeit der Datenproduktion

• Variety = Unterschiedlichste Datenquellen

• Veracity = Unsicherheit der Daten

Grundlagen | Big-Data und Data-Mining - Dimensionsreduktion





picture credits: BigGIS project proposal; Forschungszentrum Informatik am KIT, Karlsruhe

Big-Data

• Big-Data ähneln mehr einem Tensor:

• Hundertausende „Feature-Scheiben“

variieren in Zeit und Raum

• Einige Matrizen sind gut gefüllt mit

genauen Positionen und Zeitreihen,

andere weisen große Lücken und

Unsicherheiten auf (z.B. Temperatur vs.

Tweets)

• Big-Data sind nicht „gut“ im Sinne der

Datenqualität und des Inhalts (Auflösung,

Flächendeckung, Aktualität, etc.), aber sie

existieren massenhaft.






picture credits: Li, Y. (2007): Data Embedding Research.- Homepage der Western

Michigan University. Download: https://cs.wmich.edu/~yang/research/dembed/

Big-Data und GIS

• Heutige GIS sind nicht in der Lage, (Nahe-)

Echtzeit-Analysen auf Big-Data durchzuführen.

• Aus technischer Sicht können klassische GIS

Analysen von gleichartig strukturierten Daten

durchführen, in denen sie spezielle Indizes

(etwa räumliche Muster) nutzen. Sie ignorieren

dabei zeitliche Dynamiken.

• Basieren auf Toblers 1. Gesetz der Geographie *

• Komplexe, nicht lineare Datenstrukturen wie die

“Schweizer Rolle” können nicht korrekt

ausgewertet werden.

* Beschreibt die räumliche Autokorrelation und den Fakt, dass räumlich

benachbarte Objekte sich oft ähnlicher sind als räumlich entfernte Objekte






picture credits: Shekhar, S. & Zhang, P. (2004): Spatial Data Mining: Accomplishments and

research Needs.- Vorlesungsskript GIScience 2004, Spatial Computing Research Group,

University of Minnesota, Department of Computer Science and Engineering, Minnesota, 64 S.,

Download: http://www.spatial.cs.umn.edu/paper_ps/giscience.pdf

Big-Data und GIS

• Unterscheidung zwischen lokalen und globalen Modellen funktioniert nicht im

klassischen GIS (Goodchilds 2. Gesetz der Geographie *)

Globales Modell Lokales Modell

* Beschreibt den Fakt, dass globale geographische Modelle inkonsistent

zu lokalen Modellen sein können - Unterschied zu den Naturgesetzen!






Bernsdorf, B., Bierbrauer, H., Büscher, O., Müterthies, M. Pakzad, K. Wenzel, T. & Woditsch, S. (2015): Data-Mining –

Gesellschaftspolitische und rechtliche Herausforderungen. Fallstudie 2: Data-Mining mit Geodaten.- Gutachten für den Deutschen

Bundestag, vorgelegt dem Büro für Technikfolgenabschätzung beim Deutschen Bundestag (TAB), Münster, Berlin, 258 S.

Data-Mining

• Dimensionen müssen auf das Wesentliche reduziert werden: Muster müssen gefunden werden, die

weiter verarbeitet werden können

Definition:

• Unter Data-Mining mit Geodaten wird ein zielgerichteter Prozess verstanden, der durch

Anwendung raumbezogener Methoden und mathematisch-statistischer Verfahren eine große,

heterogene Geodatenmenge an der Grenze der technischen und algorithmischen Verarbeitbarkeit

mit den aktuell verfügbaren Computer-Kapazitäten über auffällige Muster (Regeln oder

Abhängigkeiten) derart reduzieren hilft, dass in angemessener Zeit die wesentlichen Erkenntnisse

und Aussagen extrahierbar werden.






Data-Mining

• Erstes Beispiel: Cholera-

Epidemie, London 1854

• Britischer Arzt Dr. John

Snow suchte nach

„Mustern“, zeichnete eine

Straßenkarte und

überlagerte sie mit

unterschiedlichen Themen.

• Räumlicher Zusammenhang

zwischen Konzentration der

Todesopfer und der

Trinkwasserpumpe in der

Broad Street

• Visual Analytics


picture credits: Wiki Commons: https://commons.wikimedia.org/wiki/File:Snow-cholera-map.jpg , verändert





Data-Mining mit Geodaten: Klassische

Statistik…

• Ausreißer-Erkennung (gibt es offensichtliche

Unterschiede?)

• Räumliches Clustern (gruppieren sich

räumliche Muster nach Gesetzmäßigkeiten ?)

• Ko-Lokation (kommen bestimmte Muster immer

gemeinsam vor?)

• Sequenzanalyse (kommen auffällige Muster

entlang eines Pfades in Raum und Zeit vor?)

• Assoziationsanalyse (gibt es Korrelationen von

oder klare Regeln für Muster?)

• Klassifikation (gibt es gewisse Bandbreiten in

den Mustern?)

• Data-Mining in Big-Data legt es darauf an, die

Daten sowie die Dimensionen soweit zu

reduzieren, dass die Daten verarbeitbar

werden.

• Dazu wird nach nicht trivialen Mustern und

Regeln gesucht, um letztlich nur noch diese

Auffälligkeiten in die Analyse einzubeziehen

und den Rest zunächst zu ignorieren.






BigGIS Ziele:

• Erstellung eines GIS zur Modellierung

komplexer und oft nicht-linearer

Zusammenhänge und Entwicklungen in

ständig wachsenden Mengen an

unzuverlässigen, hoch-dimensionalen Daten,

sowie die Entwicklung neuer Mechanismen

im Umfeld der Analytik und visuellen Analytik.

Invasive Arten

Städtische Hitzeinseln

Informationsunter-

stützung für

Hilfsorganisationen

(pic

ture

cre

dits: w

ikip

edia

.de;

EF

TA

S G

mbH

)






EFTAS-Projektbasis

• DLM-Update (Folgeprojekt 2016)

• Städtische Gründach-Analyse (2016)

• Data-Mining-Studie für den Deutschen

Bundestag (2015)

• BioMassMon (2015)






picture credits: http://www.opensense.ethz.ch/

Kernidee

• Wie lässt sich städtisches Grün in Verbreitung und

Volumen erfassen, um städtische Hitzeinseln

abzuleiten? Anwendung der Dimensionsreduktion zur

Vorhersage von Temperaturen im innerstädtischen

Bereich

• Detektierung von Intra Urban Heat Islands (IUHI)

• Genaueres Lagebild und Vorhersage für kurzfristiges

Stadtklima

Beispielanwendungen

• Streckenfindung mit minimaler Hitzebelastung

• vgl. OpenSense aus Schweiz

• Zielgerichtete Warnmeldungen für Risikogruppen

• Kindergärten, Altersheime, etc.

BigGIS | Smart City - Kernidee





picture credits: http://www.enviscope.de/engineering/aero-tram/

Datenquellen

• ATKIS/ALKIS Daten Baden-Württemberg

• Thermalflug Karlsruhe

(Nachbarschaftsverband Karlsruhe)

• NDVI (EnviSAT, Landsat)

• LoD2-3D Daten Karlsruhe

• Messstationen DWD und LUBW

• Klimadaten IMK KIT, z. B. AERO-TRAM

• Geplant: Mobile Messstationen

• Geplant: Participatory Sensing über

Smartphone (Volunteer Geographic

Information)

• Geplant: Radar-Daten

BigGIS | Smart City - Datenquellen





Ansatz

• Kombination aus Luft- und Boden-

Temperaturen (ähnlich Schwarz et al. 2012)

• Extraktion zusätzlich Parameter aus

Datenquellen, z. B. NDVI und Bebauung

Problem / Ziel: Kurzfristigkeit

• Wenige Messstationen, teils sehr grobes

Raster

• Lösung: Vorhersage obiger Parametern

basierend auf Satelliten und Feststellung von

Zusammenhängen zum gleichen Zeitpunkt

• Ermöglicht bessere Datenlage - wenn auch

„ungenau“ - und Ableitung von Standorten für

weitere Messungen

BigGIS | Smart City - Ansatz

D(1)

D(2)

D(3)

D(4)

D(6)

D(5)





Methoden

• Lineare Regression

• Restricted Linear Regression

• Bayes Hierarchical Modelling (BHM)

Ergebnisse

• Hohe Korrelation bei allen drei Methoden

(Minimum: 0.92)

• Bisher wurden (nur) vier Satelliten und die

Distanz zum Messpunkt als Parameter für

Vorhersage einbezogen

• Jedoch: je nach Vorhersagepunkt hohe

Unsicherheit

• BHM stellt dies gut dar und ermöglicht

genauere Analyse

BigGIS | Smart City - Ansatz





Satelliten

• Flächen

• Thermalmessungen

• WGS 84

Bodenstationen

• Fixer Ort

• °C Lufttemperatur

• Gauss-Krüger

ATKIS/ALKIS

• ArcGIS Datenbank

• Viele Layer

• Polygone

etc.

• AERO-TRAM

• Thermalflug

• Untergrundmessung

Matching and Modelling

Input

Prepro-

cessing

Analysis Vorhersage

BigGIS | Smart City

BigGIS | Smart City - Ablauf

Transform

Calibrate

Model-basedAdjustment





BigGIS | Smart City - Social Media

Motivation

• Naherholungsflächen wichtig bei Hitzebelastung

• Studien (z. B. Quelle) haben gezeigt, dass es oft Zusammenhang zwischen Naherholung und

Einkommen gibt – sozialräumliche Differenzierung drückt sich im städtischen Grün aus

• Manuelle Identifikation von Brennpunkten aufwendig

• Räumliche Zuordnung von bspw. Tweets („Hier ist es unerträglich heiß“ bei gleichzeitiger Meldung

„Super-toller Sommertag“)

• Subjektive Bewertung der offensichtlich selben Witterung kann im Zusammenhang mit der

sozialräumlichen Differenzierung und der Grünausstattung der jeweiligen Lokation stehen

Nutzung von Daten aus sozialen Medien zur automatischen Identifikation





Methodik

• Identifikation der Hitzebelastung als “Need” von Bürgerinnen und Bürgern

• Anwendung Methodik von Kühl et al. 2016

• Automatisches grobes Filtern nach Keywords

• Manuelle Bestimmung der Zuordnung durch Experten, bspw. Stadtverwaltung für Trainingsset

• Training und automatische Bestimmung im späteren Verlauf durch SVM (Support Vector

Machine)

• Hierbei zuerst Bestimmung der Needs ohne Ortszusammenhang






Herausforderung

• Räumliche Festlegung der Quellen

• Noch offenes Problem, da konkrete Speicherung der Lokalität bei sozialen Medien nicht

einheitlich, teils sogar unbekannt ist

• Alternativen:

• Reine Auflösung nach Hashtags (bspw. Twitter)

• Nutzung spezieller Dienste, z. B. PartSense, FireCAM

• Erneutes Lernen auf Orte bezogen, z. B. über Satzbauteile oder auch Bilder






picture credits: exasol.com

BigGIS-Ansätze

• Technisch: Exasol-Datenbank

• Hochparallele In-Memory Analytik

Datenbank

• Cloud-Ansatz für Datenverteilung und

Analyse

• Massives Parallel-System (verteilt

Operationen auf alle Knoten im Cluster)

• Nutzt einen speziellen Kompressions-

Algorithmus, um die I/O-Operationen

zwischen Platten- und Hauptspeicher zu

reduzieren

BigGIS | Smart City - Infrastruktur





picture credits: wikipedia.de

BigGIS-Ansätze

• Software: Lambda (λ) Architektur

• Kombination von Batch- und Life-

Verarbeitung

• Apache Hadoop / Hadoop Distributed

File System (HDFS) für den massiv

parallelen Batch-Betrieb

• Apache Storm als verteiltes Echtzeit-

Computersystem, um verlässlich

extrem große Datenströme zu

verarbeiten (vergleichbar mit Hadoop

für die Batch-Verarbeitung)

• Programmiersprache „R“ für

statistische Berechnungen und

Graphen

Speed processing (real time)

Batch processing

BigGIS | Smart City - Infrastruktur




TIM-Online 06. Mai 2016

GeoService Stadt Münster 06. Mai 2016

Blick aus dem EFTAS-Büro am 06. Mai 2016

LuftbildauswahlStadt Münster06. Mai 2016


(pic

ture

cre

dits:

http://w

ww

.tim

-onlin

e.n

rw.d

e/t

om

-onlin

e/m

obile

/tim

obile

.htm

l)

(picture credits: http://geo.stadt-muenster.de/webgis2/

(pic

ture

cre

dits:

http://g

eo.s

tadt-

mu

enste

r.de

/webgis

2/

(pic

ture

cre

dits:

EF

TA

S G

mbH

)

Datenquellen | Einsatzbereich: Datenaktualisierung (Lernen/Trainieren)





DLM-Update – Änderungsdetektion

• Diverse Datensätze werden zu einer

Änderungskartierung zusammengefasst

(picture credits: EFTAS GmbH)






DLM-Update – Änderungsdetektion

• Änderungslayer Karlsruhe







UAV mit Multi- und Hyperspektralkameras

• Befliegung Karlsruhe mit Hyperspektralkamera Cubert UHD 185 Firefly am 01.05.2016


Datenquellen | Einsatzbereich: Landbedeckung – NIR (NDVI)

Vegetation im Sonnenlicht

Vegetation im Schatten

Dachaufbau

Asphalt





Funktionsweise

• X-Band vs. C-Band vs. L-Band

(picture credits: DLR)

Datenquellen | Einsatzbereich: Vegetationsvolumen - Radar

Frequenz: 1 – 2 GHz)

Wellenlänge: 15 – 30 cm

Frequenz: 4 – 8 GHz

Wellenlänge: 3,8 – 7,5 cm

Frequenz: 8 – 12 GHz

Wellenlänge: 2,5 – 3,75 cm





Sentinel 1 (problematisch für Volumenberechnungen)

• Aktiver C-Band Radarsatellit


Datenquellen | Volumen - Radar

C-Band Radar

Sentinel 1





Alternativen: TerraSAR-X / TanDEM-X (eingeschränkt nutzbar)

• Aktive X-Band Radarsatelliten, in der TanDEM-X-Mission für 3D-Modelle

• Kartierung der Oberfläche



X-Band Radar

TerraSAR-X TanDEM-X





Alternativen: Kombination mit L-Band-Radar

• Lediglich in Planung (Tandem-L)

• Kartierung der Bodenoberfläche



Passives L-Band Radar

Tandem-L





(picture credits: DLR)


Tandem-L

• Vorschlag des DLR

• Ziel: Weltweite Messung der

Waldbiomasseproduktion insbesondere

zum besseren Verständnis des

Kohlenstoffhaushalts

• Erfassung der dreidimensionalen

Vegetationsstruktur





Alternative Flugzeug-getragenes L-Band-Radar

• Nebeneffekt beim L-Band-Radar: Bodenfeuchtemuster (EFTAS SediSAR-Projekt)

• Abschätzung der Verdunstungsrate möglich

• Vollständige Information: Kombination aus Volumenkörper und Feuchtegehalt

(picture credits: MIRAMAP GmbH)

Datenquellen | Feuchte - Radar

Passives L-Band Radar




• Städtische Nutzungskartierung kann auf immer mehr

Datenquellen zugreifen

• Fernerkundungsmethoden (Satelliten, Flugzeuge, UAV),

Soziale Medien und Volunteer Geographic Information

ergänzen die Daten der öffentlichen Hand

• Es handelt sich aber um Big-Data: Nicht flächendeckend,

mannigfaltige Bodenauflösungen, lückenhaft, etc.

• Nicht „gut“, aber vielfach verfügbar

• Ableitung qualitativer Indikatoren denkbar

• GIS-Werkzeuge müssen auf die Verarbeitung

vorbereitet werden

• Klassische Statistik muss auf die Mustererkennung

trainiert werden

• Altbekannte (statistische) Methoden werden mit neuen

Technologien zur Verdichtung der Kenntnisse kombiniert

Zusammenfassung | Fazit


(pic

ture

cre

dits:

DD

V B

ericht

Fern

erk

undung





Partnerschaften | Zusammenarbeit

Projektpartner | BigGIS




Dr. Bodo Bernsdorf- Forschung und Entwicklung

EFTAS Fernerkundung

Technologietransfer GmbH

Oststraße 2-18

D-48145 Münster

Tel.: 0251-13 30 7 - 0

Fax.: 0251-13 30 7 - 33

Mail: [email protected]

Web: www.eftas.com

Kontakt


reference ESA

M. Sc. Inf.-Wirt. Julian Bruns- Wissenschaftlicher Mitarbeiter

- Information Process Engeneering (IPE)

FZI Forschungszentrum Informatik

Haid-und-Neu-Straße 10-14

D-76131 Karlsruhe

Tel.: 0721-9654-846

Fax.: 0721- 9654-847

Mail: [email protected]

Web: www.fzi.com

Das Projekt wird gefördert vom:



big-data und data-mining für die stadt · 2016-06-16 · • software: lambda (λ) architektur •...

Documents