Big Data Symposium Provincie

Big Data – In a Nutshell

Erik van der ZeeGeonovum

@erikvanderzee

1. Big Data introductie

2. Big Data i.r.t. Smart Cities en IoT

3. Big Data “kwesties”

4. Big Data binnen de overheid

5. Platform Making Sense for Society (MS4S)

Inhoud

1. Big Data Introductie

Quiz!• Kilobyte 103

• Megabyte 106

• Gigabyte 109

• Terabyte 1012

• Petabyte 1015

• Exabyte 1018

• Zettabyte 1021

• Yottabyte 1024

• Brontobyte 1027

• Gegobyte 1030 ( = 1.000.000.000.000.000.000.000.000.000.000 byte…)

Quiz

Exponentiele toename hoeveelheid data

Dataficatie van de wereld (“Data Explosie”)

Data Explosie

Belangrijke oorzaak voor data explosie Technologische ontwikkelingen

• Digitalisering van data (geschikt voor processing door computers)

• Miniaturisering Steeds betere en goedkopere hardware

– Toename opslagcapaciteit

– Toename rekenkracht

• Steeds betere en goedkopere Netwerken

– Toename data uitwisseling

• Steeds betere en goedkopere software (algoritmes)

– Toename search en analyse mogelijkheden

Data Explosie - Oorzaken

“Steeds meer” (Kwantitatief)• Steeds meer data creators (mensen + smart things “IoT”)• Steeds meer content soorten (gestructureerd en ongestructureerd)• Steeds meer variabelen (“phenomena”)• Steeds meer delen via social networks (data duplicatie)• Steeds meer bewaren (data, logfiles, “omdat het kan”)• Steeds meer data combineren (“data met data” bvb output GIS analyse)• Steeds meer voorspellen (extrapoleren, model output, scenarios)

Data Explosie - Kwantitatief

“Steeds beter” (Kwalitatief)• Steeds hogere resoluties

– Ruimtelijke resolutie xy(z) – Tijd(sinterval) resolutie van snapshots (“pictures”) naar

continuous streams (“movies”)– Meetspectrum (“banden”) van Multi-spectral naar Hyper-

spectral (“data cubes”)

• Denk bvb Foto’s/Video’s maar ook aan AHN1, AHN2, AHN3, …

Data Explosie - Kwalitatief

Data Explosie - Kwalitatief

GIGApixel video cameras (city-wide surveillance…)

Oke… Dus er is steeds meer data, maar dat leidt nog niet noodzakelijkerwijs tot

veel betere informatie of tot nieuwe inzichten…

Big Data Analyse + Visualisatie nodig

• Analyse van Verleden (historische data) Heden(real-time data) en Toekomst (model output)

Big Data Analyse

• Gestructureerde data vs Ongestructureerde data

• Steeds meer informatie uit ongestructureerde data door slimme algoritmes (tekst / gezicht / object herkenning, ...)

Big Data Analyse

Big Data Visualisatie

• Visualisatie hoort ook bij analyse

• “een kaart meer zegt dan 1000 woorden”

• voor Big Data nieuwe visualisaties, bvb “event tunnels”, dynamische spider diagrammen (grafen) (www.d3js.org)

Analyse Tooling voor Verleden / Heden / Toekomst

• Palantir (veiligheidsdiensten)

• Synerscope (Nederlandse succesvolle start-up)

• BI Tooling (Qlikview, Tableau, …)

• CEP Engines (real-time event processing)

Storage

• MapReduce / Hadoop

• NoSQL Databases (“schema free”)– Graph database (triple stores)

– Column stores

– Document stores(XML, JSON)

– Key-Value stores (hash tables)

– Triple stores (rdf “linked data”)

Big Data Analyse Tools

2. Big data i.r.t. Smart Cities en IoT

Relatie Big data met

• … Internet of Things: Toename # slimme objecten (met sensoren/actuatoren) leidt tot data explosie

• … Smart Cities: Sensing Analysis Acting(processen in steden efficiënter laten verlopen)

• … Open (City) Data: Stimuleert innovatie en eigen initiatief door burgers (“smart citizens”) en bedrijfsleven + Transparantie voorkomt “controlestaat” gevoel in een Smart City

Big Data in relatie tot…

Van City naar Smart City…

SensingAnalysis andPrediction

Act(uat)ingraw events meaningful

events

Waarnemen

(data creatie)

Aansturen / notificeren /

routeren van objecten en

subjecten

Beschikbaarstelling

Open sensor data

Beschikbaarstelling

Analyses

Beschikbaarstelling

Acties

Voorbeeld Sensing Analysis Acting

Smart City voorbeeld

3. Big Data “Kwesties”

Kwesties m.b.t. Big Data

• Visie en Strategie (beleid)

• Architectuur (systeem integratie)

• Kennis en Vaardigheden (opleiding)

• Standaarden (interoperability)

• Open Data vs Privacy (wetgeving)

• Beheer (data kwantiteit en kwaliteit)

• Security (misbruik van data)

Big Data Kwesties

• Verzameling van data vaak gekoppeld aan publieke taken gezondheidsgegevens, verkeersdoorstroming. Vaak ook bijproduct (telecom gegevens)

• Niet alle data mogen zo maar verzameld, bewerkt en verspreid worden

• Rekening houden met Privacy, (Staats)veiligheid, Doelbinding, Bewaartermijnen, en Intellectueel Eigendom Wet en regelgeving loopt vaak

achter de feiten aan

Privacy – “Mag dat allemaal zomaar?”

• Niet het wiel steeds opnieuw uitvinden!

• Interoperability tussen smart initiatieven nodig

• Delen van kennis en best practices

Standaarden – Uitwisseling van Big Data (bvb Sensor data)

Smart City A Smart City B

Standaard APIs

Standaard APIs

4. Big Data en de Overheid

NL Overheid en Big Data

• Rijk– Politie en Inlichtingendiensten– Diverse Landelijke Meetnetten (KNMI, RWS, RIVM, NSO/ESA)

• KNMI Meteorologie, Seismiek

• RWS NDW Netwerk + LM Water + Zwemwater• RIVM LM Lucht, Bodem, Grondwater, Radioactiviteit, Mest, Hemelhelderheid, Geluid (Schiphol)

– Grote admin. gegevensverzamelingen o.a. Belastingdienst, CBS, …– Smart City werkgroepen bij Ministeries (EZ/IenM/…)– ProRail Posities van treinen + dienstregeling– RWS Strategische visie op Big Data

• Waterschappen (meet- en regelsystemen water management)• Provincies (LoRaWAN Groningen, …)• Gemeenten (“Living Labs” in diverse steden, parkeersensoren,

tracking & tracing informatie stad- en streekvervoer, smart bins, …)

• Onderwijs (universiteiten) en onderzoeksinstituten (LOFAR meetnet)

• Geonovum Platform MS4S

Overheid en Big Data

• Voortrekkersrol nemen o.h.g.v. ontwikkeling van smart cities in de provincie

• Sturende en verbindende rol in de regio van diverse SMART initiatieven

– Awareness kweken

– Stimuleren samenwerking binnen provincie en onderling

– Organiseren kennisuitwisseling (voorkomen dat iedere gemeente het wiel aan het uitvinden is)

– Stroomlijnen van initiatieven o.h.g.v. architectuur, standaarden, privacy & ethiek, etc.

Rol van Provincies

5. Platform Making Sense for Society

(een initiatief van Geonovum)

Ambitie Via samenwerking, kennisuitwisseling en afspraken

de toepassing van the Internet of Everything verder brengen

Open platform Professionals uit bedrijfsleven,

kennisinstellingen en overheid (gouden driehoek)

Actiegericht Identificeren van vraagstukken, knelpunten en

innovaties + Werken aan maatschappelijke oplossingen

Resultaten Activiteiten zijn openbaar en vindbaar,

presentaties bij nationale en internationale bijeenkomsten

Platform MS4S

Deelnemende partijen

Ministerie van Economische Zaken

Ministerie van Infrastructuur en Milieu

Rijkswaterstaat

Rijksinstituut voor Volksgezondheid en Milieu

Use case gedreven Living Lab

Cross Cutting Themes dwars op de Use Cases

Case ? –….

Case 6 –

Sustainable cities

indicators

Diverse partijen

Case 4 –

EnergyThingscampus

Wageningen

Wageningen universiteit

Case 2 –

Smart emissions

Gemeente Nijmegen

Case 1 –

Burgerskracht en ouderen

langer zelfstandig

GemeenteZwolle

Case 5 –

Dagje Strand

Gemeente Den Haag

Case 3 –

Living Lab Stratumseind

Eindhoven

Gemeente Eindhoven

Beleidsvraagstukken

Platform (FIWARE)

Standaarden

Privacy & Ethiek

3D sensor data visualisatie

• Learning by doing!

Case “Living Lab Stratumseind” Eindhoven

Stuurgroep (6 meetings) bestaande uit belangrijke founding

partners en sponsoren

Operationale organisatie door Geonovum

– Organiseren plenaire meetings

– Faciliteren van werksessies

– Organiseren eindconferentie

– Organiseren stuurgroep meetings

Organisatie

Boodschappen aan provincies:

1. Visie ontwikkelen (provincies) op Big Data (inspiratie RWS)

gekoppeld aan provinciale thema’s en ambities

2. Inventariseer welke Big Data een provincie heeft en wat je

daarmee zou kunnen doen (“aan de slag” testbeds, pilots

Smart Provincie)

3. Voortrekkersrol nemen o.h.g.v. ontwikkeling van smart

cities in de eigen provincie

4. Kennis delen en ervaring opdoen o.h.g.v. Big Data, Smart

Environments en IoT via Geonovum Platform MS4S

Tot Slot

Vragen of meer informatie

info@geonovum.nl | www.geonovum.nl | @geonovum / #labms4s

Any questions?

Colofon

Drs. Erik van der ZeePlatform making sense for society

T +31 (0)20 5711 311M +31 (0) 6 1009 9691E erik.van.der.zee@geodan.nlI www.geonovum.nlT @erikvanderzee

Barchman Wuytierslaan 103818 LH AmersfoortP.O. Box 5083800 AM AmersfoortThe Netherlands