data gedreven innoveren, hoe doe je dat? · • woninginbraakmonitor (2012 –2015) politie •...
TRANSCRIPT
Data gedreven innoveren, hoe doe je dat?
About me
1990 Database Marketing2000 Customer Intelligence2010 BI & Data WarehousesToday: Big Data Analytics
Advanced Business Intelligence
Data Science Big Data Engineering
TRUSTED BY
Data lab Data Factory
• Innoveren
• Ontdekken
• Creativiteit
• Produceren
• Borgen
• Beheersbaarheid
Top 3
Big Data Innovatie Aanpak
Data lab Data Factory
Van waardevol idee naar waarde propositie
Waarde
Geclusterde ideeën
Value Proposition
Fears: Niet op het juiste moment op de juiste plek zijn
Needs: Weten waar en wanneer ingebroken wordt
Features: Hoeveel inbraken zijn er te verwachten in de verschillende buurtenop basis van veranderende omstandigheden (inbraken in de buurt, weer, evenementen) & kenmerken (woning, buurt)
Experience: Heatmapmet inbraakkans van de dag. Projecteren in briefing room
Benefits: Een dag vooruit voorspellen in welke wijk er verhoogde kans op inbraak is
Dienst Handhaving
Wants:Handhaven waar het relevant is
Woninginbraak Voorspeller
Van waarde propositie naar uitvoerbaar experiment
CRISP-DM
Cross Industry Standard Process for Data Mining• Cyclisch proces
• Onderscheid verschillende stappen
• Geeft houvast voor resourcing, tooling, skills
Business understanding• Begrijpen van de business uitdaging• Vertalen in een Datamining aanpak• Definiëren van succes factoren
• Bijvoorbeeld:– Kunnen we voorspellen welke klanten
gaan weglopen?– Welke factoren zijn bepalend?
• Gedrag• Persoonseigenschappen• Omgevingseigenschappen
Data Understanding
• Welke data lijkt relevant?
• Welke data is beschikbaar?
• In welke vorm, kwaliteit, historie, dichtheid?
• Eerste data exploratie kan al verrassende inzichten bieden
Data collection sources • Transactional • Time phased data• CRM
StructuredData
• Social• Channel• Customer Service• Warranty
UnstructuredData
• Temperature• RFID• GPS• Accelerometer
• Mapping and GPS• Video• Voice• Digital images
SensorData
Other Data Types
Data Preparation• Opschonen, koppelen en prepareren
van de data
• = 80% van het werk !
• En: Verschillende modellen vragenom verschillende data representaties
• Omgaan met verschillende data types, missing values, normaliseren
• Select, clean, transform, join…
Modeling
• Data Mining
• Verschillende modellen uitproberen
• Trade-off:– Performance
– Toepasbaarheid
– Begrijpelijkheid
Evaluation– Evalueren van voorspelkracht en
fit met de business doelen
– Tunen en verbeteren
– Interpretatie van het model
Hot: Combineren van verschillendemodellen op verschillende stukkendata (ensemble modelling)
DeploymentImplementatie, “in “produktie brengen”• Onderdeel maken van (geautomatiseerd)
bedrijfsproces
• Continue datafeed nodig
• Modellen leren bij op nieuwe data
Voorbeelden:
• “Next best action” adviseren aan call center medewerker
• Geautomatiseerd aansturen van banners
PROJECTVOORBEELD
Voorspellen woninginbraakDoel
Hoeveel inbraken zijn er te verwachten in de verschillende buurtenop basis van veranderende omstandigheden (inbraken in de buurt, weer, evenementen) & kenmerken (woning, buurt)
ToepassingHet aantal te verwachten inbraken vertalen naar:• Gerichte inzet van toezicht & handhaving• Voorlichting kwetsbare groepen en buurten• Gericht preventief beleid, samen met partners (politie, corporaties)• Inrichting nieuwe wijken
Business Understanding• Wat weten we van Panden en hun
omgeving?• Wat zijn volgens domeinexperts belangrijke
factoren bij het kiezen van een inbraaklocatie en tijdstip?
• Wat mogen we weten van inbrekers en hun gedrag?
Data Understanding• Basisregistratie Adressen en Gebouwen (BAG)• Basisregistratie Personen (BRP, voorheen GBA) • Demografie (leeftijd, geslacht, opleiding, inkomen..) • Locaties lantarenpalen & groen • Aanwezigheid kliko’s• Camera locaties • Bewonersmeldingen openbare orde• Woninginbraakmonitor (2012 – 2015) Politie• Dagmonitor (2010 – 2015) Politie• Politiekeurmerk Veilig Wonen uitgiftes
Weersomstandigheden (2011 – 2015) per dag, per uur & per wijk: KNMI
• Evenementenkalender, vakanties, feestdagen
Privacy
Modeleren en Evalueren
Modeling Evaluation
Van voorspellen naar bruikbare informatie
Dashboarding:
• Heatmap van voorspellingen• Trends• Invloed van maatregelen inzichtelijk maken• Relevante variabelen per buurt• Statistieken van voorgaande inbraken
– Methodiek, tijdstip, etc.
• Uiteindelijk draait het om de eindgebruiker– Wat is nuttig?
Data lab
DATALAB NADER BEKEKEN
InnoverenOntdekkenCreativiteit
Wat komt er kijken bij een Big Data experiment
• Waardevolle ideeën• Domeinkennis• Data
• Data Science kennis• Mensen• Middelen
-> Opleidingen-> Trainees-> Het Datalab !!
Het lab in de vorige eeuw
Een Datalab
• Veilig en snel experimenteren
• Rendement uit Data en Data Scientists
– Samenwerking, best practices sharing,
– Code and Data sharing (hergebruik van code en data)
– Meer tijd voor Data Science (minder IT gedoe)
• Drempel verlagen naar in productiename
Data verzamelen • Transactional • Time phased data• CRM
StructuredData
• Social• Channel• Customer Service• Warranty
UnstructuredData
• Temperature• RFID• GPS• Accelerometer
• Mapping and GPS• Video• Voice• Digital images
SensorData
Other Data Types
Data structureren
Een activity log
Zien wat je collega’s doen
Best practices delenCode
Datasets
Visuele tools versus command line
Radoop = RapidMiner + Hadoop
RapidMiner: Code Free Analytics on Hadoop
DataLABOntwerpt u mee?
Ontwerp je lab
• Jullie wensen
• Functionaliteit
• Hosting naar keuze
Aan de slag
• Met experimenten aan de slag
• Hergebruik van data en code
• Data Science support
• Onbeperkt opschalen van opslag en rekenkracht
Data etalage
• Gemeentelijke data
• Weer en evenementen
• Social Media
• ….
Hard working and having fun