Download - Digitalisierung des Privatlebens - wie Deep Learning Smartphone und Smart Home wirklich smart macht
Digitalisierung des Privatlebens
Wie Deep Learning Smartphone und Smart Home wirklich smart macht
Prof. Dr. René Peinl Hof, 02.11.2016
2
Digitalisierung im Privatleben in Beispielen
Wann ist digital auch smart?
Künstliche Intelligenz 4.0 – Deep Learning
Haushaltsroboter heute und morgen
Fazit und Ausblick
1
2
3
4
5
Agenda
Digitalisierung – eine spröde Definition
Der Begriff der Digitalisierung hat mehrere Bedeutungen:
1. die digitale Umwandlung und Darstellung bzw. Durchführung von Information
und Kommunikation oder
2. die digitale Modifikation von Instrumenten, Geräten und Fahrzeugen
3. die digitale Revolution, die auch als dritte Revolution bekannt ist, bzw. die
digitale Wende. Im letzteren Kontext werden nicht zuletzt
"Informationszeitalter" und "Computerisierung" genannt.
3
Gabler Wirtschaftslexikon, http://wirtschaftslexikon.gabler.de/Definition/digitalisierung.html
Digitalisierung ist die konsequente und umfassende Nutzung
digitaler Technologien zur Automatisierung, Arbeitserleichterung
und Schaffung neuer Produkte und Geschäftsmodelle.
René Peinl (2016)
Beispiel 1: Einkaufen
4
Digital Shopping #1 – Mr Spex
5
Bildquelle: areyouglobal.files.wordpress.com
Digital Shopping #2 - McDonalds
6
Bildquelle: Huffington Post, huffpost.com
Digital Shopping #3 – Ikea
7
Bildquelle: digitalbodies.netBildquelle: virtualrealityheadsetglasses.com
Beispiel 2: Waren liefern
8
Digitale Paketzustellung – private Packstationen
9
http://bilder.pcwelt.de/3623734_original.jpg
http://www.giga.de/wp-content/uploads/2015/03/dhl-paketkasten-allyouneed-rcm992x0.jpg
Digitale Paketzustellung #2 - Drohnen
10
http://media-cdn.sueddeutsche.de/image/sz.1.3096377
Digitale Paketzustellung #3 - Lieferroboter
11
http://www.manager-magazin.de/images/
image-960334-mmo_panoV9-qmhd-960334.jpg
http://www.pipeline.de/pipeline/showpics.php?id=11880277_l&rid=1
Beispiel 3: Autofahren
12
Digitales Autofahren #1 - Nutonomy
13
http://www.faz.net/aktuell/wirtschaft/neue-mobilitaet/selbstfahrende-taxis-in-singapur-14405490.html
Digitales Autofahren #2 – Audi und die Ampeln
• Car to X Kommunikation
• Ampeln informieren das Auto über die aktuellen Schaltzyklen
• Das Auto informiert den Fahrer über das Tempo für grüne Welle
bzw. die Wartezeit bis grün
14Bildquelle: Audi
Digitales Autofahren #3 - Mercedes
15
roadstars.mercedes-benz.comwww.mercedes-benz.com
Beispiel 4: Digitales sehen
16
Audi schult Verkäufer im echten Auto aber VR-Gefahr
17
http://mancve.com/2016/07/audi-vitrac-experience-vr-brille/
Digitales sehen #2 – Augmented Reality (z.B. Moverio)
18
http://www.digitalavmagazine.com/wp-content/uploads/2015/06/Epson-Moverio-Pro-BT-2000.jpg
Digitales sehen #3 – Mixed Reality (z.B. MS Hololens)
19
https://compass-ssl.surface.com/assets/4f/10/4f10562a-d446-40c7-a0d0-3ea5f5cda537.jpg
Wann ist ein Ding smart?
20
Sind Haushalts- und Gartenhelfer smart?
• Ist der Rasensprenger smart, weil man
ein Wochenprogramm mit individueller
Dauer und Zonen einstellen kann?
• Ist die Waschmaschine smart, weil man
sie vom Tablet aus starten kann und sie
drahtlos sagt, wann sie fertig ist?
• Ist der Staubsaugerroboter smart, wenn
er chaotisch im Raum rumfährt?
21
Miele@home Waschmaschine mit SmartStart
Gardena Rasensprenger mit Steuerung robosauger.com/roomba
Aspekt #1: smart ist, wenn Geräte zusammenspielen
• Der Rasensprenger wässert nur dann und
dort, wo der Feuchtesensor Trocken-
heit meldet und auch nicht, wenn
der Wetterbericht Regen angesagt hat.
• Die Waschmaschine startet genau dann,
wenn die PV-Anlage Strom generiert und
es laut Wetterbericht mit hoher Wahrscheinlichkeit
für die nächste Stunde weiter tut. Sie startet aber recht-
zeitig, so dass die Wäsche fertig ist, bevor der Bewohner abends heimkommt.
• Der Staubsaugerroboter bekommt von der Smart Home Zentrale gemeldet,
wenn kein Bewohner mehr im Haus ist und startet erst dann.
22
Bild
qu
elle
: w
ww
.mie
le.d
e
Ist ein Smart TV wirklich smart?
Wer hat schon einmal versucht eine Internetadresse mit der TV-Fernbedienung
einzugeben?
23
Bildquelle: https://www.youtube.com/watch?v=sFlWDL9YQgA
Aspekt #2: smart ist, was auf Kommando hört
24
Bildquelle: www.androidcentral.com
Musio Home Companion
Bildquelle: www.knowyourmobile.com
Amazon Echo / Alexa
Google Home
Bildquelle: blog.avira.com
Conversational User Interfaces
Aber: manchmal ist Reden Silber und Schweigen Gold
25Bildquelle: http://stadt-bremerhaven.de/amazon-dash-button-ab-sofort-in-deutschland-erhaeltlich/ sowie Amazon.com
Steve Krug: „Don‘t make me think“
Sind Smartphones wirklich smart?
• Ist Google Now smart, weil es weiß, dass Tom Cruise ein
Schauspieler ist und in welchen Filmen er gespielt hat?
• Ist Siri smart, weil sie das Wetter am aktuellen Ort
vorhersagen kann?
• Ist Cortana smart, weil sie auf Kommando Erinnerungen
erstellt oder einen Kontakt anruft?
26
Bildquelle: engadget.com
Cortana, erinnere mich daran heute Abend
Susi anzurufen!
Erinnerung erstellt.20.10.2016 19:00 Uhr
Susi anrufen
Aspekt #3: offenes und vernetztes mentales Modell
27Bildquelle: futurezone.at
Dag Kittlaus
Juni 2016: Apple öffnet
Siri für Drittanbieter
Oktober 2016: Samsung kauft Viv
September 2016: Amazon meldet 3000 Skills für Echo / Alexa
https://www.youtube.com/watch?v=Rblb3sptgpQ
Mai 2016: Vorstellung von Viv,
dem in-offiziellen Nachfolger von Siri
Linked Open Data
28
2008
2010
20112014
Sind Empfehlungssysteme wirklich smart?
• Ist es smart Bücher zu empfehlen, die andere
gekauft haben, die dasselbe Buch gekauft haben
wie ich?
• Ist es smart Produkte zu empfehlen, die sehr
ähnlich oder identisch sind zu dem, das ich
gerade gekauft habe?
• Ist es smart Musik zu empfehlen, die andere
gerade hören?
29
Bildquelle: eigene Screenshots
Was unterscheidet das beste Schach- und Go-Programm?
30
Bildquelle: www.newyorker.com
Bildquelle: nbcnews.com
• Vorgegebene Algorithmen
• Vorberechnung möglichst
vieler Stellungen
• Statistische Auswertungen
• „Brute Force“ Rechenleistung
• 2 x 1043 Stellungen
• Lernendes System
• Vorgeben von Zielen
• Langes Training mit 30 Mio Zügen
• Anschließend 100.000e Partien
gegen sich selbst
• „Intuition und Kreativität“
• 2,08 × 10170 Stellungen
Aspekt #4: Lernen und Kontexterkennung
31
http://heise.de/-3319416
https://awardwallet.com/blog/invasion-of-the-messenger-bots-as-otas-flock-to-facebooks-new-platform/
Aufgabenspezifische Chatbots
sind die neuen Apps
Alles zusammen = wirklich smart, z.B. smarte Küche
• Basistechnologien: digitale Kamera, Bilderkennung, Spracherkennung
• Open Data: semantische Datenbank über Nahrungsmittel, Produkte und Rezepte
• Deep Learning: verbessert Bilderkennungsrate und erkennt Nutzergewohnheiten
(wann isst jemand was)
• Direkte Eingabe: per Sprache wird ein Rezept abgerufen
oder der Zustand des Kühlschranks kontrolliert
32
• Empfehlungen: basierend auf Lebensmitteln im Kühlschrank
und erlernten Essgewohnheiten wird ein Rezept vorgeschlagen
• Vernetzung: der Ofen bekommt direkt über das Rezept die
richtigen Einstellungen übermittelt. Der Benutzer muss nichts
manuell einstellen
• Über Bratenthermometer, Hygrometer und andere Sensoren
erkennt der Ofen wann ein Lebensmittel fertig ist
Bildquelle: http://www.golem.de/news/liebherr-wenn-der-kuehlschrank-mitdenkt-1609-123066.html
Und wie funktioniert das jetzt?
33
Schritt 1: Semantisches Datenmodell erstellen
Woher wissen wir, ob ein Tier, dass wir sehen ein Vogel ist?
Bildquelle: Wikipedia
Vogel hat: 2 Beine, 2 Flügel, 1 Schnabel, 2 Augen, Federn, keine sichtbaren Ohren
Semantische Klassen festlegen und Attribute zuordnen
Farbe, Länge und Form des Schnabels, Länge der Beine, des Halses, …
Bildquelle: Wikipedia
Wie unterscheiden sich Vögel voneinander?
Schritt 2: Features aus Bild extrahieren
36
Schritt 3: kleine Features zu umfassenderen kombinieren
37
https://www.datarobot.com/blog/a-primer-on-deep-learning/
Deep neural network
38
http://www.kdnuggets.com/2015/10/top-arxiv-deep-learning-papers-explained.html
Gesichts-
Knoten
Katzen-
Knoten
diagonale
Linie
Knoten
Bild-
Features
Schritt 4: Aus Fehlern lernen: Backpropagation
39
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html
Minimiere den Fehler durch Differenzieren der Funktion
40
http://www.slideshare.net/keepurcalm/backpropagation-in-neural-networks
Schritt 5: Zuordnung von Bildern zu semantischen Klassen
41
Bildquellen:
http://www.tierchenwelt.de/images/stories/haustiere/katzen/katze_spielen_klein.jpg
https://tattoovorlagen24.files.wordpress.com/2012/03/schmetterling-tattoos.jpg
http://www.tierbildergalerie.com/data/media/94/ara_papagei.jpg
Katze
Haustier
Schmetterling
Papagei
Vogel
Natur
p=1,000
p=0,989
p=0,979
p=0,997
p=0,993
p=0,988
w=0,365
w=0,781
w=0,927
w=0,174
w=0,823
w=0,659
https://www.clarifai.com/demo
Smart Robots –
die Krone der technischen Evolution?
42
Gartner Hype Cycle Emerging Technologies
2015
Smart Advisors
Smart Robots
Maschinelles Lernen
Virtual Reality
Connected Home
Autonomes Fahren
Gartner Hype Cycle Emerging Technologies
2016
Smart Advisors
Smart Robots
Natürlichsprachige Fragenbeantwortung
Maschinelles Lernen
Virtual Reality
Conversational User Interface
Connected Home
Autonomes Fahren
Robust und hilfreich
• Boston Dynamics Atlas und SpotMini
http://heise.de/-3116207
http://heise.de/-3248140
• Honda Asimo
https://www.youtube.com/watch?v=6mVy3ZahcC4
45
Bildquelle: www.foxnews.comBildquelle: arstechnica.com Bildquelle: www.gizmag.com
Atlas
Asimo
SpotMini
Knuddelig und liebenswert
• Aldebaran Nao und Pepper
http://www.faz.net/aktuell/wirtschaft/cebit/der-tanzende-roboter-pepper-
entzueckt-die-cebit-besucher-14125881.html
• Care-o-Bot des Fraunhofer IPA (ohne Bild)
46
Bildquelle: www.railwaygazette.comhttp://gigabotics.com/robotics/robots-in-hospital/
Auf dem Weg durch das Uncanny Valley
47
Modifiziert nach: http://www.wired.com/
Ve
rtra
uth
eit
/ A
kze
pta
nz
Menschenähnlichkeit
Nao / Pepper
Mehr oder weniger „lebensecht“
48
Bildquelle: www.telegraph.co.uk (AFP/Getty Images)
https://www.youtube.com/watch?v=9q4qwLknKag
Bildquelle: www.teleaire.com
Bildquelle: www.digitaltrends.com
http://yournewswire.com/new-self-learning-robot-says-i-will-destroy-humans/http://www.moviefone.com/2011/03/08/most-realistic-looking-robot/
Fazit und Ausblick
49
Automata
50
Bildquelle: io9.gizmodo.com
2. Protokoll: Es ist Robotern verboten, sich selbst oder gegenseitig zu verändern.
… sonst sind sie nicht
mehr kontrollierbar
Chappie
https://www.youtube.com/watch?v=wt068dgiBmc
51
Bildquelle: www.wired.com (Columbia Pictures)
Selbstlernende Maschinen
können zum Guten oder Bösen
erzogen werden
Ex Machina
52
Bildquelle: www.neondystopia.comhttps://www.youtube.com/watch?v=ur3U3lC2FnY
Wenn Maschinen anfangen einen
Überlebenswillen zu entwickeln
Warum entwickelt sich jetzt alles schneller weiter?
• Von den Anfängen des Maschinen-Lernens bis heute hat es 60 Jahre gedauert
• Heute gibt es Open Source Bibliotheken, mit denen sich vieles leicht in eigene
Programme einbauen lässt und kostenlose Tutorials im Internet
• Beispiel 1: Spracherkennung in Android
– Mit nicht einmal 20 Zeilen zusätzlichem Programmcode kann aus jedem
Texteingabefeld eines mit Spracheingabe gemacht werden
53
• Beispiel 2: Maschinelles Lernen
– Mit DeepLearning4j kann man mit 100 Zeilen
Java Code sein eigenes Programm zur
Handschrifterkennung schreiben
– Man muss nicht im Detail verstehen, wie ein
Lernalgorithmus funktioniert, man verwendet eine
Bibliothek und füttert sie mit den relevanten Daten
– Besseres Verständnis des Algorithmus führt
trotzdem zu besseren Ergebnissen! Bildquelle: www.notieren.de
Ausgewählte Meilensteine aus der Vergangenheit
54
1986: Bemühungen um künstliche Intelligenz gelten als gescheitert
1996: IBMs Deep Blue (Großrechner) schlägt Schach-Weltmeister Kasparow
2001: Tim Berners Lee verkündet die Vision des Semantic Web
2006: Deep Fritz schlägt Schach-Weltmeister Kramnik auf einem High-End PC
2006: Ontoprise Ontobroker besteht den "Advanced Placement Test" in Chemie
2009: Wolfram Alpha beantwortet Fragen rund um Naturwissenschaften
2011: IBMs Watson schlägt die Jeopardy Champions Rutter und Jennings
Apple stellt Siri vor, die natürlichsprachige Benutzerfragen beantwortet
2016: Google Alpha Go schlägt weltbesten Go-Spieler Lee Sedol 4:1
Microsoft zeigt Skype mit Online Übersetzung gesprochener Sprache
1990 1995 2000 2005 2010 2015 2020 2025
Menschen verstehen exponentielle Entwicklungen nicht
55
Entwicklung der weltweiten Bevölkerung
Bildquelle: Moore’s Law Infographic by Time Magazine, humanswlord.wordpress.com
Maschinen lernen schnell
• Ein (intelligenter) Mensch braucht ca. 5 Jahre intensive Beschäftigung
(6 Stunden pro Tag, 5 Tage die Woche, 45 Wochen im Jahr) um Experte in
einer Domäne zu werden (z.B. Schach spielen, Programmieren, Radiologie, …),
also insgesamt 6.750 Stunden.
• Mal angenommen ein Computer braucht auf herkömmlicher PC Hardware
(z.B. Intel Core i7-6700T, 4 Kerne, 8 GB RAM) genauso lange
– Aber er trainiert 24x7x52 (sagen wir 23x7, wegen Wartung) => 294 Tage
– Warum nehmen wir keinen Server? (2x14 Kerne, 1 TB RAM) => 42 Tage
– Zu langsam? Mit Beschleunigerkarten für maschinelles Lernen => 1 Tag
56
Bildquelle: http://www.nvidia.com/object/deeplearningsystem.html
Die großen Konzerne investieren in KI und ML
57
https://www.crisp-research.com/die-machine-learning-akquisitionen-der-big-smarte-produkte-werden-standard/
Aquiriert von Name Sektor / Technologie Zeitpunkt
Amazon Shoefitr Schuh Empfehlungen April 2015
Amazon Safaba Maschinelle Text-Übersetzung September 2015
Amazon Orbeus Deep Learning, Text, Bild, Video Dezember 2015
Apple Spotsetter Personalisierung, Social Search Juni 2014
Apple VocallIQ Künstliche Intelligenz, gesprochene Sprache September 2015
Apple Perceptio Bilderkennung September 2015
Apple Emotient Gesichtserkennung, Emotionserkennung Januar 2016
Apple Turi Künstliche Intelligenz August 2016
Facebook Wit.ai Spracherkennung, API Januar 2015
Facebook Surreal Vision Computer Vision, Augmented Reality Mai 2015
Facebook Pebbles Computer Vision, Augmented Reality Juli 2015
Google Deep Mind Technologies Künstliche Intelligenz, Deep Learning Januar 2014
Google spider.io Erkennung von Klickbetrug bei Werbeanzeigen Februar 2014
Google Jetpac Künstliche Intelligenz, Bilderkennung, Ortsempfehlung August 2014
Google The Vision Company Künstliche Intelligenz Oktober 2014
Google Dark Blue Labs Künstliche Intelligenz Oktober 2014
Microsoft Aorato Enterprise Security, Machine Learning November 2014
Microsoft Equivio Text Analyse, eDiscovery Januar 2015
Microsoft Revolution Analytics Statistics, Big Data, Predictive Analytics Januar 2015
Microsoft MileIQ KI, Machine Learning, smartes Fahrtenbuch November 2015
Microsoft Touch Type Ltd. Künstliche Intelligenz, Keyboard App Februar 2016
Microsoft Wand Labs Conversational Intelligence, Künstliche Intelligenz, Text Juni 2016
Ziel ist es, eine umfassende Plattform zu haben
1. Einen “Conversation Canvas” – ein Platz wo Leute viel kommunizieren und
schreiben. Microsoft hat Office, Outlook, Skype und Cortana.
2. Ein KI “Gehirn” – ein hochentwickeltes mentales Modell der Welt.
Microsoft entwickelt seit 20 Jahren KI, hat aktuell z.B. gute Spracherkennung.
3. Einen sozialen Graph – Informationen über die Zusammenarbeit und
Beziehungen zwischen Menschen im Internet.
Microsoft kauft LinkedIn mit 433 Millionen registierten Benutzern für $26.2 Mrd
4. Eine (Smart Home) Plattform auf der die künstliche Intelligenz in den Haushalt
kommt. z.B. Microsoft Xbox oder Amazon Echo.
5. Schließlich ein Entwicklernetzwerk, das nur darauf wartet Erweiterungen für
die Plattform zu entwickeln.
z.B. 3.2 Mio registrierte Visual Studio Online Entwickler
58
Interview mit Satya Nadella (CEO von Microsoft)http://www.theverge.com/2016/7/7/12111028/microsoft-bot-framework-artificial-intelligence-satya-nadella-interview
… und dabei sind einige schon recht weit gekommen
59
Amazon Apple Facebook Google/Alphabet Microsoft
Smart Home Echo + Dash HomeKit - Home Hub + Nest Xbox + Kinect
DigitalerAssistent
Alexa Siri Facebook M Google Now Cortana
Soziale Plattform
Produkt-bewertungen
- Facebook Google+ Linked.In
Conversation - iMessage FB Messenger Allo Skype
Geodienste evtl. Here2 Apple Maps - Google Maps Bing Maps
Virtual Reality - - Oculus Rift Glass, Tango, … Holo Lens
Künstliche Intelligenz
DSSTNE, AWS MachineLearning
Turi, Bilder-kennung, meist intern1
Torchnet, DeepText
AlphaGo, TensorFlow, DeepMind, …
CNTK, AzureMachineLearning
Robotik Paket-drohnen
Apple Car? stellt Robotik-Experten ein3
Google Car, Schaft, Boston Dynamics
-
1 http://highscalability.com/blog/2016/6/20/the-technology-behind-apple-photos-and-the-future-of-deep-le.html
https://backchannel.com/an-exclusive-look-at-how-ai-and-machine-learning-work-at-apple-8dbfb131932b#.axa5xn2w62 http://www.handelsblatt.com/unternehmen/it-medien/audi-bmw-daimler-amazon-koennte-bei-kartendienst-here-einsteigen/13389790.html3 http://venturebeat.com/2015/02/04/facebook-gets-into-the-robot-game-and-data-centers-could-be-involved/
Spezielle und generelle künstliche Intelligenz
• Bisher werden überwiegend Speziallösungen für bestimmte Problemstellungen
entwickelt: narrow or special purpose AI
• Produkte, die uns beeindrucken sind häufig eine Kombination aus wenigen
Dutzend dieser Speziallösungen. Ein virtueller persönlicher Assistent oder
Chatbot unterscheidet z.B. Fragen zu Arbeit, Finanzen, Wetter, Sport und
ähnlichen Gebieten und kann in jedem Gebiet eine Reihe typischer Fragen
korrekt verstehen und beantworten, oder auch eigene Fragen stellen.
• General Purpose AI: Stellen sie sich vor, ihr Baby lernt am ersten Tag
Atari spielen und alle Level zu meistern
und am zweiten Tag Doom,
am 3. Schach, …
• https://www.youtube.com/watch?v=VBceREwF7SA
• https://www.youtube.com/watch?v=qv6UVOQ0F44
• https://www.youtube.com/watch?v=V1eYniJ0Rnk
• https://www.youtube.com/watch?v=TnUYcTuZJpM
60
Bildquelle: www.zum.de
Ausblick mit Sorge
Bei allem Enthusiasmus für digitale Lösungen darf der
gesunde Menschenverstand nicht außer Acht bleiben
Stephen Hawking, Elon Musk, Bill Gates und andere
namhafte Wissenschaftler sagen die digitale Singularität voraus
Science Fiction Filme sollten nicht nur im positiven Sinne als Vorbild
gesehen werden: auch deren Dystopien müssen ernst genommen werden.
Es scheint keine Frage ob, sondern nur wann die Systeme so weit sein werden
Special Purpose AI: System ist für bestimmten Bereich spezialisiert => ungefährlich
General Purpose AI: wird bisher noch nicht gebaut, aber Systeme wie AlphaGo, die
mit geringen Anpassungen für verschiedene Domänen
eingesetzt werden können sind die ersten Schritte dahin
=> potenziell gefährlich
61
abcnews.go.com
Bildquelle: brynjenkins.com
Hof University
Alfons-Goppel-Platz 1
95028 Hof, Germany
www.hof-university.de
Phone +49 9281 409-3000
Fax +49 9281 409-4000
In der Zukunft muss man mit KI rechnen
Prof. Dr. René Peinl
Head of research group systems integration
Teaching area: Web architecture