maschinelles lernen: ein blick hinter die kulissen · n maschinelles lernen hilft,...
TRANSCRIPT
© Fraunhofer IIS
Maschinelles Lernen:Ein Blick hinter die Kulissen
Dr.-Ing. Thorsten Edelhäußer
Gruppe: Machine Learning and Information Fusion
© Fraunhofer IIS 2
Über uns
n Bereich Lokalisierung und Vernetzung des Fraunhofer IIS in Nürnberg
n Schwerpunkte:
n Maschinelles Lernen und Data Analytics (Deep Learning, Reinforcement Learning)
n Verteilte Ereignisverarbeitung und Datenstromanalyse
n Information und Sensor Fusion (Bays‘sche Filter, SLAM)
n Kamerabasierte und hybride Lokalisierungslösungen
n Anwendungsfelder:
n Virtual Reality, Lokalisierung, Sport, Robotik, Industrie 4.0
© Fraunhofer IIS 4
Daten sind allgegenwärtig...Extraktion von Wissen/Information: Data Mining?
n Data Mining auf diesen Daten:
n Erkennung von Anomalien/Ausreißern
n Erkennung von Objekt-Gruppierungen
n Klassifikation von Datensätzen
n Identifikation kausaler Zusammenhänge
n Identifikation statistischer Abhängigkeiten
n Aggregation von Datensätzen (ohne Informationsverlust)
© Fraunhofer IIS 5
Machinelles LernenWas ist das eigentlich?
n Beispiele werden nicht einfach „auswendig“ lernen
n Muster und Gesetzmäßigkeiten werden erkannt/extrahiert und in Form eines Modells repräsentiert
n Ziel:
n Lerntransfer: Beurteilung unbekannter Daten
n Achtung: Overfitting
Machinelles Lernen ist ein Oberbegriff für die „künstliche“ Generierung von Wissen aus Erfahrung: Ein künstliches System lernt aus Beispielen und kann diese nach Beendigung der Lernphase verallgemeinern.
Quelle: https://de.wikipedia.org/wiki/Maschinelles_Lernen
© Fraunhofer IIS 6
Machinelles LernenWas ist das eigentlich?
UnsupervisedLearning
Keine Labels
kein Feedback
SupervisedLearning
Input/OutputPaare
DirektesFeedback
Reinforcement Learning
Entscheidungsprozess
Belohnungssystem
Verborgene Strukturen extrahieren
Klassifikator oder Regressor zur
Prädiktion
Optimales "Verhalten"
© Fraunhofer IIS 7
Machinelles LernenWas ist das eigentlich?
Die „klassische“ Implementierung
Input
Programm
Output
Die „ML“-Implementierung
Input
Output
Programm
© Fraunhofer IIS 8Antenne 1
Antenne 2
Antenne NAntenne 12
Cluster
Lokalisiertes Objekt
Beispiel: LokalisierungssystemeTime Difference of Arrival (TDOA)
© Fraunhofer IIS 9
Beispiel: LokalisierungssystemeDer traditionelle Weg - Modellierung
ToA
ToA
ToA
ToA
Bewegung?
(t, x, y, z)
Wo? Kalibrierung? Analyse? Messmodell? Fehlermodell?Smoothing? Notwendig?
0 50 100 150 200 250 300 350 400 450 5000
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Abs(Correlation)
CorrEdgeMax
© Fraunhofer IIS 10
Beispiel: LokalisierungssystemeDer Machine Learning Weg
n Modellierung des Systems oft durch Approximation und Linearisierung.
n Kann man hier auch Machine Learning anwenden?
n Exkurs: WLAN-Fingerprinting:
1. Referenzdatenaufnahme an vielen Punkten.
2. Speichern in Datenbank.
3. Für neuen Messpunkt KNN ausführen undPosition (gewichtet) mitteln.
Problem: es wird kein Modell gebildet!
© Fraunhofer IIS 11
Beispiel: LokalisierungssystemeDer Machine Learning Weg
n Modellierung des Systems oft durch Approximation und Linearisierung.
n Kann man hier auch Machine Learning anwenden?
n Exkurs: WLAN-Fingerprinting:
1. Referenzdatenaufnahme an vielen Punkten.
2. Generierung eines Modells.
3. Für neuen Messpunkt das Modell entscheidenlassen.
© Fraunhofer IIS 12
Beispiel: LokalisierungssystemeDer Machine Learning Weg
n Die entscheidenden Merkmale (ToA) extrahieren,um damit ein Modell zu generieren, welches dieWirklichkeit beschreibt.
n Wenig Vorverarbeitung notwendig(es wird nur eine SW-Komponente ersetzt).
n “Moderate“ Menge an Trainingsdatennotwendig (abhängig von sog.Nicht-Linearitäten).
n NN, SVM etc. haben ähnliches Laufzeitverhaltenwie klassische Verfahren.
© Fraunhofer IIS 13
Beispiel: LokalisierungssystemeDer Machine Learning Weg
n Bewegungsmodell kann auch „erlernt“ werden.
n Positionsdaten generieren ohne (spezifisches) Bewegungsmodell.
n Beschreibung der Bewegung mit Hilfeeines Textstrings.
n Erlernen zusammenhängender Textfragmente und deren Übergänge zueinander.
© Fraunhofer IIS 14
Beispiel: Warenmanagement in der LogistikHerausforderungen für die Lokalisierung
n Realbedingungen oft sehr schwierig:
n Metallische Oberflächen.
n Unterschiedlichste Waren.
n Enge Gänge.
n Installationen müssen oft und aufwändig per Hand optimiert werden.
© Fraunhofer IIS 15
Beispiel: Lokalisierung in der Logistik
n Auch der ML-Ansatz steht hier vor großen Herausforderungen!
n Generelle Idee: Vorverarbeitung, Merkmalsextraktion, und –selektion auch durch das ML-Verfahren optimieren à Deep Learning
n Bewegungsverhalten der Objekte auch gleich mit integrieren.
Datenaufnahme (A/D) Vorverarbeitung Merkmalsextraktion Merkmalsauswahl Klassifikation
TrainingSamples
Machine Learning
Deep Learning
Der Deep Learning Weg
© Fraunhofer IIS 16
Deep LearningGrundsätzliches
n Meist in Form von neuronalenNetzen implementiert.
n Die ersten Schichten erlernenMerkmale und deren Gewichtung.
n Die letzten Verarbeitungsschritte gewichtenextrahierte Merkmale und fällen Entscheidungen.
n Aber:
n Immense Menge an Daten notwendig.
n Modellgenerierung kann Wochen dauern.
n Entscheidung oft schwer nachvollziehbar.
© Fraunhofer IIS 17
Deep LearningDatengenerierung
n Messprinzip für Lokalisierungssysteme
n objektiv
n reproduzierbar
n automatisiert
n Standardisierter Messbericht
n Positionen
n Bewegungen
n Aber auch ideal, um Trainingsdatenzu erzeugen!
© Fraunhofer IIS 18
Beispiel: LokalisierungssystemeDer Deep Learning Weg
n Außerdem möglich: Active Learning
© Fraunhofer IIS 20
Beispiel: Optische LokalisierungssystemeDer Deep Learning Weg
n Merkmals-basierte Matching-Verfahren in der Praxis:
n Zu langsam.
n Zu wenig robust gegenüber Umgebungsänderungen.
n outdoor: ~2.5m , < 5°; indoor: < 0.7m, < 1°.
© Fraunhofer IIS 21
Was haben wir verschwiegen?Reinforcement Learning
n MIT Technology Review: Groundbreaking Technologies 2017
n Zur Erinnerung: Deep Learning war 2013 auf der Liste.
© Fraunhofer IIS 22
Fazit
n Maschinelles Lernen hilft, Gesetzmäßigkeiten aus Datensätzen zu extrahieren, und diese durch ein Modell zu beschreiben.
n ML kann das Modell bestenfalls approximieren.
n Wenn das Modell ideal beschreibbar ist, können konventionelle Methoden überlegen sein.
n Vergleiche sollten daher differenziert betrachtet werden:
n Konventionelle Verfahren unter Idealbedingungen?
n Wie häufig existierten „schwierige“ Bedingungen?
n Echt-Hybride Methoden häufig die beste Lösung (aber aufwändig!)