projekt a4: „alignment of situation models“ dr. gerd rickheit dr. sven wachsmuth dr. constanze...
Post on 06-Apr-2016
216 Views
Preview:
TRANSCRIPT
Projekt A4:„Alignment of
Situation Models“
Dr. Gerd RickheitDr. Sven Wachsmuth
Dr. Constanze VorwergAgnes Swadzba
SFB-Kolloqium, 04.02.2008
Alignment inCommunication
SFB 673
2
Aus der Sicht eines Roboters
Wahrnehmung komplexer Räume Vereinfachung der Komplexität
durch: Erzeugen von Situationsmodelle Alignment der Modelle Nutzen der Modelle zur Reduktion
des visuellen Verarbeitungsaufwands Welche Schritte sind notwendig?
BIRON
Alignment inCommunication
SFB 673
3
Perzeption der Szene
Fokus auf 3D Datenakquise Verschiedene Möglichkeiten:
Stereo-Kameras Laserscanner
Unsere Wahl: Swissranger SR3000 3D Time-of-Flight (ToF) Kamera 176 x 144 Pixelsensoren Abstandsberechung aus Zeitdifferenz zwischen
Senden und Empfangen eines Infrarotsignals
Alignment inCommunication
SFB 673
4
Beispieldaten eines Büros
Alignment inCommunication
SFB 673
5
Erweiterung des Sichtfelds
Aufnahme einer Sequenz von 3D Punktwolken Registrierung und Rekonstruktion zu einer
globalen Punktwolke Diplomarbeit:
„Estimation of Camera Motion from Depth Image Sequences“
Alignment inCommunication
SFB 673
6
Erweiterung des Sichtfelds
Alignment inCommunication
SFB 673
7
Analyse der Szenen
Datengetriebene Analyse der 3D Punktwolken Extraktion von
geometrischen „Raumprimitiven“: Beschränkung auf
von Menschen gestaltete Innenräume Extraktion von planaren Flächen:
Gegebene Anordnung der 3D Punkte in eine 2D Matrix Region Growing über die 8-er Nachbarschaft durch Punkte
die 4 Kriterien erfüllen Kriterien: planar, valid, conormal, coplanar
Alignment inCommunication
SFB 673
8
Analyse der Szenen
Alignment inCommunication
SFB 673
9
Ziele der Szenenanalyse
Menschen haben beim Betreten eines Raumes ein Raumkonzept im Kopf
Alignment des Roboter auf dieses Konzept Durch ähnliche Konzepte wird die Kommunikation
effektiver, einfacher und schneller Strategien:
Aushandeln im Dialog (Koordination) Annahmen aus Daten generieren Aus Handlungen generieren usw.
Wahrnehmung ist durch aktuelle Situation determiniert
Alignment inCommunication
SFB 673
10
Raumerkennung
Raumerkennung auf Basis planaren Strukturen
Experiment: Raumkategorien: Büro, Seminarraum, Flur Ziel: Klassifikation von Perzepten (3D Punktwolken)
in einer der 3 Raumkategorien (sowohl von bereits bekannten wie auch von unbekannten Räumen)
Merkmale: Statistiken auf extrahierten Ebenen
Alignment inCommunication
SFB 673
11
4 untersuchte Statistiken
Anzahl der Punkte pro planare Fläche
Winkel zwischen allen Flächenpaaren
Winkel zwischen nah benachbarten Flächenpaaren
Größen-verhältnisse zwischen allen Flächenpaaren
Alignment inCommunication
SFB 673
12
Durchführung des Experiments
300 frames pro Raum als Trainingsdaten 270 frames zum Trainieren der Klassifikatoren Neuronale Netze (NN) Support Vector Machine (SVM) Mischverteilungsklassifkator (MVK) 30 frames zum Testen der Raumwiedererkennung
300 frames von 3 weiteren Räume zum Testen der Kategorisierungsleistung bei unbekannten Räumen
Alignment inCommunication
SFB 673
13
Ergebnisse
Trainingsräume
Alignment inCommunication
SFB 673
14
Ergebnisse
Testräume
Alignment inCommunication
SFB 673
15
Ergebnisse
0
0,2
0,4
0,6
0,8
1
1,2
FV1 FV2a FV3 FV4 FV1,FV2b,
FV3, FV4
NN (recog)SVM (recog)MVK (recog)NN (catego)SVM (catego)MVK (catego)
Alignment inCommunication
SFB 673
16
Ausblick
Nächste Schritte: Experimente mit anderen Räumen
(z.B. Wohnzimmer, Schlafzimmer, Küche) Untersuchung alternativer Statistiken
Weitere Ziele: Generieren von Szenenmodellen basierend auf planaren
Strukturen und extrahierten Merkmalen Integration von Farbinformation Verwenden von Objektdetektoren Wissen über menschliche Modelle integrieren Weltwissen über Räume aufbauen Mögliche Dimensionen (Raumkonzept, Farbspektrum,
Größenbeziehungen, usw.)? Alignment auf und Abhängigkeit zwischen den Dimensionen?
top related