projekt a4: „alignment of situation models“ dr. gerd rickheit dr. sven wachsmuth dr. constanze...
TRANSCRIPT
![Page 1: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/1.jpg)
Projekt A4:„Alignment of
Situation Models“
Dr. Gerd RickheitDr. Sven Wachsmuth
Dr. Constanze VorwergAgnes Swadzba
SFB-Kolloqium, 04.02.2008
![Page 2: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/2.jpg)
Alignment inCommunication
SFB 673
2
Aus der Sicht eines Roboters
Wahrnehmung komplexer Räume Vereinfachung der Komplexität
durch: Erzeugen von Situationsmodelle Alignment der Modelle Nutzen der Modelle zur Reduktion
des visuellen Verarbeitungsaufwands Welche Schritte sind notwendig?
BIRON
![Page 3: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/3.jpg)
Alignment inCommunication
SFB 673
3
Perzeption der Szene
Fokus auf 3D Datenakquise Verschiedene Möglichkeiten:
Stereo-Kameras Laserscanner
Unsere Wahl: Swissranger SR3000 3D Time-of-Flight (ToF) Kamera 176 x 144 Pixelsensoren Abstandsberechung aus Zeitdifferenz zwischen
Senden und Empfangen eines Infrarotsignals
![Page 4: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/4.jpg)
Alignment inCommunication
SFB 673
4
Beispieldaten eines Büros
![Page 5: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/5.jpg)
Alignment inCommunication
SFB 673
5
Erweiterung des Sichtfelds
Aufnahme einer Sequenz von 3D Punktwolken Registrierung und Rekonstruktion zu einer
globalen Punktwolke Diplomarbeit:
„Estimation of Camera Motion from Depth Image Sequences“
![Page 6: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/6.jpg)
Alignment inCommunication
SFB 673
6
Erweiterung des Sichtfelds
![Page 7: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/7.jpg)
Alignment inCommunication
SFB 673
7
Analyse der Szenen
Datengetriebene Analyse der 3D Punktwolken Extraktion von
geometrischen „Raumprimitiven“: Beschränkung auf
von Menschen gestaltete Innenräume Extraktion von planaren Flächen:
Gegebene Anordnung der 3D Punkte in eine 2D Matrix Region Growing über die 8-er Nachbarschaft durch Punkte
die 4 Kriterien erfüllen Kriterien: planar, valid, conormal, coplanar
![Page 8: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/8.jpg)
Alignment inCommunication
SFB 673
8
Analyse der Szenen
![Page 9: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/9.jpg)
Alignment inCommunication
SFB 673
9
Ziele der Szenenanalyse
Menschen haben beim Betreten eines Raumes ein Raumkonzept im Kopf
Alignment des Roboter auf dieses Konzept Durch ähnliche Konzepte wird die Kommunikation
effektiver, einfacher und schneller Strategien:
Aushandeln im Dialog (Koordination) Annahmen aus Daten generieren Aus Handlungen generieren usw.
Wahrnehmung ist durch aktuelle Situation determiniert
![Page 10: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/10.jpg)
Alignment inCommunication
SFB 673
10
Raumerkennung
Raumerkennung auf Basis planaren Strukturen
Experiment: Raumkategorien: Büro, Seminarraum, Flur Ziel: Klassifikation von Perzepten (3D Punktwolken)
in einer der 3 Raumkategorien (sowohl von bereits bekannten wie auch von unbekannten Räumen)
Merkmale: Statistiken auf extrahierten Ebenen
![Page 11: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/11.jpg)
Alignment inCommunication
SFB 673
11
4 untersuchte Statistiken
Anzahl der Punkte pro planare Fläche
Winkel zwischen allen Flächenpaaren
Winkel zwischen nah benachbarten Flächenpaaren
Größen-verhältnisse zwischen allen Flächenpaaren
![Page 12: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/12.jpg)
Alignment inCommunication
SFB 673
12
Durchführung des Experiments
300 frames pro Raum als Trainingsdaten 270 frames zum Trainieren der Klassifikatoren Neuronale Netze (NN) Support Vector Machine (SVM) Mischverteilungsklassifkator (MVK) 30 frames zum Testen der Raumwiedererkennung
300 frames von 3 weiteren Räume zum Testen der Kategorisierungsleistung bei unbekannten Räumen
![Page 13: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/13.jpg)
Alignment inCommunication
SFB 673
13
Ergebnisse
Trainingsräume
![Page 14: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/14.jpg)
Alignment inCommunication
SFB 673
14
Ergebnisse
Testräume
![Page 15: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/15.jpg)
Alignment inCommunication
SFB 673
15
Ergebnisse
0
0,2
0,4
0,6
0,8
1
1,2
FV1 FV2a FV3 FV4 FV1,FV2b,
FV3, FV4
NN (recog)SVM (recog)MVK (recog)NN (catego)SVM (catego)MVK (catego)
![Page 16: Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008](https://reader035.vdocuments.net/reader035/viewer/2022062521/570491c51a28ab14218dac8e/html5/thumbnails/16.jpg)
Alignment inCommunication
SFB 673
16
Ausblick
Nächste Schritte: Experimente mit anderen Räumen
(z.B. Wohnzimmer, Schlafzimmer, Küche) Untersuchung alternativer Statistiken
Weitere Ziele: Generieren von Szenenmodellen basierend auf planaren
Strukturen und extrahierten Merkmalen Integration von Farbinformation Verwenden von Objektdetektoren Wissen über menschliche Modelle integrieren Weltwissen über Räume aufbauen Mögliche Dimensionen (Raumkonzept, Farbspektrum,
Größenbeziehungen, usw.)? Alignment auf und Abhängigkeit zwischen den Dimensionen?