Das MACS-Projekt:Affordance-inspirierte Roboterkontrolle
Erich RomeAbteilung Autonome Roboter
Karlsruhe, 24.01.2007
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
2FP6-004381-MACS
Vortragsübersicht
1. Einleitung
2. MACS-Ansatz zur affordance-inspirierten
Robotersteuerung
3. Zusammenfassung
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
3FP6-004381-MACS
Das MACS-Projekt
1. Einleitung
• Motivation• EU-Forschungsförderung zu kognitiven Systemen• MACS-Daten• Ausgangspunkt• J.J. Gibsons Affordances
2. MACS-Ansatz zur affordance-inspirierten
Robotersteuerung3. Zusammenfassung
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
4FP6-004381-MACS
1. Einleitung
Einige Beobachtungen:
Mobile Roboter haben Eingang in Massenproduktiongefunden: Roomba etc.
Mobile Roboter sind immer noch nur eingeschränktalltagstauglich.
Insbesondere sind noch robuste und adaptive mobileInteraktions- und Manipulationsfähigkeiten zuentwickeln.
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
5FP6-004381-MACS
1. Einleitung
Forschung über Kognitive Systeme:
Artefakte: Wunsch, anspruchsvollere technischeSystemen zu bauen
Biologie: Wunsch, kognitive Fähigkeiten zu verstehen
Ingenieurwissenschaften: Sich von den Life Sciencesinspirieren lassen, technische Systeme zu verbessern
Life Sciences: Benutzung von Computern undRobotersystemen zur experimentellen Validation vonModellen und Theorien
Aber: Es gibt noch keine allgemein anerkannte Methodefür die Konstruktion künstlicher kognitiver Systeme.
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
6FP6-004381-MACS
1. EU-Forschungsförderung zu Kognitiven Systemen
Einheit E5 „Cognition“, Luxemburg
Teil von IST (FP6, 2002–6) und ICT (FP7, 2007–13)
Calls:
Cognitive Vision Systems (FP5, 1996–2001)
Cognitive Systems (FP6, 2nd IST Call 2003)
Cognitive Systems (FP6, 4th IST Call 2004)
Cognitive Systems (FP7, 1st IST Call 2004)
Cognitive Systems (FP7, 3rd IST Call 2004)
Art der Forschung und Instrumente:Grundlagenforschungsprojekte, IPs, STRePs, CAs,
NoEs
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
7FP6-004381-MACS
1. Einleitung
Einige Ziele der 2. Ausschreibung im 6. RP der EUzu „Cognitive Systems“:
To construct embodied systems that can perceive,understand, and interact with their environmentwhile performing goal-directed tasks.
Methodologies for the construction of robust andadaptive cognitive systems integrating perception,reasoning, representation and learning.
Non-incremental research, rethink the way artificialcognitive systems are constructed.
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
8FP6-004381-MACS
1. MACS-Daten
Projektart: STReP
Grant no.: FP6-004381
2. FP6 IST Call: Cognitive Systems
PM: 342, davon 312 gefördert
Projektlaufzeit: Ende 2004 – Ende 2007
Multi-sensory Autonomous Cognitive Systems
interacting with Dynamic Environments for
Perceiving and Using Affordances
EC-Abteilung:
Directorate E,
Unit 5 – Cognition
Luxemburg
Langtitel
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
9FP6-004381-MACS
1. MACS-Konsortium
Fraunhofer Institute IAIS (Coord.), Sankt Augustin, DRobot control architectures, robot & sensors & autonomous systems design,biologically inspired robot vision
JOANNEUM RESEARCH Forschungsgesellschaft mbH, Graz, AComputer vision, ANN-based sensorimotor learning, mobile mapping
Linköpings Universitet, AI & Integrated Computer Systems Division, S Autonomous systems, knowledge representation, AI planning
Middle East Technical University, Ankara, TREvolutionary & swarm robotics, physics-based modelling & simulation, distributed computing environments
Österreichische Studiengesellschaft für Kybernetik, Vienna, ACognitive modelling & neuroscience, symbol grounding, AI learning
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
10FP6-004381-MACS
1. Einleitung
Einige Beobachtungen:
Mobile Roboter benutzen oft Wahrnehmungsmethoden,die nicht speziell für diesen Zweck entworfen wurden.
Auf höheren Wahrnehmungsebenen gibt es z.B. eineVorliebe für die Benutzung allgemeiner Methoden dermaschinellen Bilderkennung.
Solche allgemeinen Methoden
sind nicht in den aktorischen Fähigkeiten oderErfahrungen des Roboters verankert und sie
können die Handlungsmöglichkeiten des Roboterszu sehr einschränken.
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
11FP6-004381-MACS
1. Einleitung
Einige Fragen:
Wie können wir ein „kognitives“ mobiles Robotersystementwerfen, dessen aktorische Fähigkeiten ihm z.B.ermöglichen,
sich an geänderte Situationen anzupassen,
alternative Lösungen für eine Aufgabe zu finden,
mit bekannten und unbekannten Objekten in einersinnvollen und zielgerichteten Weise umzugehen,
Wahrnehmungsmethoden benutzt, die auf seineAufgaben und Handlungsmöglichkeiten zugeschnittensind, d.h. in seinen Handlungen verankert sind?
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
12FP6-004381-MACS
1. Ausgangspunkt: Gibsons Affordances
Grundlagen von Gibsons Ökologischer Psychologie
Lebewesen und Umgebung sind zueinander komplementär(sie bilden eine Systembeziehung)
➜ „embeddedness”, „situatedness”
Betonung von Studien in der realen Welt
Direkte Wahrnehmung (keine mentalen Repräsentationen)
Abgriff der Informationen aus dem optischen Feld
Früher Forschungsschwerpunkt: durch Bewegung erzeugteInformation (z.B. optischer Fluss)
James Jerome Gibson, 1904–1979:
PsychologeArbeitsgebiet: Visuelle WahrnehmungStudium: Yale UniversityArbeitete später an Cornell University
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
13FP6-004381-MACS
1. Ausgangspunkt: Gibsons Affordances
Grundlagen von Gibsons Affordance-Theorie
Die „abgegriffene“ Information umfasstsichtbare Funktionen (oder Nutzen) eines „Objekts“
Diese Funktionen können unter Benutzungabstrakter Merkmale (bezüglich physischer Eigenschaftendes Lebewesens) beschrieben werden:
„sittable“ (für einen Menschen) ➜kniehohe, waagerechte, stabile Abstützung, bestimmteMindestgröße
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
14FP6-004381-MACS
1. Ausgangspunkt: Gibsons Affordances
Grundlagen von Gibsons Affordance-Theorie
Gibsons Definition von 1979:
„An affordance is a resource or support that the environment offers an animal for action.
The animal must possess the capabilities to perceive and act upon it.“
„The Ecological Approach to Visual Perception“ (1979)
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
15FP6-004381-MACS
1. Ausgangspunkt: Gibsons Affordances
Affordances gegen Objektklassifikation:
Gibson:
„… to perceive an affordance is not to classify anobject.“ (Gibson 1979, p. 134).
„… If you know what can be done with a graspableobject, what it can be used for, you can call itwhatever you please. …You do not have to classifyand label things in order to perceive what theyafford.“ (Gibson 1979, p. 134)
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
16FP6-004381-MACS
1. Ausgangspunkt: Gibsons Affordances
Ein erstes Fazit:
Die Fähigkeit, Affordances wahrzunehmen, d.h.Funktionen von Entities in der Welt wahrzunehmen,befähigt zu mehr Handlungsmöglichkeiten:
Ein Lebewesen (oder Agent) kann sogar wissen, was esmit Entities tun kann, die es nie zuvor wahrgenommenhat.
Aber: Wie unterscheiden wir individuelle Objekte?Wie erkennen wir Exemplare einer Objektart?
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
17FP6-004381-MACS
1. Ausgangspunkt: Gibsons Affordances
Zwei Systeme / Wahrnehmungs-Handlungs-Zyklus
Affordance-System hat sich früh entwickelt,arbeitet bottom-up
Erkennungssystem für Objektinstanzen hat sichspäter entwickelt, arbeitet top-down
Wahrnehmungs-Handlungs-Zyklus als einintegrierender konzeptueller Rahmen
➜ Handlungsorientierte Wahrnehmung (action-oriented perception)Neisser, U. (1967). Cognitive Psychology.
Englewood Cliffs, NJ: Prentice-Hall.
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
18FP6-004381-MACS
Das MACS-Projekt
1. Einleitung
2. MACS-Ansatz zur affordance-inspiriertenRobotersteuerung• Definitionen• Äquivalenzen und Handlungsmöglichkeiten• Repräsentation, Perzeption und Lernen von Affordances
• Roboterplattform KURT3D und ihre Grundfähigkeiten• Affordance-inspirierte Kontrollarchitektur
3. Zusammenfassung
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
19FP6-004381-MACS
2. Der MACS-Ansatz
Projektziele:
Repräsentation und Formalisierung von Affordances
Wahrnehmen, Lernen, zielgerichtetes Benutzen vonAffordances
Realisierung eines kompletten, affordance-inspiriertenKontrollsystems
Experimentelle Validierung
Proof of concept mit realem mobilen Roboter in einemkomplexen Stapel-Szenario mit Alltagsobjekten undTrainingsobjekten
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
20FP6-004381-MACS
2. Der MACS-Ansatz
Standpunkt in MACS:
Traditionelle Wahrnehmung mit Betonung deraussehensorientierten Objekterkennung schränkt dieHandlungsmöglichkeiten eines Roboters ein
Funktionsorientierte Wahrnehmung, die in den Handlungen desRoboters verankert ist (Simulation eines Affordance-Systems),ermöglicht den Bau von Robotern mit größerer Flexibilität undmehr Handlungsmöglichkeiten, insbesondere bei Manipulation
MACS bevorzugt Neissers integrierende Sicht, aber konzentriertsich klar auf Fortschritte bei der Simulation eines affordance-artigen Systems und seiner Verbindung zur deliberativenSteuerung
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
21FP6-004381-MACS
2. Der MACS-Ansatz
Standpunkt in MACS:
Um Affordances für die deliberative Steuerung(schlussfolgern und planen) zu benutzen, müssen sie ineinem Robotersystem repräsentiert sein.
Eine explizite Repräsentation erfordert eineFormalisierung des Affordance-Begriffs.
Affordances als Relationen zwischen den Fähigkeiten einesLebewesens und Merkmalen in seiner Umgebung(Stoffregen, 2000ff; Chemero, 2003ff)
Eigene formale Charakterisierung zur Vertiefung desVerständnisses:P. Doherty et al.: D4.2.1: Draft Theory of Affordances
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
22FP6-004381-MACS
2. Der MACS-Ansatz
Basis-Definition:
Affordance (eines Agenten) :Die Affordance (eines Agenten) ist eine Relationzwischen einem Agenten und seiner Umgebung, welcheeine Fähigkeit bietet. Die Agent/Umgebungs-Relationbietet eine Fähigkeit, wenn der Agent
1. wahrnehmen kann, dass er sich in einer solchenRelation mit seiner Umgebung befindet und
2. das Handlungsvermögen hat, diese Fähigkeitumzusetzen.
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
23FP6-004381-MACS
2. Der MACS-Ansatz
Entity, Wahrnehmungsaspekt der Affordance:
Ein Agent A muss fähig sein, eine Affordancewahrzunehmen.
Der Wahrnehmungsaspekt, auch Entity genannt, bestehtaus einer Menge von Merkmalen der Umgebung und ggf.Informationen über deren räumliche u. zeitlicheEntwicklung über ein bestimmtes Zeitintervall.
Nb: „Entity“ ist i. allg. nicht das Gleiche wie „Objekt“.
Die Beschaffenheit und Güte der Entity-Information hängtvon A’s Wahrnehmungsfähigkeiten ab.
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
24FP6-004381-MACS
2. Der MACS-Ansatz
Umgebung Agent
AgentAffordance
(Umgebung, Agent)
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
25FP6-004381-MACS
2. Der MACS-Ansatz
BehaviorEntity
Outcome
Entity: Wahrnehmungsaspekt der Affordance. Relevante Cuesder Umgebung, die Unterstützung für dieWahrnehmung der Affordance bieten.
Behavior: Handlungsaspekt der Affordance im Sinne der Robotik.
Outcome: Geforderte Auswirkung, i. allg. implizit angenommen.
(Outcome, Entity, Behavior)
Umgebung Agent
AgentAffordance
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
26FP6-004381-MACS
2. Der MACS-Ansatz
Heben
Entity-Äquivalenz: Ein Behavior, das auf verschiedene Entities angewendetwird, erzeugt den gleichen Outcome.Analog: Behavior-Äquivalenz, Affordance-Äquivalenz
{entity}: Charakteristiken einer hebbaren Entity.
Hebbarkeit
Schwarze Dose
Entity gehoben
Blaue Dose
(Outcome, {entity}, Behavior)
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
27FP6-004381-MACS
2. Der MACS-Ansatz
Definition:
(Agenten-)Affordance Repräsentation:Eine Affordance-Repräsentation ist eine Datenstruktur (Outcome-
Deskriptor, Cue-Deskriptor, Behavior-Deskriptor), wobei
• Outcome-Deskriptor eine Entity-Trajektorie ist, die sowohl
Attributpaare und zugehörige Wertebereiche als auch deren
räumliche und zeitliche Entwicklung enthält,
• Cue-Deskriptor eine Entity-Trajektorie ist, die sowohlAttributpaare und zugehörige Wertebereiche als auch deren
räumliche und zeitliche Entwicklung enthält,
• Behavior-Deskriptor eine Referenz auf ein Roboter-Behavior ist
– reaktiv oder auf höherer Ebene – , optional ergänzt um eine
Menge von Behavior-Parametern.
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
28FP6-004381-MACS
2. Der MACS-Ansatz
Entity, Wahrnehmungsaspekt der Affordance:
Der Cue-Deskriptor wird gesammelte Information enthalten,
die charakteristisch für die vorhandene Agenten-Affordance
ist, basierend auf A’s Erfahrung. (➜ Lernen)
Einmal gelernt, kann der Cue-Deskriptor benutzt werden, um
eine Affordance wahrzunehmen. (➜ (matched?) filter)
Der Agent kann den Cue-Deskriptor später verfeinern, wenn er
neue Erfahrungen sammelt. (Keine Umetikettierung nötig!)
Mit hinreichender Lernerfahrung enthält der Cue-Deskriptor
im Idealfall unterschiedliche Merkmale, die darauf angepasst
sind, eine Affordance zuverlässig wahrzunehmen.
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
29FP6-004381-MACS
2. Der MACS-Ansatz
Roboter-Agent KURT3D:2 Kameras
3D-LaserscannerEntfernungs-Sensoren
6 Räder, 2 Antriebsmotoren
3-DOF Kran mit magnetischemGreifer
C167 MC, CAN-bus,eingebauter Notebook-PCmehr ...
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
30FP6-004381-MACS
2. Der MACS-Ansatz
Grundfähigkeiten zum Wahrnehmen und Handeln:
Visuelle Aufmerksamkeit (bottom-up und top-down)
„Feature detectors“ (Einzel-Sensor, Multi-Sensorik)
Aufbereitung von Scanner-Daten (Freiraum, Hindernisse)
Roaming (benutzt Fahren, Bremsen, Drehen)
Eine Pose anfahren
Verschieben, heben, fallen lassen, befördern, stapeln, ...
Fernsteuerung (für überwachtes Lernen)
Behavior system
Perception module Feature detectors
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
31FP6-004381-MACS
2. Der MACS-Ansatz
Anfängliche Menge von Agenten-Affordances:
Durchquerbarkeit
Verschiebbarkeit
Hebbarkeit
Ziel:Lernen von Agenten-Affordances, um ein komplexesStapel-Szenario zu meistern, einschließlich trainierterund nicht trainierter Testobjekte, konstruierter„Spielzeug“-Testobjekte und alltäglicher Testobjekte
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
32FP6-004381-MACS
2. Der MACS-Ansatz
Erwerb von Wissen („bottom up“):
Anfängliche Lernphase:
Erkunde die Umgebung
Manipuliere Entities in der Umgebung (hebe, verschiebe)
Nimm eigene Handlungen wahr (Zeitreihen)
Nimm das Outcome wahr
Lerne die Beziehung zwischen Cue, Behavior und Outcome
Langfristige Perspektive: Permanentes online-Lernen
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
33FP6-004381-MACS
2. Der MACS-Ansatz
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
34FP6-004381-MACS
2. Der MACS-AnsatzBenutzung von visueller Aufmerksamkeit zurErkundung („Neugier“)
Grundfähigkeit
VOCUS (bottom-up und top-down)
Bottom-up in Kamerabildern L und R
Berechnen der ungefähren Position mit Triangulation
Anfahren des hervorstechenden Entitys
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
35FP6-004381-MACS
2. Der MACS-Ansatz
Bottom-up-Wahrnehmung: Anwendung von„feature detectors“
Extrahieren einer Hierarchie von „feature“-Abstraktionen
„Feature detectors“:
Hervorstechendes in Kamera-, Tiefen- und Remissionsbildern
Farb-Blobs
SIFT-Kategorien
Größenverhältnisse der Farb-Blobs
…
Informationsfusion aus 2D- und 3D-Information
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
36FP6-004381-MACS
Strategieplan hin zur zweckmäßigen Benutzung vonAffordances durch einen künstlichen Agenten
Ausführung (reaktiver) Behaviors (B)
Wahrnehmung eigener Handlungen (➜ Lernen)
Erwerb von Wissen über Cues (C) (➜ Lernen)
Erwerb von Wissen über Outcomes (O) (➜ Lernen)
Aufbau des O-C-B Affordance-Repräsentations-Repositorys
Bereit für zielgerichtetets Verhalten
2. Der MACS-Ansatz – Wissenserwerb
Behavior system
Perception module Feature detectors
Learning module
Bottom-up-Wissenserwerb
Aff. Repres. Repository
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
37FP6-004381-MACS
Benutzung des Affordance-Repräsentations-Repositorys
Rückgabe von Behaviorsdie zu einem gegebenen Outcome führen, wenn sie auf einergegebenen Entity ausgeführt werden: {o,c} ➜ {b1, ...}
Rückgabe von Outcomesdie sich ergeben durch Ausführung einer gegebenen Handlungauf einer gegebenen Entity:
{b,c} ➜ {o1, ...}
Rückgabe von Cuesdie ein gegebenes Outcome ergeben durch Ausführung einergegebenen Handlung:
{b,o} ➜ {c1, ...}
2. Der MACS-Ansatz – Afford.-Repräsentations-Repository
Behavior system
Perception module Feature detectors
Learning module
Aff. Repres. Repository
Repräsentationsanfragen
Deliberation module
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
38FP6-004381-MACS
Benutzung des Affordance-Repräsentations-Repositorys
Rückgabe von (cues, behavior)-Tupelndie zu einem gegebenen Outcome führen: {o} ➜ {(b1,c1), ...}(➜ Affordance-Äquivalenz)
Rückgabe von (behavior, outcome)-Tupelndie in Relation stehen zu einer gegebenen Entität: {c} ➜ {(b1,o1), ...}(➜ Entity- oder Cue-Äquivalenz)
Rückgabe von (cues, outcome)-Tupeln die in Relation stehen zu einer gegebenen Handlung: {b} ➜ {(c1,o1), ...}(➜ Behavior-Äquivalenz)
2. Der MACS-Ansatz – Afford. Representation Repository
Behavior system
Perception module Feature detectors
Learning module
Aff. Repres. Repository
Repräsentationsanfragen
Deliberation module
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
39FP6-004381-MACS
2. Der MACS-Ansatz– Architektur
Spezielle Komponenten
ESGM als Kristallisations-punkt für die Integration
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
40FP6-004381-MACS
2. Der MACS-Ansatz
Wissensnutzung („top down“):
„Mission“-Phase: Erledige eine gegebene Aufgabe
Mache einen Plan unter Benutzung gelernter Relationen /
Repräsentationen
Benutze für jede Teilaufgabe Cue-Information, um
zielgerichtet nach relevanten Cues zu „suchen“ (bringe den
Roboter in Position)
Benutze äquivalente Deskriptoren, wenn Cue nicht gefunden
wird
Fahre zu Entity
Führe Behavior aus
Prüfe Outcome
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
41FP6-004381-MACS
Affordance-basierte Planung, Top-down-Wahrnehmung:
Ein Plan ist eine Folge von (outcome, cues, behavior)-Triples
Lege gewünschtes Outcome fest
Hole {Cues}, {Behavior} aus ARR
Wähle einen aus der Menge der Affordance-Deskriptoren
Suche nach Entity-Unterstützung / Cues(➜ EEM, Top-down-Wahrnehmung)
Wähle ein Roboter-Behavior und führe es aus
Prüfe tatsächliches Outcome
Was tun, wenn Entity-Unterstützung / Cues nicht entdecktwerden?
2. Der MACS-Ansatz – Planung
Behavior system
Perception Feature det.
Learning
A. R. Repository Deliberation Planning EE Monitoring Exec. Control
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
42FP6-004381-MACS
2. Der MACS-Ansatz
Behavior system
Perception Feature det.
Learning
A. R. Repository Deliberation Planning EE Monitoring Exec. Control
Top-down-Wahrnehmung:
Planer übergibt Cue-Deskriptor an EEM
EEM benutzt Cue-Deskriptor um Wahrnehmung zu konfigurieren
Wahrnehmung sucht nach Affordance-Cues
Wahrnehmungs-Modul in Top-down-Modus:
Bestimme Wahrnehmungszustand aus visuellen und propriozeptiven
Merkmalen
Lerne voraussichtliche Wahrnehmungszustände im Kontext der
Affordances
Extrahiere relevante Merkmale aus den voraussichtlichen Zuständen
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
43FP6-004381-MACS
Affordance-basiertes Planen und Schließen:
Wegen der Konzepte wie Entity-Äquivalenz und Behavior-Äquivalenz ist die skizzierte zielgerichtete Benutzung vonAgenten-Affordances geeignet, größere Flexibiltät bei derErledigung von Aufgaben zu ermöglichen.
Eine explizite Repräsentation von Agenten-Affordances erlaubtdas Schließen über Nutzen oder Funktionen mit Hilfe der BegriffeEntities, Behaviors und Outcomes.
Mittel- und langfristige Forschungsperspektiven:Schaffung bekannter Affordances: Veränderung der Umgebung,WerkzeugbenutzungSchaffung neuer Affordances: Bau von Werkzeugen, Technologie
2. Der MACS-Ansatz
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
44FP6-004381-MACS
Das MACS-Projekt
1. Einleitung
2. MACS-Ansatz zur affordance-inspiriertenRobotersteuerung
3. Zusammenfassung
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
45FP6-004381-MACS
MACS: Ansatz zur Robotersteuerung, der inspiriert wurdedurch das Konzept der Affordances von J.J. Gibson
Der Ansatz ist insbesondere eine Mischung von
handlungs- and funktions-orientierter Wahrnehmung,
Erwerb und explizite Repräsentation von Wissen über Nutzen,
zielgerichtete Benutzung solcher Repräsentationeneinschließlich aktivem maschinellen Sehen.
Diese besondere Mischung umfasst NICHT die direkteWahrnehmung, welche der umstrittenste Teil von GibsonsÖkologischer Psychologie ist
Wir ziehen es vor, diese Mischung als “Affordance-inspirierte”Robotersteuerung zu bezeichnen
3. Zusammenfassung
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
46FP6-004381-MACS
Wir haben neuere Bestrebungen berücksichtigt,Definitionen und Theorien der Affordances voranzutreibenund klarzustellen (Chemero, Stoffregen)
Basierend auf diesen neueren Arbeiten haben wir einenSatz eigener Definitionen entwickelt einschließlich dereiner Agenten-Affordance
Auf Grundlage dieser Definitionen wurden eineFormalisierung und passende repräsentationale Schemataentwickelt
Eine zur Implementierung des vorgeschlagenen Steuerungs-ansatzes passende Steuerungsarchitektur wurde entwickelt
3. Zusammenfassung
Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB
47FP6-004381-MACS
Die Robustheit und Allgemeinheit des Ansatzes wird amEnde in einem komplexen Stapel-Szenario demonstriertwerden
Im MACS-Ansatz ist funktionsorientierte Wahrnehmung inden Handlungen des Roboters verankert (welche durchseine Fähigkeiten festgelegt sind), und sie wird in einerzweckmäßigen und zielgerichteten Weise genutzt
Dieses andersartige „ontologische Schneiden“ schafft eineneue Art der Robotersteuerung
3. Zusammenfassung