Institut für Mess- und RegelungstechnikProf. Dr.-Ing. C. StillerKarlsruhe, Germany

Description Logic for Vision-Based

Intersection InterpretationBritta Hummel

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

2

Motivation

Road Recognition: The „Model-based“ Approach

Low-dim. geometry model

(clothoid, …)

2. Compare

1. Project

3. Update Parameters

Solved for highly constrained domains (highways)

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

3

Motivation

Intersection Recognition: [Heimes&Nagel02]

2. Compare

3. Update Parameters

1. Project

How can we generalize to arbitrary intersections?

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

4

Motivation

1. High-dimensional

hypothesis space

2. Few features

- Narrow field of view

- Massive occlusions

- Omitted features

3. Presence of noise

- Unmodelled objects

- Bad feature quality

Challenges

Model-based approach becomes ill-posed!

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

5

Narrow down hypothesis space!

Motivation

• More top-down information flow

start higher up: use conceptual knowledge!

move further down: parameterize feature detectors!

• Collective classification simultaneously reconstruct geometry and semantics!

So …what now?

FOL Representation and FOL Reasoning!

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

6

This Talk

1. Motivation

2. Architecture

3. DL Road Network KB

4. DL Inference for Scene Interpretation

5. Application

6. Evaluation

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

7

Architecture

Enhance Model-Based Vision by Logic

Update Pars

Project

Verify/Falsify

Generate Constrain

Learn

Generic

Geometry

Model

Logical

„Configuration“

Model

DL Road

Network KB

Feature detectors,

other KB‘s, …

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

8

This Talk

1. Motivation

2. Architecture

3. DL Road Network KB

4. DL Inference for Scene Interpretation

5. Application

6. Evaluation

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

9

Model of Geometry

GP1 GP3GP2

Geometric Primitives

Spatial Relations

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

10

Symbol Grounding

Geometric Primitives

Spatial Relations

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

11

TBox

Geometric Constraints

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

12

TBox

Constraints wrt Road Building Regulations

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

13

ABox

Sensor Data Integration

• Partial observability

OWA

• Structurally differing sensor data (e.g. from map, video)

• Distributed sensor data Non-UNA + identification reasoning

• Open/Closed Domain Data (Nominals) / Closed domain assumption:

• Conflicting/Uncertain Data

BLPs/MLNs/…

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

14

This Talk

1. Motivation

2. Architecture

3. DL Road Network KB

4. DL Inference for Scene Interpretation

5. Application

6. Evaluation

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

15

Inference: Example I

(Collective) Classification is Abox realization

l11l12l13

l 21

l 22

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

16

Inference: Example I

(Collective) Classification is Abox realization

l11l12l13

l 21

l 22

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

17

Inference: Example I

(Collective) Classification is Abox realization

l11l12l13

l 21

l 22

tr-l11-l21

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

18

Inference: Example I

(Collective) Classification is Abox realization

…

l11l12l13

l21l22

tr-l11-l21

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

19

Inference: Example I

Link Prediction is Instance Checking

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

20

Inference: Example II

Link Prediction is Instance Checking

l11l12l13

l21l22

tr-l11-l21

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

21

Video:

Inference: Example III

Data Association is Identification Reasoning

Positioning Device & Map Matching:

Digital Map:

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

22

Inference: Example IV

Hypothesis Generation is …?

• Classical logical inference is deductive• Bio./Mach. Vision is not deductive: lots of hypothetical reasoning, jumping

to conclusions, backtracking if wrong

Non-deductive / non-monotonic reasoning needed!

…Abduction

Poole, Shanahan, Möller

…Introducing procedurality

[Neumann&Möller06]

…Model construction by transformation into Constraint Satisfaction Pr.

[Reiter&Mackworth87]

…Model construction under Answer Set Semantics

We have started…

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

Beautiful Analogies…

Scene Interpretation Problem

Logical Reasoning

Paradigm

Partial / Full Observability OWA /CWA

Distributed Sensor Data Non-UNA

(Non-)Restricted domain data (No) Local closed domain assumption

Object classification ABox realization

Link prediction Instance checking

Data association Identification reasoning

Hypothesis Generation Nonmonotonic reasoning

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

24

This Talk

1. Motivation

2. Architecture

3. DL Road Network KB

4. DL Inference for Scene Interpretation

5. Application

6. Evaluation

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

25

Application

Geometry model generated from DL ground truth ABox

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

26

Application

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

27

This Talk

1. Motivation

2. Architecture

3. DL Road Network KB

4. DL Inference for Scene Interpretation

5. Application

6. Evaluation

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

28

Summary

• Road Recognition Intersection Interpretation– escape from toy world narrow down hypothesis space:

not only bottom-up but also top-down reasoning

collective classification

• Enhance model-based vision by logical reasoning– Expressive geometry model– Generate generic geometric model out of logical „configuration“ model– Generate and constrain logical model through logical reasoning

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

29

Evaluation

• Vision:Sets of knowledge engineers coding&maintaining large, distributed,

modular, semantically unambiguous KB‘s for SI• DL:

• Wish List :– Foundational ontologies / „best practices“ for KB design for SI – Faster Abox reasoning (>10 individuals prohibitively slow on our KB)– Language expressiveness:

• Spatial Relations: JEPD condition• Feature chains• Nominals

– Nonmonotonic reasoning

+ -

Analogies: reasoning and SI

Object-oriented KR, syntactic sugar

Tool support (GUI: Protégé, RacerPorter)

Sophisticated reasoners availabe

Active community

KB design still takes a logic expert and years

KB will most likely still be toy world

KB will not be fully unambiguous due to required „hacks“

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

30

Outlook

1. Nonmonotonic reasoning with ASP2. Incremental hypothesize & test3. Integration with Irina Lulcheva‘s MLN-based traffic

participant classificator 4. Rule Learning from Training Data

Universität Karlsruhe (TH), GermanyInstitut für Mess- und Regelungstechnik

Prof. Dr.-Ing. C. Stiller

Britta Hummel

© 2008 A

lle Rechte einschließ

lich Patentier-, K

opier- und Weitergaberechte bei uns.

31

Thanks…

Thanks