![Page 1: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/1.jpg)
1/60
PERCEPCIÓN AVANZADA
Fusión Sensorial
MASTER EN Automática, Robótica y Telemática
Dr. J. RAMIRO MARTINEZ DE DIOS
![Page 2: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/2.jpg)
2/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
![Page 3: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/3.jpg)
3/60
• Objetivos:
– Explotar las sinergias entre medidas: la unión de medidas es mejor que la suma de todas ellas
– Mejorar fiabilidad: ruido, fallos de algún sensor
• Consideraciones:
– Asociación: determinar si datos de dos o más sensores provienen del mismo fenómeno
– Filtrado de datos: evitar datos contradictorios
– Carga computacional: velocidad de repuesta necesaria
Sensor
Fusión de información
Mejora en la Percepción
Sensor Sensor
Ruido RuidoRuido
Fusión Sensorial
![Page 4: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/4.jpg)
4/60
Tipos de fusión sensorial:
• Complementaria
– Sensores obtienen información que se complementa
– Los sensores no dependen unos de otros
– Es sencilla de implantar
• Competitiva
– Sensores proporcionan información redundante
– Posibles conflictos
– Se usa en sistemas críticos
• Cooperativa
– Sensores colaboran para proporcionar información que uno sólo no podría
– Obtiene medida que no podría obtener por ninguno de ellos solos
Visión estéreo
Cámaras cubrenzonas muertas
Sistema estéreo y efector final
Fusión Sensorial
![Page 5: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/5.jpg)
5/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
![Page 6: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/6.jpg)
6/60
• Clasificación básica:
– Nivel de datos (nivel bajo)
– Nivel de características (nivel medio)
– Nivel de decisión (nivel alto)
Fusión Sensorial
![Page 7: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/7.jpg)
7/60
• Fusión de nivel de datos
– Se aplican sobre los datos capturados por los sensores, e.g. fusión de
intensidades de píxeles
– Los datos a funcionar sean de características similares, e.g. sumables
– Ventaja: fácil implantación
– Desventaja: opera sobre todos los datos, originando carga computacional
Fusión Sensorial
![Page 8: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/8.jpg)
8/60
• Fusión de nivel de características
– Combinan características obtenidas de datos procesados
Fusión Sensorial
![Page 9: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/9.jpg)
9/60
• Fusión de nivel decisión
– Se fusionan decisiones, e.g. decisión del tipo de objeto
– Normalmente emplean técnicas probabilísticas
Feature
Feature
Feature
Fusión Sensorial
![Page 10: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/10.jpg)
10/60
Representación de la incertidumbre
– No existe incertidumbre
– Empleo de lógica borrosa
– Empleo de incertidumbre estadística
• Máxima verosimilitud
• Filtros Bayesianos. Filtros de Kalman
– Empleo de incertidumbre de Dempster-Shafer
Técnicas de fusión sensorial
![Page 11: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/11.jpg)
11/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
![Page 12: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/12.jpg)
12/60
• Determinar si datos de dos o más sensores provienen del mismo fenómeno
• Paso previo a la fusión de datos
• Relativamente sencillo si los sensores están concentrados
• Muy complejo si los sensores están distribuidos:
– Mido velocidades de coches en una autopista con varios Doppler. ¿Qué medidas de
los Doppler 1 y 2 son del mismo coche?
• Problema muy complejo en el caso general
• Criterios para asociación:
– Posición del fenómeno medido mediante ambos sensores
– Similitud de lecturas tomadas por ambos sensores
– ...
– ¿Cómo puede aplicarse a imágenes? �
Asociación de datos
Asociación de datos
Fusión
de datos
rectificación de imágenes
![Page 13: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/13.jpg)
13/60
Asociación temporal:– Algoritmos de sincronización de máquinas remotas
• NTP
– Establecimiento de etiquetas temporales
Asociación espacial:– Asociación del mismo objeto en dos imágenes de cámaras distribuidas
Asociación de datos
![Page 14: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/14.jpg)
14/60
Matriz de homografía
• Permite relacionar escenas planas tomadas desde puntos diferentes
• Permite alinear imágenes de escenas planas
12 ImIm H=
=
44434241
34333231
24232221
14131211
hhhh
hhhh
hhhh
hhhh
H
Asociación de datos
![Page 15: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/15.jpg)
15/60
Matriz de Homografía
Buen ajuste
Mal ajuste
Escenas planas
Asociación de datos
![Page 16: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/16.jpg)
16/60
Matriz de Homografía
Permite asociar los píxeles y aplicar métodos de fusión de
datos, por ejemplo sumando niveles de píxeles
Detección de objetos
Asociación de datos
![Page 17: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/17.jpg)
17/60
Correspondencia Visual/IR
• Problema:
![Page 18: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/18.jpg)
18/60
� Paso 1 de 6: Selección de las imágenes
Imagen visual de referencia Imagen de infrarrojos a corregir
Sector representativo de imagen
(píxeles)
64x64
128x128
256x256
512x512
Resolución/Rango de detección
Correspondencia Visual/IR
![Page 19: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/19.jpg)
19/60
� Paso 2 de 6: Detección de bordes para hallar la rotación
Suma cuadrática
del gradiente
bidireccional
Normalización
en el rango
[0,255]
Igualación de
histogramas
Imagen visual Imagen de infrarrojos
Correspondencia Visual/IR
![Page 20: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/20.jpg)
20/60
� Paso 3 de 6: Cálculo de la DFT
Visual
IRElimina DC
Correspondencia Visual/IR
![Page 21: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/21.jpg)
21/60
� Paso 4 de 6: Conversión a polar-semilogarítmica
Visual IR - Discretización logarítmica polar
- Interpolación bilineal
- Suavizado mediante un filtro de
la mediana con máscara 5x5
- Filtro sinosoidal y ventana de
Hanning
θ
log ρ
θ- Desplazamiento centro
de masas umbralizado
- SPOMF
log ρ
Correspondencia Visual/IR
![Page 22: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/22.jpg)
22/60
Suma cuadrática
del gradiente
direccional
� Paso 5 de 6: Preprocesamiento en detección de traslación
0 255 255
255
127
255
255
255
191
191
Visual
Infrarrojos
Esquema de inversiones
de intensidad
Normalización
en el rango
[0,255]
Igualación de
histogramas
Detector debordes direccional
Correspondencia Visual/IR
![Page 23: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/23.jpg)
23/60
� Paso 6 de 6: Cálculo SPOMF para hallar la traslación
Desplazamiento vertical
Desplazamiento horizontal
Parámetro de calidad: Comparación entre
picos máximos distantes para desestimar
detecciones incorrectas
Correspondencia Visual/IR
![Page 24: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/24.jpg)
24/60
� Adquisición de imágenes
� Representación por pantalla
Estabilización conjunta Visual/IR
![Page 25: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/25.jpg)
25/60
o Ejemplo de fusión de imágenes:
Imagen visual Imagen IR
Objetos calientes sobre imagen visual Suma de ambas imagenes
Fusión IR/Visual
![Page 26: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/26.jpg)
26/60
Fusión IR/Visual
Fusión mediante
selección de umbralFusión con media
sobre la visual
Fusión con media de niveles sobre la de IR
Fusión con media ponderada sobre la de IR
![Page 27: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/27.jpg)
27/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
![Page 28: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/28.jpg)
28/60
� Objetivo: medir automáticamente parámetros del incendio en tiempo real
� Fuentes de incertidumbre:- Percepción en exteriores - Específicos de percepción de incendios
� Sensores de magnitudes heterogéneas en múltiples localizaciones- Redundancia espacial - Redundancia de magnitudes
� Sensores:- cámaras visuales o de infrarrojos - GPS, medidor de distancias láser
Fusión sensorial para mejorar medidas
Monitorización de Incendios
![Page 29: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/29.jpg)
29/60
Fusión sensorial para mejorar medidas
Vista frontalVista aérea
Vista lateral B
Vista lateral A
![Page 30: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/30.jpg)
30/60
Fusión sensorial para mejorar medidas
� Percepción combinada: obtención indirecta de magnitudes
� Fusión sensorial: magnitudes obtenidas de varias fuentes
� Filtrado de Kalman
∑
∑
=
jjk
jjkjk
k
m
Mω
ω2jkjjk rF=ω
--0.670.71Lateral IR
--0.760.89Frontal IR
Altura de llamaAncho frentePosición frente
0.24
0.67
0.22
0.53
0.58Lateral Visual
0.51Frontal Visual
![Page 31: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/31.jpg)
31/60
Fusión sensorial para mejorar medidas
Probado en tiempo real pruebas de campo cada desde 1998 hasta 2006
Puntos: evolución real
Líneas: evolución estimada
![Page 32: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/32.jpg)
32/60
Fusión sensorial para mejorar medidas
![Page 33: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/33.jpg)
33/60
1) Identificación del punto D VF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de CIR en la imagen de infrarrojos4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de BVL como la proyección de B sobre la imagen lateral visual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
![Page 34: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/34.jpg)
34/60
1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de A VF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de CIR en la imagen de infrarrojos4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de BVL como la proyección de B sobre la imagen lateral visual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
![Page 35: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/35.jpg)
35/60
1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de C IR en la imagen de infrarrojos.4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de BVL como la proyección de B sobre la imagen lateral visual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
![Page 36: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/36.jpg)
36/60
1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de CIR en la imagen de infrarrojos4) Proyección de A IR y C IR sobre el terreno para obtener A y C empleando :
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de BVL como la proyección de B sobre la imagen lateral visual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
![Page 37: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/37.jpg)
37/60
1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de CIR en la imagen de infrarrojos4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de BVL como la proyección de B sobre la imagen lateral visual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
![Page 38: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/38.jpg)
38/60
1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de CIR en la imagen de infrarrojos4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de B VL como la proyección de B sobre la imagen lateral vis ual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
![Page 39: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/39.jpg)
39/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
![Page 40: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/40.jpg)
40/60
• Frecuentemente se emplea en
Fusión de niveles medio y alto
• Representan la información de
forma deliberadamente imprecisa
• Permite recoger información de
la aplicación
Sistemas borrosos
• Expresa las relaciones entre medidas mediante reglas explícitas
cercanas al lenguaje natural
Reglas
– Conocimiento de expertos humanos
– Análisis del problema
![Page 41: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/41.jpg)
41/60
Ejemplo: Conducción automática de automóviles
– Sensores:
• Cámaras � Detecta carretera mediante proces. de imágenes
• GPS � Conoce su posición y dispone de mapa de carretera
– Funciones de pertenencia:
cámara GPS
CI CC CDMI I C D MD
GiroIzq Centro Der
Sistemas borrosos
![Page 42: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/42.jpg)
42/60
Ejemplo: Conducción automática de automóviles
– cámara: -20 grados
– GPS: -35 gradosGPS
cámaraCI CC CD
MI I C D MD
cámara es CI con valor 0.35
cámara es CC con valor 0.6
GPS es MI con valor 0.32
GPS es I con valor 0.65
Sistemas borrosos
![Page 43: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/43.jpg)
43/60
Ejemplo: Conducción automática de automóviles
SI (cámara es CI) O (GPS es I) ENTONCES (Giro es Izq)
0.35 O 0.65 ENTONCES (Giro es Izq)
Giro es Izq con peso 0.65
GiroIzq Centro Der
GiroIzq Centro DerGiro es Centro con peso 0.95
Otras reglas:
Sistemas borrosos
![Page 44: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/44.jpg)
44/60
Ejemplo: Conducción automática de automóviles
Salida:
Cálculo del centroide
Giro0.65
0.95
Gira 30 Grados a la izquierda
Sistemas borrosos
![Page 45: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/45.jpg)
45/60
Detección de Incendios. Reducción de falsas alarmas
Tasa de Detección: 100%
Tasa de Falsa Alarmas: 1,93 %
90,0 % proc. infrarrojo85,4 % análisis de oscilación24,0 % proc. imagen visual
9,1 % información geográfica
![Page 46: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/46.jpg)
46/60
Detección de Incendios. Reducción de falsas alarmas
� Análisis de falsas alarmas- Reflejos, objetos calientes, luces, actividades humanas
� Información a integrar:- Análisis temporal de imágenes de infrarrojo- Análisis de imágenes visuales- Análisis del terreno: combustible, uso, pendiente- Análisis de actividades humanas- Índice de riesgo de incendio
� Sistema Borroso para integración de información
a)Extrem_Alt ES lidad(FF_posibi ENTONCES Alta)Muy ES _humana(actividad SI (1.0)
Alta) ES lidad(FF_posibi ENTONCES Alta) ES (pendiente SI (0.04)
![Page 47: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/47.jpg)
47/60
Detección de Incendios. Reducción de falsas alarmas
• Interpretación:
– Redes de Neuronas Clásicas (BNP) – Neuronas Wavelet no binarias
• 10 neuronas 120 iteraciones • ME = 9 13 iteraciones
– Neuronas Wavelet binarias
• MME: ME=9 6 iteraciones (PD=100% PFA=0%)
• Al-Jaroudi: ME=9 6 iteraciones (PD=100% PFA=0%)
( )
∑ −−−==
N
1iiiMME T))T)(f(x(yu N
N
1E ∑=
=
N
1iiiJM ))f(x-y-ln(1
N
1E
Falsas alarmas Incendio
![Page 48: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/48.jpg)
48/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
![Page 49: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/49.jpg)
49/60
• Se emplea para fusionar características
• Sensores que obtienen información complementaria del fenómeno
mi es la medida del sensor i
• Supone que los sensores y medidas son estadísticamente independientes
• La medida M resulta de suma ponderada:
Las medidas con más ruido contribuyen menos a la medida global
Cov2i matriz de covarianzas de la medida del sensor i
Técnicas estadísticas. Máxima verosimilitud
( )1
1 1
1 1
N N
i i i
i i
M Cov mCov
−− −
= =
= ∑ ∑
![Page 50: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/50.jpg)
50/60
Ejemplo
• Sensor 1: {1,09 1,13 0,97 0,87 0,86 1,05 1,04}
• Sensor 2: {0,74 1,33 1,07 0,81 0,93 1,21 1,18}
• Supongamos ruido Gaussiano
• Varianza: σ21=0,0095 y σ22=0,0412
{1.02 1.17 0.99 0.86 0.87 1.08 1.07}
Falla si algún sensor deja de tomar medidas
Técnicas estadísticas. Máxima verosimilitud
![Page 51: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/51.jpg)
51/60
• Se emplea para fusionar características
• Estima iterativamente el estado de un sistema a partir de medidas
• Ventajas:
– Estimador óptimo en presencia de ruido blanco Gaussiano de media 0
– Permite integrar medidas de
varios sensores
• Desventajas:
– Requiere conocimiento preciso de
modelos de sistema y sensores
Técnicas estadísticas. Filtro de Kalman
![Page 52: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/52.jpg)
52/60
– Fenómeno sigue modelo lineal:
El modelo puede ser no invariante en el tiempo: Ak, Bk, Ck
– wk y rk son muestras de ruido blanco Gaussiano de media nula
y matriz de covarianza:
kkkk wBuAxx ++=+1
kkk rCxy +=
[ ] QwwE kT
k =
[ ] RrrE kT
k =
Imprecisiones del modelo o perturbaciones
Ruido en el sensor
Técnicas estadísticas. Filtro de Kalman
![Page 53: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/53.jpg)
53/60
Fases:
– Predicción: predice estado del sistema• Modelo de predicción
– Actualización: compara predicción con medidas y corrige• Modelo de observación
En cada paso estima:-
-
kkx /
⌢
kkP /
medidasyk
Filtro
Predicción
Actualización
Técnicas estadísticas. Filtro de Kalman
![Page 54: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/54.jpg)
54/60
• Fase de predicción:
• Fase de actualización
Predicción del estado
Matriz de covarianza de la estimación del estado
kkkkk uBxAx +=+ //1
⌢⌢
QAPAP T
kkkk +=+ //1
Corrección de la estimación del estado futuro
Ganancia del filtro de Kalman
[ ]kkkkkkkk xCyLxx /111/11/1 ++++++ −+= ⌢⌢⌢
kkkkkkk PCLPP /11/11/1 +++++ −=
[ ] 1
/1/11
−+++ += RCPCCPL T
kk
T
kkk
Técnicas estadísticas. Filtro de Kalman
![Page 55: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/55.jpg)
55/60
• La estimación del estado se realiza considerando el modelo del sistema y de los sensores
• R y Q determinan el peso relativo de cada contribución
– Si el ruido del sensor es alto � se fía más del modelo
– Si el modelo es impreciso � se fía más del sensor
• Si no hay medidas, se toma el
modelo para interpolar
Técnicas estadísticas. Filtro de Kalman
![Page 56: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/56.jpg)
56/60
Modelos no lineales: Filtro de Kalman extendido (EKF)
• Modelos no lineales: linealizar
• Resto queda igual
( )( )
( )( )
( )( )
,
,
k k k
k
k k k
k
k k
k
A F x ux
B F x uu
C G xx
∂=∂∂=
∂∂=
∂
⌢
⌢
⌢
kkkk wBuAxx ++=+1
kkk rCxy +=
( )1 ,k k k kx F x u w+ = +
( )k k ky G x r= +
F o G son no lineales
Técnicas estadísticas. Filtro de Kalman
![Page 57: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/57.jpg)
57/60
• Una red de cámaras WSN
Seguimiento de objetos con cámara motes
![Page 58: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/58.jpg)
58/60
• Técnicas ML
( )∑∑=
−−
=
−
=
N
i
ii
N
i
i CovXCovX1
1
1
1
1
Seguimiento de objetos con cámara motes
![Page 59: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/59.jpg)
59/60
• Técnicas EKF
– Modelo dinámico del sistema
• Velocidad lineal
– Modelo de observación (no lineal)
[ ] [ ][ ] [ ] kT
kiT
ki
Tki
Tki
kkik vXtXt
XtXtvXhZ +
==
11
11),(
,3,2
,3,1,
∂∂
∂∂
∂∂
∂∂
∂∂
∂∂
∂∂
kkk
kkk
k
k
z
h
y
h
x
h
z
h
y
h
x
h
=X
h=H
222
111
Seguimiento de objetos con cámara motes
![Page 60: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/60.jpg)
60/60
• Técnicas EKF
Seguimiento de objetos con cámara motes
![Page 61: PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión](https://reader031.vdocuments.net/reader031/viewer/2022022700/5bba98ff09d3f2746a8baac2/html5/thumbnails/61.jpg)
61/60
PERCEPCIÓN AVANZADA
Fusión Sensorial
MASTER EN Automática, Robótica y Telemática
Dr. J. RAMIRO MARTINEZ DE DIOS