manuel mazo quintas - profesaulosuna.com sensores/vision... · Øel sentido de la vista permite a...
TRANSCRIPT
1
Manuel Mazo. Departamento de Electrónica 1
Manuel Mazo Quintas
Departamento de Electrónica. Universidad de Alcalá.Email:[email protected]
VISIÓN POR COMPUTADOR
Manuel Mazo. Departamento de Electrónica 2
ContenidoContenido
Ø Aspectos generales sobre visión por computador.
Ø Radiación (espectro electromagnético).
Ø Adquisición y geometría de formación de imágenes.
Ø Elección de cámaras (óptica+sensor).
Ø Digitalización y relación entre píxeles.
2
Manuel Mazo. Departamento de Electrónica 3
Aspectos generales sobre visión por Aspectos generales sobre visión por computadorcomputador
Manuel Mazo. Departamento de Electrónica 4
¿Qué es la visión por computador?¿Qué es la visión por computador?
Dada Dada unauna imagenimagen o o unauna secuenciasecuencia de de imágenesimágenes, , extraerextraer propiedadepropiedade del del mundomundo 3D3D
Objetos presentes en la escenaRelación entre la escena y observador
Estructura del espacio 3D
••EscenaEscena de de tráficotráfico..•• NumeroNumero de de vehículosvehículos..••TipoTipo de de vehículosvehículos..•• LocalizaciónLocalización de de obstáculos obstáculos próximospróximos..•• ValoraciónValoración de la de la densidaddensidad((congestióncongestión) )
3
Manuel Mazo. Departamento de Electrónica 5
¿Por qué la visión por computador?¿Por qué la visión por computador?
ØUna imagen vale más que 1000 palabras.
ØMuchos sistemas biológicos dependen de la visión.
ØEl mundo 3D es dinámico.
ØCámaras y computadores son cada vez másbaratos.
Manuel Mazo. Departamento de Electrónica 6
Desafío y enfoqueDesafío y enfoque
ØØDesafioDesafio::DesarrollarDesarrollar capaciadescapaciades similaressimilares a a laslas de de loslos humanoshumanosparapara computadorescomputadores y robots.y robots.
• Enfoque:ü¿Qué información debe extraerse?ü ¿Cómo puede extraerse?ü ¿Cómo debe ser representada?ü ¿Cómo se puede utilizar para alcanzar los
objetivos?
4
Manuel Mazo. Departamento de Electrónica 7
Necesidad de ver artificialmenteNecesidad de ver artificialmente
Ø Al igual que le sucede al hombre, el sentido de la vista es de gran importancia para las máquinas.
Ø Las máquinas necesitan “ver” para realizar operaciones análogas (ensamblar, moverse, inspeccionar, etc) a las que efectúan los humanos.
Ø El sentido de la vista permite a las máquinas adquirir información y aprender de su propio entorno.
Manuel Mazo. Departamento de Electrónica 8
Base de conocimiento en visiónBase de conocimiento en visión
Conocimiento
Función
Contexto FormaPropósito Específico
Objetivogenérico
Estructura
TamañoMovimiento
PropósitoVariación
• Lo necesario para el conocimiento de ….– Propiedades intrínsecas de objetos
– Relación entre objetos
– Espacio y propiedades funcionales
– estructura: partes/subpartes, forma, movimiento, …
Y ¿Cómo utilizar este conocimiento (Control)
5
Manuel Mazo. Departamento de Electrónica 9
Componentes de un sistema de visión Componentes de un sistema de visión por computadorpor computador
Bajo Nivel(imagen)
Nivel intermedio(Descripción)
Alto nivel (Interpretación)
escena fondoprimerplano
suelo
hierba camino
no-suelo
casa
tejadochimenea
fachada
ventanapuerta pared
cielo sol
Manuel Mazo. Departamento de Electrónica 10
Ø Inspección visual Ø IndustriaØ MedicinaØ Observaciones aéreas.Ø Robótica (móvil, brazos manipuladores, etc).Ø Agricultura.Ø Seguridad.Ø Geología.Ø Defensa.Ø Espacios inteligentes.Ø Asistencia hombre-máquina (tele-operación, reconocimiento de
caracteres, etc).
Aplicaciones de la visión artificialAplicaciones de la visión artificial
6
Manuel Mazo. Departamento de Electrónica 11
Ø Las imágenes son ambiguas: proyección 3D a 2D.
Ø Variaciones naturales en las clases de objetos:ü Color, textura, tamaño, formas, partes, relación.
Ø Variaciones en el procesamiento de imágenes: ü Iluminación (brillos, sombras, contraste), ü Distorsión de proyección, punto de vista, oclusiones;ü Ruido, características de sensor y óptica.
Ø Varios aspectos inter-relacionados: localización, reconocimiento, etc.
Ø Gran cantidad de información a tratar (gran potencia de cálculo).
Dificultades de la visión por Dificultades de la visión por computadorcomputador
Manuel Mazo. Departamento de Electrónica 12
• Ilusión de las líneasde ferrocarril
Dificultades de la visión por Dificultades de la visión por computadorcomputador
• Ilusión de triángulo • ¿Cómo es posible hacer la figura?
• Explicación de la ilusión
• ¿Joven o vieja?
7
Manuel Mazo. Departamento de Electrónica 13
Ø El sistema de visión humano permite reconocer objetos, incluso complejos, en fracciones de segundo.
Ø La retina de un ojo contiene, aproximadamente, 108 de células de visión especializadas y 4 capas de neuronas, todas capaces de llevar a cabo unos 107 de operaciones por segundo.
Ø Cuando la imagen alcanza el cerebro (1011 neuronas y 1014
interconexiones) se efectúa un tratamiento altamente complejo.
Ø Se estima que el 60% de la corteza cerebral se dedica a tratar información visual.
Ø !! Los sistema de visión artificial tienen un largo y difícil camino por delante, antes de llegar a resultados comparables a los de la visión humana!!
Visión humanaVisión humana
Manuel Mazo. Departamento de Electrónica 14
Diagrama de bloques de un sistema de Diagrama de bloques de un sistema de visión artificialvisión artificial
Escena 3D
Adquisición
segmentación Imagen(es)
Descripción yreconocimiento
Bordes/regiones
Aplicaciones
8
Manuel Mazo. Departamento de Electrónica 15
Estructura general de un sistema de Estructura general de un sistema de visión por computadorvisión por computador
EscenaEscena3D3DAdquisición y formación de imágenes
Pre-procesamiento Extración decaracterísticas
• Iluminación• Óptica• Sensor• Digitalizador
• Ruido• Realce • Transformaciones
• Lineas• Esquinas• Contornos• Regiones• Flujo óptico• Etc.
DescripciónY reconocimiento
AplicaciónAplicación
• Descripción de líneas,contornos, regiones
• Reconocimiento
Manuel Mazo. Departamento de Electrónica 16
Formación y tipos de imágenesFormación y tipos de imágenes
Ø Formación de ímágenes: Las imágenes se forman cuando un SENSOR registra la RADIACIÓN que interactúa con losOBJETOS FÍSICOS del mundo 3D.
Ø Tipos de imágenes (sensores):
ü Fotografía (blanco/negro y color): luz reflejada
ü Imágenes de distancia: distancia
ü Tomografia: densidad de tejido
ü Infrarrojo: calor
Nosotros nos centraremos en los sistemas de luz reflejada
9
Manuel Mazo. Departamento de Electrónica 17
RadiaciónRadiación
Espectro electromagnético
Manuel Mazo. Departamento de Electrónica 18
Espectro electromagnéticoEspectro electromagnético
Espectro visible
10
Manuel Mazo. Departamento de Electrónica 19
El ojo humanoEl ojo humano
Manuel Mazo. Departamento de Electrónica 20
El ojoEl ojo
Ø La retina:ü Bastones (bajo nivel de luz, visión nocturna)ü Conos (visión en color)ü Sinapsis (unión de neuronas)ü Nervio óptico (envia la señal al cerebro)
Ø Sensado y capa de procesado de bajo nivelü 125 millones de bastones y conos alimentados por 1 millón de nervio
Retina
BastonesConos
11
Manuel Mazo. Departamento de Electrónica 21
Luz reflejadaLuz reflejada
• Blanco y negro (Reflectancia solamente)• Color (Reflectancia en tres bandas - Rojo, Verde y Azul)
Colegio de San Ildefonso(Rectorado UAH) Escuela Politécnica de la UAH
Manuel Mazo. Departamento de Electrónica 22
Imágenes en colorImágenes en color
Azul Verde Rojo
Pixel
12
Manuel Mazo. Departamento de Electrónica 23
Nebulosa CangrejoNebulosa Cangrejo
Nebulosa Cangrejo
Manuel Mazo. Departamento de Electrónica 24
RayosRayos X (X (medicinamedicina))
13
Manuel Mazo. Departamento de Electrónica 25
ModelosModelos 3D a 3D a partirpartir de de imágenesimágenesde de rayosrayos X X
Manuel Mazo. Departamento de Electrónica 26
Dandelion – UV(diente de león)
Po
ten
tilla
UltravioletaUltravioleta: : EjemplosEjemplos de de floresflores
14
Manuel Mazo. Departamento de Electrónica 27
Messier 101Messier 101
Manuel Mazo. Departamento de Electrónica 28
ImágenesImágenes TradicionalesTradicionales
15
Manuel Mazo. Departamento de Electrónica 29
UsosUsos no no tradicionalestradicionales en en luzluzvisiblevisible
Manuel Mazo. Departamento de Electrónica 30
MedidorMedidor de de distanciasdistancias::Scanner Scanner láserláser
16
Manuel Mazo. Departamento de Electrónica 31
IR: IR: CercanoCercano, , mediomedio, , lejanolejano (~(~calorcalor))
Manuel Mazo. Departamento de Electrónica 32
IR: IR: EncontrandoEncontrando clorofilaclorofila
17
Manuel Mazo. Departamento de Electrónica 33
Pelicula deCD
Película de explosión de agua
UsosUsos comunescomunes y no y no comunescomunes de de microondasmicroondas
Manuel Mazo. Departamento de Electrónica 34
OndasOndas de radiode radio
18
Manuel Mazo. Departamento de Electrónica 35
Adquisición y geometría deformación Adquisición y geometría deformación de imágenesde imágenes
Manuel Mazo. Departamento de Electrónica 36
Elementos que se incluyen en la Elementos que se incluyen en la adquisición y formación de imágenesadquisición y formación de imágenes
Escena Iluminación Óptica Sensor
Señal Digitalización Representación digital
ØEscena: Realidad (espacio 3D).ØIluminación: Ilumina la escena (esta estrecamente relacianada con el tipo de
sensor y los objetivos que se quieren alacanzar) ØOptica: Enfoca {luz} desde la escena sobre el sensorØSensor: Convierte {luz} a {energía eléctrica}ØSeñal: representación de la luz incidente como una energía
eléctríca continua.ØDigitalizador: convierte señales continuas a señales discretasØRepresentación digital: Representación final de la escena (realidad) en
la memoria del ordenador
19
Manuel Mazo. Departamento de Electrónica 37
Punto de partidaPunto de partida
Ø Situación típica en procesamiento de imágenes:üLuz visibleüLentes idealesüSensores standard (por ejemplo cámaras CCD)üObjetos opacos
Ø Objetivo:Crear imágenes digitales las cualespuedan ser procesadas pararecuperar alguna característica de la escena 3D.
Manuel Mazo. Departamento de Electrónica 38
Adquisición y Formación de imágenesAdquisición y Formación de imágenes
Fuente de luz
Escena
Plano imagenPlano
Óptica Sensor Señal
0001010100010011100011100101
Digitalización
Lente pin-hole
20
Manuel Mazo. Departamento de Electrónica 39
Representación de una imagenRepresentación de una imagen
Ø Una imagen puede ser representada por una función: f(u,v).Ø El argumento de f(u,v) representa la localización de cada pixel en el plano imagen.
Ø El valor de f(u,v) puede tener diferentes interpretaciones en diferentes tipos de imágenes. EjemplosEjemplos::Imagenes de intensidad:
f(u,v) = intensidad de la escena
Imagenes de distancia:f(u,v) = distancia desde la escena
al sistema de captación.
Imágenes en color:f(u,v) = {fr(u,v), fg(u,v), fb(u,v)}
Video:f(u,v,t) = secuencia temporal
de imágenes
u
f(u,v)
v
0,0
Manuel Mazo. Departamento de Electrónica 40
Factores que intervienen en la Factores que intervienen en la formación de imágenesformación de imágenes
Ø RadiometríaSe refiere a la relación entre la cantidad de luz radiada desde la superficie y la cantidad de elle que incide en la imagen.
Ø GeometríaSe refiere a la relación entre los puntos en 3D y su imagen(plano imagen).
Ø FotometríaHace referencia al mecanismo de conversión de la energíaluminosa en energía electrica.
Ø DigitalizaciónEstá relacionada con el modo de convertir señales continuas en aproximaciones digitales.
21
Manuel Mazo. Departamento de Electrónica 41
Aspectos básicos de Aspectos básicos de RadiometríaRadiometría
Ø La radiometría es la parte de la formación de imágenes que tiene que ver con la relación entre la cantidad de energía luminosa emitida por una fuente de luz, reflejada sobre una superficie, y la captada por el sensor
Superficie
Óptica
Array CCDo CMOS
P
Fuente de luz
L(P,d)
in
p
e
Manuel Mazo. Departamento de Electrónica 42
IluminaciónIluminaciónRadiaciónRadiación
• Energía electromágnetica• Las fuentes típicas de luz radian en con un determinado espectro de
recuencia.• ΦΦ watios radiados dentro de 4ππ radianes.• Radiación: Intensidad de potencia radiada por una superficie.
R = Intensidad radiada =dωωdΦ W/unidad ángulo sólido
(stereoradian)(fuente)
r
ΦΦ watts
d ωω
Φ Φ= ∫ desfera
22
Manuel Mazo. Departamento de Electrónica 43
IluminaciónIluminaciónIrradiaciónIrradiación
• La luz incide sobre la superficie en todas las direcciones
dA
• Irradiación: potencia por unidad de área que incide sobre la superficie.
dΦ
Irradiación E =dΑΑdΦ
W/m2
Manuel Mazo. Departamento de Electrónica 44
Relación entre Radiación (R) e Relación entre Radiación (R) e Irradiación (E)Irradiación (E)
r
ΦΦ watts
dωωdA
dAdω =
r2
E =dΑ
dΦ
R = dωωdΦ
= =r2 dΦ
dΑΑr2 E
E = R r2
23
Manuel Mazo. Departamento de Electrónica 45
Iluminación sobre un superficieIluminación sobre un superficie
EddA
RddA i
R i rS
= = =Φ ω
cos( )cos( ) / 2
• E = Flujo incidente sobre la superficie (irradiancia)=
ΦΦ wattsi= ángulo de incidenciae= ángulo de emisióng= ángulo faser=superficie de reflexión
eRayo emitido
N (normal a la superficie)i
r
g
Rayo incidente
dw
r
dAS
ddAΦ
Manuel Mazo. Departamento de Electrónica 46
RelaciónRelación entreentre la la RadiaciónRadiación de la de la fuentefuente e e irradiaciónirradiación sobresobre el sensor de el sensor de imagenimagen
dAi
Plano imagen
Z -f
dAs Diámetro de la lente
αθ
α
Se puede demostrar que la Irradiación en el plano imagen es:
E Ldfi S=
−
πα
4
2
4cos
• Ei es proporcional a:
– Radiación de la escena en la dirección de la lente : LS
– Distancia focal de la lente: f– Diámetro de la lente : d
• f/d se le suele conocer por “ distancia focal efectiva” de la lente.
−− αα ángulo formado por el rayo ncidente y el eje óptico
24
Manuel Mazo. Departamento de Electrónica 47
IluminaciónIluminaciónEjemplosEjemplos
Fuente colimada
cámara
sombra
cámara
Superficie difusa
Fuente de luz
Superficie rugosa
Manuel Mazo. Departamento de Electrónica 48
GeometríaGeometríaAspectos generalesAspectos generales
Ø La geometría describe la proyección de:
Plano imagen (2D)Escena 3D
Ø Suposición típicaüLa luz se propaga en línea recta.
Ø Eje óptico: La perpendicular desde el plano imagen que pasapor el centro de proyección (pin-hole).
Ø Cada punto de la imagen se corresponde con una direccióndefinida por el rayo que pasa por ese punto y el centro de proyección.
25
Manuel Mazo. Departamento de Electrónica 49
GeometríaGeometríaÓpticasÓpticas
Ø La función de la óptica es la de captar los rayos luminosospara concentrarlos sobre el sensor de imagen.
Ø Dos modelos son frecuentemente usados:ü Lente modelo “Pin-hole” (agujero).ü Sistema óptico compuesto por lentes delgadas
Ø Pin-hole es el más utilizado en visiónü Su origen está en la construcción de las primeras cámarasü Matemáticamente es muy sencillo
Ø El modelo de lentes delgadas es el primer modelo de lentesü Modelos matemáticos para lentes físicas.ü Las lentes recogen la luz de un área y la proyectan sobre el plano
imagen.
Manuel Mazo. Departamento de Electrónica 50
ÓpticaÓpticaCámara Cámara pinpin--holehole
Ø La escena se proyecta en una imagen 2D:üLa imagen es invertidaüEl tamaño se reduceüSe pierde la información sobre la profundidad (distancia)
Ø f es la distancia focal de la lenteØ Se conoce como la “proyección de perspectiva”
Plano imagen
Eje óptico
Lente Pin-holef
26
Manuel Mazo. Departamento de Electrónica 51
ÓpticaÓpticaGeometría equivalenteGeometría equivalente
fz
Equivalente matemáticamente
- fz
Plano imagen o de proyección z = 0
“Centro de perspectiva”
“Centro de perspectiva”
Manuel Mazo. Departamento de Electrónica 52
ÓpticaÓpticaModelo de lente delgadaModelo de lente delgada
Ø Todos los rayos paralelos al eje óptico de la lente convergen en un punto, quees el foco “ F” (punto focal).
Ø Los rayos divergen despues de pasar por el punto focal.
Plano imagen
Eje óptico
Lente
din dout
F
f
f
F Eje óptico
Ley de las lentes de adasf d dout in
lg :1 1 1
= +
27
Manuel Mazo. Departamento de Electrónica 53
Geometría (Cámara)Geometría (Cámara)Sistema de coordenadasSistema de coordenadas
Ø Caso simple:Se hace coincidir el origen de coordenadas del mundo 3D y el de la imagen.
§ Y alineado con v
§ X alineado con u
§ Z perpendicular al plano imagen
Y
Z
Sistema de Coordenadasglobales
(0,0,0)
u
vX
Z
Y
X
p(X,Y,Z)p(u,v)
(0,0)
Sistema de coordenadas imagen
Z=-f
Manuel Mazo. Departamento de Electrónica 54
Geometría (Cámara)Geometría (Cámara)Transformación de perspectivaTransformación de perspectiva
u
v
Z
Y
X
p(X,Y,Z)p(u,v)
(0,0)
Z=0
Z=-f
Permite obtener las coordenadas en el plano imagen (u,v) de un punto en función de las coordenadas del mismo en el espacio 3D (X, Y, Z)
28
Manuel Mazo. Departamento de Electrónica 55
Geometría (Cámara)Geometría (Cámara)Transformación de perspectivaTransformación de perspectiva
u
v
Z
Y
X
p(X,Y,Z)p(u,v)
Z=0
Z=-f
uf
XZ f
u fX
Z f
=+
=+
vf
YZ f
v fY
Z f
=+
=+
u
v
Z
Y
X
p(X,Y,Z)
p(u,v)
Z=0
Z=-f
Y
v
Z
Z
Manuel Mazo. Departamento de Electrónica 56
Geometría (Cámara)Geometría (Cámara)Sistema de coordenadas. Otras alternativasSistema de coordenadas. Otras alternativas
vf
Y YZ Z
v fY YZ Z
=−−
→ =−−
0
0
0
0
,
v fYZ
=
uf
X XZ Z
u fX XZ Z
=−−
→ =−−
0
0
0
0
,
Sistema de Coordenadasglobales
u
v
(X0,Y0,Z0)
Z
Y
X
p(X,Y,Z)
p(u,v)
Sistema de coordenadas imagen
f
Y
ZX
Y
X
Si X0=Y0=Z0=0
u fXZ
=
29
Manuel Mazo. Departamento de Electrónica 57
Geometría (Cámara)Geometría (Cámara)Sistema de coordenadas. Otras alternativasSistema de coordenadas. Otras alternativas
uf
XZ f
u fX
Z f=
−→ =
−,
v, Y
p(u,v)
fZ
u, X P(X,Y,Z)
vf
YZ f
v fY
Z f=
−→ =
−,
Origen de las coordenadas (X,Y,Z) y (u,v)
Manuel Mazo. Departamento de Electrónica 58
GeometríaGeometríaModelo de cámaraModelo de cámara
C
xy
z
uvt
u u t v v t
1
=
= ⋅ = ⋅*
* , * , *
u
v
Y
X
Z
Y0
X0
Z0
C
C C C C
C C C C
C C C C
C C C C
C C C C
C C C C
xy
z
u
v
t
=
=
11 12 13 14
21 22 23 24
31 32 33 34
11 12 13 14
21 22 23 24
31 32 33 34 1
;
*
*
La transformación de perspectiva se puede escribir:
Donde u* y v* son las coordenadas homogéneas
30
Manuel Mazo. Departamento de Electrónica 59
GeometríaGeometríaCalibración de cámaraCalibración de cámara
C x C y C z C u
C x C y C z C vC x C y C z C t
11 12 13 14
21 22 23 24
31 32 33 34
+ + + =+ + + =+ + + =
*
*u ut u ut
v vt v vt
* ; *
* ; *
= − == − =
0
0
C x C y C z C uC x uC y uC z uCC x C y C z C vC x vC y vC z vC
11 12 13 14 31 32 33 34
21 22 23 24 31 32 33 34
0
0
+ + + − − − − =+ + + − − − − =
1. El objetivo de la calibración es determinar, para una determinada cámara y ubicada en una determinada posición del entorno 3D, los valores de la matriz C
• Si se conocen los puntos (x,y,z) y sus proyecciones (u,v), se tienen dos ecuaciones y 12 incógnitas que definen el modelo de cámara.
• Por tanto, si por cada punto se tienen dos ecuaciones, se necesitan, al menos 6 puntos para determinar los 12 coeficientes Cij.
• Dado que se está trabajando en coordenadas homogéneas, el resultado no varía si se multiplica C por un escalar. Por tanto esto permite hacer C34=1.
Manuel Mazo. Departamento de Electrónica 60
C x C y C z C C C C C uC x uC y uC z uC C C C C x C y C z C vC vC y vC z v
11 12 13 14 21 22 23 24 31 32 33
11 12 13 14 21 22 23 24 31 32 33
0 0 0 0
0 0 0 0
+ + + + + + + − − − =+ + + + + + + − − − =
A
x y z u x u y u zx y z v x v y v z
x y z u x u y u z
x y z v x v y v zx y z u x u y u z
x y z v x v y=
− − −− − −− − −− − −− − −− −
1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1
2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2
3 3 3 3 3 3 3 3 3
3 3 3 3 3 3 3
1 0 0 0 0
0 0 0 0 1
1 0 0 0 0
0 0 0 0 1
1 0 0 0 0
0 0 0 0 1 −− − −− − −− − −− − −− − −− −
v zx y z u x u y u z
x y z v x v y v zx y z u x u y u z
x y z v x v y v zx y z u x u y u z
x y z v x v
3 3
4 4 4 4 4 4 4 4 4
4 4 4 4 4 4 4 4 4
5 5 5 5 5 5 5 5 5
5 5 59 5 5 5 5 5 5
6 6 6 6 6 6 6 6 6
6 6 6 6 6
1 0 0 0 0
0 0 0 0 1
1 0 0 0 0
0 0 0 0 1
1 0 0 0 0
0 0 0 0 1 6 6 6 6
11
12
13
14
21
22
23
24
31
32
33
1
1
2
2
3
3
4
4
5
5
6
6y v z
C
CCCCCCCCCCC
B
uvu
vu
vu
vu
vu
v−
=
=
; ;
• Con todo ello las ecuaciones anteriores se pueden escribir:
• De forma compacta, y para el caso de 6 puntos, se puede escribir:
C A A A BT T= −( ) 1
GeometríaGeometríaCalibración de cámaraCalibración de cámara
31
Manuel Mazo. Departamento de Electrónica 61
Otra alternativa para obtener el Otra alternativa para obtener el modelo de cámara (I)modelo de cámara (I)
u fX
Z f
v fY
Z f
uvt f
XYZ
uut
vvt
u y v coordenadas ogeneas
P
= +
=+
→
=
= =
*
*
/
*,
*,
* * : hom
1 0 0 0
0 1 0 0
0 0 1 11
6 7444 8444
p(X,Y,Z)
Y
X
Z
v
u
uv
t ff
XY
Z
uut
fXZ
vvt
fYZ
PTP
*
*
/
*,
*,
=
−
= = = =
1 0 0 0
0 1 0 0
0 0 1 1
1 0 0 0
0 1 0 0
0 0 1
0 0 0 1 1
6 7444 84446 744 844
Y
X
Z
v
u
f
p(X,Y,Z)
Traslación a proyección
Traslación a proyección: Con esta transformación se hacen
coincidir los sistemas de coordenadas del espacio con el centro de perspectiva de la cámara.
P: transformación de perspectiva
Manuel Mazo. Departamento de Electrónica 62
Otra alternativa para obtener el Otra alternativa para obtener el modelo de cámara (II)modelo de cámara (II)
u
vt f
f
XYZ
XYZ
PT TP E
*
*
/
=
−
−−−
1 0 0 0
0 1 0 0
0 0 1 1
1 0 0 0
0 1 0 0
0 0 1
0 0 0 1
1 0 0
0 1 0
0 0 1
0 0 0 1 1
0
0
0
6 7444 84446 744 844 6 7444 8444
= =−−
= =−−
uut
fX XZ Z
vvt
fY YZ Z
*,
*,0
0
0
0
Y
X
Z
v
u
Y0
X0
Z0
p(X,Y,Z)
Translación espacial: Tomando como coordenadas de la cámara las de su
centreo de perspectiva, esta transformación hace coincidir el sistema de coordenadas
del espacio y el de la cámara
Translación espacial
32
Manuel Mazo. Departamento de Electrónica 63
Otra alternativa para obtener el Otra alternativa para obtener el modelo de cámara (III)modelo de cámara (III)
R
sensen
Rsen
senR
sen
senθ α β
θ θθ θ α α
α α
β β
β β=
−
=−
=
−
cos
cos,
cos
cos,
cos
cos
0 0
0 0
0 0 1 0
0 0 0 1
1 0 0 0
0 0
0 0
0 0 0 1
0 0
0 1 0 0
0 0
0 0 0 1
v
Y
X
Z
Y0
X0
Z0
p(X,Y,Z)
u
á
è
â
Z
Y
X
R R R
sen
sen sen
sen sen senR
sen
senR
sen
sen= ⋅ =
−
−
=−
=
−
α θ α β
θ θ
θ α θ α α
θ α θ α α
α α
α α
β β
β β
cos
cos cos cos
cos cos,
cos
cos,
cos
cos
0 0
0
0
0 0 0 1
1 0 0 0
0 0
0 0
0 0 0 1
0 0
0 1 0 0
0 0
0 0 0 1
Manuel Mazo. Departamento de Electrónica 64
Otra alternativa para obtener el Otra alternativa para obtener el modelo de cámara (IV)modelo de cámara (IV)
v
Y
X
Z
Y0
X0
Z0
p(X,Y,Z)
u
u
vt
P T R T
XY
Z
uut
vvt
P E
*
*
*,
*,
= ⋅ ⋅ ⋅
= =
1
Origen de coordenadasde la cámara: PI
Translación espacial (TE) Rotación (R) Translación perspectiva (TP) Transformación de Perspectiva (P)
33
Manuel Mazo. Departamento de Electrónica 65
Otra alternativa para obtener el Otra alternativa para obtener el modelo de cámara (V)modelo de cámara (V)
uvt
P T D R T
XYZ
uut
vvt
P E
*
*
*,
*,
= ⋅ ⋅ ⋅ ⋅
= =
1
v
Y
X
Z
Y0
X0
Z0
Desplazamiento r
D
r
rr
x
y
z
=
−
−−
1 0 0
0 1 0
0 0 1
0 0 0 1(X0,Y0, Z0)
• Si la cámara está montada sobre un soporte
Origen de coordenadasde la cámara: PI
Translación espacial (TE) Rotación (R) Translación de Translación de Transformacióndesplazamiento (D) perspectiva (TP) de Perspectiva (P)
Manuel Mazo. Departamento de Electrónica 66
PerspectivaPerspectiva inversainversa
u
v
Z
p(u,v)
Z=-f
• Dado un centro de proyección y las coordenadas de un punto sobre el plano imagenp(u,v), no es posible obtener la coordenada Z utilizando una sola imagen.
p(X,Y,Z) puede ser
cualquiera a lo
largo de esta línea
Todos los puntos a lolargo de esta línea tienenla misma proyección en
el plano imagen (p(u,v))
En general se requieren al menos dos imágenes del mismo punto, tomadas desde diferentes puntos de vista, para poder obtener la coordenada Z (profundidad)
34
Manuel Mazo. Departamento de Electrónica 67
Perspectiva inversaPerspectiva inversa
• Partiendo de: C x C y C z C u ut
C x C y C z C v vtC x C y C z C t
11 12 13 14
21 22 23 24
31 32 33 34
+ + + = =
+ + + = =+ + + =
*
*
• Sustituyendo la expresión de t en las dos primeras:
u C x C y C z C C x C y C z C
v C x C y C z C C x C y C z C
C uC x C uC y C uC z C uCC vC x C vC y C vC z C vC
a C uC a C
( )
( )
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
;
31 32 33 34 11 12 13 14
31 32 33 34 21 22 23 24
11 31 12 32 13 33 14 34
21 31 22 32 23 33 24 34
1 11 31 2 21
0
0
+ + + = + + +
+ + + = + + +
− + − + − + − =− + − + − + − =
= − = −= − = −= − = −
= − = −
→+ + + =+ + + =
=− + −
−=
− +
vCb C uC b C vCc C uC c C vC
d C uC d C vC
a x b y c z da x b y c z d
xz b c b c b d b d
a b a by
z a c a c
31
1 12 32 2 22 32
1 13 33 2 23 33
1 14 34 2 24 34
1 1 1 1
2 2 2 2
1 2 2 1 1 2 2 1
1 2 2 1
2 1 1 2
0
0;
;
;
( ) ( )
( );
( ) ( )
( )
a d a da b a b
2 1 1 2
1 2 2 1
−−
Manuel Mazo. Departamento de Electrónica 68
Ejemplo de perspectivaEjemplo de perspectiva
Supongamos una línea con centro:
( )a b cT
x
yz
a
bc
x
yz
a
bc
1
1
1
1
1
1
2 2
−
+
λ λ; ;
Los extremos de la misma son:
( )x y zT
1 1 1
Y cosenos directores:
La proyección horizontal w y horizontal h sobre el Plano imagen (P.I) es:
w fx a
z cf
x a
z cf
az cx
z c
h fy b
z cf
y b
z cf
bz cy
z c
si zw
h
=+
+−
−
−=
−
−
=+
+−
−
−=
−
−
→ ↑ →↓
↓
1
1
1
1
1 1
12
22
1
1
1
1
1 1
12
22
1
2
2
2
2 4
2
2
2
2 4
λ
λ
λ
λ λλ
λ
λ
λ
λ λλ
35
Manuel Mazo. Departamento de Electrónica 69
Ejemplo de proyección de líneasEjemplo de proyección de líneas
• Líneas en el espacio 3D se proyectan como líneas en el P.I.• Sean p1 y p2 dos puntos del espacio 3D, representados en coordenadas
homogéneas. La línea que pasa por p1 y p2 contiene todos los puntos dados por
λ λp p1 21+ −( )
• Si la transformación de perspectiva es:
• Dado que T es una operación lineal, entonces:
u
vw
Tp
u
vw
Tp1
1
1
1
2
2
2
2
=
=;
T p p Tp Tpuvw
uvw
[ ( ) ] ( ) ( )1 2 1 2
1
1
1
2
2
2
1 1 1+ − = + − =
+ −
Manuel Mazo. Departamento de Electrónica 70
• El segmento de la línea que pasa por: u w
v w
u w
v w1 1
1 1
2 2
2 2
;
• Está formada por los puntos
• Para demostrar que toda línea en 3D se proyecta en el P.I como otra línea, sólo hay que demostrar que para cada 88 existe una 00 y viceversa tal que satisfaga la siguiente relación:
η ηu w
v w
u w
v w1 1
1 1
2 2
2 2
1
+ −
( )
[ ( ) ] [ ( ) ]
[ ( ) ] [ ( ) ]( )
λ λ λ λλ λ λ λ
η ηu u w wv v w w
u wv w
u wv w
1 2 1 2
1 2 1 2
1 1
1 1
2 2
2 2
1 1
1 11
+ − + −+ − + −
=
+ −
• Es fácil ver que 88 y 00 están dadas por:
ηλ
λ λλ
ηη η
=+ −
=+ −
ww w
ww w
1
1 2
2
2 11 1( ),
( )
Ejemplo de proyección de líneasEjemplo de proyección de líneas
36
Manuel Mazo. Departamento de Electrónica 71
Ejemplo: Punto de fugaEjemplo: Punto de fuga
• Líneas paralelas en el espacio 3D se cortan en un punto “punto de fuga” del P.I• Demostración:
– Considerando líneas paralelas con cosenos directores (b1, b2, b3), dondeb1
2+b22 +b3
2 =1:
Lxyz
xyz
aaa
bbb
=
=
+
1
2
3
1
2
3
λ
• La proyección en el P.I (u, v) de los puntos de L son:
u fa b xa b z
v fa b ya b z
=+ −+ −
=+ −+ −
1 1 0
3 3 0
2 2 0
3 3 0
λλ
λλ
;
• Con (x0, y0, z0) el centro de perspectiva
Manuel Mazo. Departamento de Electrónica 72
Ejemplo: Punto de fugaEjemplo: Punto de fuga
• Los puntos de las líneas muy alejados del centro óptico: 88→∞→∞ tienen una proyección sobre el P.I:
u fa b xa b z
fbb
v fa b ya b z
fbb∞
→∞∞
→∞=
+ −+ −
= =+ −+ −
=lim ; limλ λ
1 1 0
3 3 0
1
3
2 2 0
3 3 0
2
3
• Como se puede observar (u∞∞ ,v∞∞ ) no dependen de a1, a2, a3. Por tanto todas las rectas paralelas en el espacio 3D se cortan en un punto del P.I, llamado “punto de fuga”
• Si b3=0, entonces:u f
a b xa z
v fa b y
a z=
+ −+ −
=+ −
+ −1 1 0
3 0
2 2 0
3 0
λ λ;
y a partir de ellas se puede escribir:
b u b vf
a za x b a y b2 1
3 01 0 2 2 0 1− =
−− − −[( ) ( )
Esto demuestra que, en este caso, las líneas en el P.I también son paralelas, ya que la pendiente en el P.I sólo depende de b1 y b2.
37
Manuel Mazo. Departamento de Electrónica 73
FotometríaFotometríaImagen en blanco y negroImagen en blanco y negro
.
Escena Iluminación Óptica Sensor
Óptica
Plano imagen
V(u,v) : Señal eléctrica de vídeo
Imagen L(u,v))
22 34 22 0 18 ••••••
•••
VídeoCámara
Conversión A/D
……....
Imagen Digital f(u,v) =I(u,v)
Memoria Computador
Niveles de gris
21 152
67
85
Manuel Mazo. Departamento de Electrónica 74
Canal RojoConversión A/DCanal Verde
Conversión A/DÓptica
Plano imagen
V(u,v) : Señal eléctrica de vídeo
Imagen L(u,v))
VídeoCámara
Canal RojoConversión A/D
Memoria Computador
Niveles de gris
…… ....
67
858 15
23
…… ....
67
858 15
23
…… ....
67
858 15
23
B(u,v)
G(u,v)
R(u,v)
FotometríaFotometríaImagen en colorImagen en color
38
Manuel Mazo. Departamento de Electrónica 75
FotometríaFotometríaSensibilidad espectralSensibilidad espectral
Ojo humano Cámaras CCD
• Figura 1muestra la eficiencia relativa de conversión para el ojo humano (scotopic y photopiccurvas) y diversos tipos de cámaras CCD. Nótese la senibilidad de los CCD al Infrarrojo y ultravioleta.
Manuel Mazo. Departamento de Electrónica 76
Elección de cámaras (óptica+Elección de cámaras (óptica+sensorsensor))
39
Manuel Mazo. Departamento de Electrónica 77
Elección de cámarasElección de cámarassensores+ópticasensores+óptica
No existe una “cámara universal”. La cámara debe ser elegida para cada aplicación
Ø Algunos aspectos a tener presentes:ü Óptica
• Profundidad de campo.
• Aberraciones ópticas: Aberraciones cromáticas; Aberraciones de Seidel (Esférica, Croma, Astigmatismo, Curvatura de campo, Distorsión: cojin(pincushion), barril (barrel).
ü Sensor:• Ganancia en función de la longitud de onda.• Resolución (128x128 pixels, 1024x1024 pixels, etc)• Standar (Europeo- CCIR- y Americano – EIA, RS170-)• Tiempo de integración.• Tiempo de adquisisción.• Imágenes por segundo (fps)• Sensibilidad.• Relación de los pixels.• Tipo de barrido• Tipo de sensor (CCD y CMOS)
Manuel Mazo. Departamento de Electrónica 78
Parámetros de la ópticaParámetros de la ópticaProfundidad de campoProfundidad de campo
Plano imagen
Tamaño de un pixel (ä)
d
dout din
ä
a
Rd: profundidad de campo.ä: Tamaño del pixel.dout: distancia a la que está enfocada
la ópticaf: distancia focaldin : distancia a la que enfoca el objeto
1 1 1 1 1 1
2 2
1 1 2
2
2
2
1 1 1
2
2
2
2
f d d f d d d a
Rd a a
a dR
f d dRRd
dR
Rf d d
d d f
f d d
dR
R
f d d
d d f
dR
Rf d d
out in out in
inin
out inin
out
out
out in
inout
out
inout
= + → =+
+−
−= → =
+
→ =+
++
→ =+
⋅+
+ −
= +
=+
⋅+
+ −
→ =+
⋅+
δ δδ
δ δ
δδ
.
( )
( )
( )
d d ffd
d fd
d d fRf d f
dRf dout
out
out
out out
out
out
out+ −=
−→ =
−− −
≈−
δδ
δδ
( )
( )
( )
2 2
2
40
Manuel Mazo. Departamento de Electrónica 79
Parámetros de la ópticaParámetros de la ópticaAberraciones cromáticasAberraciones cromáticas
Aberración longitudinal
Aberración lateral
Se producen por los diferentes índices de refracción de los rayos luminosos según su longitud de onda (color)
Manuel Mazo. Departamento de Electrónica 80
Parámetros de la ópticaParámetros de la ópticaAberraciones esférica y comaAberraciones esférica y coma
Aberración esférica: Un punto situado en el eje óptico,los rayos luminosos reflejados porél que pasan por la lente tendrán una mayor convergencia a medida queaumenta la distancia de su incidenciaen el eje perpendicular a la lente.Esto hace que los rayos luminosos que provienen de un único puntose proyectan en un disco (una estrellase vería como un punto luminosos rodeado de un halo)
Coma:Cuando los rayos que inciden en la lente no proceden del ejeparaxial (inciden con un cierto ángulo) se concentran en unpunto a la misma distancia de la lente pero desplazadolateralmente del punto focal, presentando, por tanto,distinta magnificación.
41
Manuel Mazo. Departamento de Electrónica 81
Distorsión; cojín y barril:Mantiene todos los puntos enfocados.Se debe al distinto aumento de laimagen en función de la distancia delos rayos incidentes respecto al centrode la lente (puede ser positiva- aumento-o negativa - disminución-)
Parámetros de la ópticaParámetros de la ópticaDistorsión y curvatura de campoDistorsión y curvatura de campo
Curvatura de campo:Es el error que se produce cuando unalente intenta enfocar un objeto plano. Secomprueba entonces que los puntospróximos al centro de la imagen están Enfocados pero no sucede así con los de los extremos. Se debe a que los rayos no se concentran según plano sino según una curva
Manuel Mazo. Departamento de Electrónica 82
Parámetros de la ópticaParámetros de la ópticaAstigmatismoAstigmatismo
Astigmatismo: Es una aberración que se presenta cuando el punto está muy alejado del centro óptico y provoca la impresión de que la lente tiene dos distancias focales distintas. Esto es debido a que en este caso, el cono de rayos que inciden sobre la lente no puede considerarse simétrico. Se puede, entonces, distinguir dos planos: meridional y sagital. Los rayos que parten de los puntos del plano meridional llegan a la lente con una inclinación mayor que los sagitales. Al disminuir la apertura de la lente aumenta la profundidad de enfoque y con ello se corrige en cierto grado el astigmatismo.
42
Manuel Mazo. Departamento de Electrónica 83
Ø Actualmente las cámaras son de estado sólido.
Ø Utilizan tecnología CCD (dispositivos de carga acoplada) o CMOS como elemento sensor.
Ø El elemento básico de las células CCD y CMOS es el píxel –”picture element”.
Ø Según al disposición de los píxeles existen: üCámaras linealesüCámaras matriciales.
Ø Según la información de salida:üBlanco y negro (un elemento CCD o CMOS por cada pixel) üColor (tres elementos CCD o CMOS por cada píxel -
componentes R, G y B)
Tipos de cámarasTipos de cámaras
Manuel Mazo. Departamento de Electrónica 84
Tipos de cámarasTipos de cámaras
Ø Dentro de las cámaras de color existen tres alternativas de salida:ü Vídeo compuesto: En una única señal se tiene toda la informaciónü Salida YC (S-VHS): se tienen dos señales: la señal Y es la luminancia
(intensidad) y al C, la crominancia (color).ü RGB: la salida está compuesta por tres señales: R, G y B.
Ø Sistemas de color: PAL (Phase Alternation Line) para Europa occidental, SECAM (Séquentiel Couleur à Mémoire) para Francia y Europa oriental y NTSC(National Television System Committee) para USA.
Ø Longitud de onda (λλ) de máxima respuesta (visible, infrarrojo, etc)
Ø Velocidad de adquisición (fps- frame per second).
Ø Resolución espacial (128x128 a 1024x1024)
43
Manuel Mazo. Departamento de Electrónica 85
Algunos tipos de cámarasAlgunos tipos de cámarasSensor CCD tipo mosaicoSensor CCD tipo mosaico
Ø El mayor número de píxeles sensibles al verde se justifica porque el ojo humano es mucho más sensible a este color.
Ø Por tanto, los tonos verdes tienen mucha menos borrosidadque los rojos o azules, lo que contribuye a mejorar el conjunto de la imagen.
Manuel Mazo. Departamento de Electrónica 86
Algunos tipos de cámarasAlgunos tipos de cámarasTriple Sensor CCDTriple Sensor CCD
Ø Este tipo de sensor se caracteriza por disponer de tres capas separadas de foto detectores fundidos en silicio.
Ø Debido a que el silicio absorbe diferentes longitudes de onda a diferentes profundidades cada capa captura un color diferente
Capas de foto detectores
44
Manuel Mazo. Departamento de Electrónica 87
Parámetros de cámarasParámetros de cámaras
Ø Ganancia en función de la longitud de onda: Relaciona la ganacia de la cámara para las distintas longitudes de onda. Existen cámarascomerciales cuya respuesta máxima está en el espectro visible (las másfrecuentes) pero también las hay en el infrarrojo cercano, medio y lejano(calor) .
Ø Resolución (128x128 pixels, 1024x1024 pixels, etc): número de pixels del sensor de imagen. Existen diferentes soluciones comerciales, Existen dos etándares (Europeo- CCIR- y Americano – EIA, RS170-).
Ø Tiempo de integración: Es el tiempo durante el cual la cámara estásometida a los efectos luminosos (para controlarlo, las cámaras permitenfijar el tiempo de exposición, shutter (obturador). Su efecto es similar al del tiempo de obturación de las cámaras de fotos).
Manuel Mazo. Departamento de Electrónica 88
Parámetros de cámarasParámetros de cámaras
Ø Tiempo de adquisisción: Tiempo que necesita la cámara para transmitir la informacióncaptada.
Ø Sensibilidad: absoluta: Iluminación mínima para que la cámara produzcauna salida (suele ir acompañada por un número F determinado paraindicar la apertura del diafragma). Sensibilidad relativa: número de fotones necesarios para que la cámara pase de un valor al siguiente.
Ø Relación de los pixels: Los píxeles pueden ser cuadrados o rectangulares, con relación u/v = 4/3, para adaptarse a los estándares de televisión.
Ø Tipo de barrido: Barrido progresivo (progressive scan), barridoentrelazado (no son adecuadas para captar imágenes en movimiento, yaque el campo par e impar se adquieren en diferentes instantes de tiempo, por lo que hay un desplazamiento espacial entre ellos). Las cámaras de barrido progresivo toman las líneas de forma consecutiva.
45
Manuel Mazo. Departamento de Electrónica 89
¿Cámaras CCD o CMOS?¿Cámaras CCD o CMOS?
Ø Tanto las cámaras CCD como CMOS son de estado sólido (silicio) y con un equipamiento muy similar.
Ø Su principio de funcionamiento las hace muy diferentes.Ø CCD:§ Cada píxel (photosites) contiene un fotodiodo y una región de retención de carga
adyacente. § La luz es captada por toda la superficie del sensor durante un cierto tiempo y la
carga de cada píxel se transfiere a su región de retención de carga adyacente.§ La lectura de la carga de cada píxel se hace secuencialmente
Salida
p0 p1 p2 pN
Puerta
Registro de transporte
photosites
Amplificador
Última fila leida
Primera fila leida
Al amplificador de salida
Manuel Mazo. Departamento de Electrónica 90
¿Cámaras CCD o CMOS?¿Cámaras CCD o CMOS?
• CMOS:§ Se fabrican con procesos estándares y alta densidad de integración.§ Toda la electrónica periférica (lógica digital, drivers de reloj, amplificadores,
conversores A/D, ..) se pueden integrar en el propio sensor.§ La arquitectura de un sensor matricial CMOS es similar a un display plano.§ Cada píxel está formado por un fotodiodo, un convertidor de carga a tensión,
un transistor de reset y select, y un amplificador. § La arquitectura permite leer los píxeles por separado, un array entero o una
parte del array, por medio de un sistema de direccionamiento (u,v).
Fotodetector
Amplificador
46
Manuel Mazo. Departamento de Electrónica 91
¿Cámaras CMOS o CCD?¿Cámaras CMOS o CCD?
Ø CMOS frente a CCD´s:§ CMOS menor consumo.§ CMOS mayor velocidad.§ CMOS más flexibilidad de acceso a datos: se puede leer desde un solo píxel a
un grupo de píxeles (área variable de imagen). Este aspecto es especialmente interesante en sistemas de alta velocidad: si se selecciona un número reducido de píxeles (baja resolución espacial) su lectura requerirá menos tiempo.
§ Dado que en los CMOS se realiza directamente la conversión carga-tensión, este tipo de cámaras no presentan el efecto “blooming” (en los CCD este efecto se debe a las perdidas de carga -en los elementos de retención de carga- entre píxeles).
§ La sensibilidad de los CMOS a la luz es menor, lo que hace que no sean apropiados para condiciones de baja luminosidad (fill factor – porcentaje de píxel dedicado a captar luz- = 70% en CMOS y 100% en CCD).
§ CMOS presentan mayor nivel de ruido.
Manuel Mazo. Departamento de Electrónica 92
Digitalización y relación entre Digitalización y relación entre píxelespíxeles
47
Manuel Mazo. Departamento de Electrónica 93
DigitalizaciónDigitalización
Digitalicemos esta imagen, con diferentes resoluciones espaciales (supondremos un patrón de muestreo cuadrado)
Señal Digitalización Representación digital
Manuel Mazo. Departamento de Electrónica 94
Muestreo grueso: 20 puntos por fila y 14 por columna
Muestreo fino: 100 puntos por fila y 68 por columna
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
Inte
rval
ode
mue
stre
o
Cada punto rojo corresponde a una muestra
Digitalización: MuestreoDigitalización: MuestreoResolución espacialResolución espacial
48
Manuel Mazo. Departamento de Electrónica 95
Efecto del intervalo de muestreoEfecto del intervalo de muestreo
• Obsérvese el entorno de la valla
Intervalo de muestreo
100 100 100
100 100 100
100 100 100
100 100 100
100 100 100
100 100 100
100 100 100
100 100 100
40 40 40 40 40 40
40 40 40 40 40 40
40 40 40 40 40 40
40 40 40 40 40 40
Zona clara Zona oscura
! No se detecta la valla !
Manuel Mazo. Departamento de Electrónica 96
Efecto del intervalo de muestreoEfecto del intervalo de muestreo
Anterior Intervalo de muestro
40 100 10040 40
40 100 10040 40
40 100 10040 40
40 100 10040 40
Ahora se puede ver la valla
¿Cuál es la diferenciaentre la situaciónanterior y la atual?
Nuevo Intervalo de muestro
• Obsérvese el entorno de la valla
49
Manuel Mazo. Departamento de Electrónica 97
Efecto del intervalo de muestreoEfecto del intervalo de muestreo
• Considerando la estructura repetitiva de la valla
Intervalo de muestreo
Caso 1: S1= dEl intervalo de muestreo es igual al tamaño de la estructura que se repite
Ausencia de Valla
Caso 2: S2 = d/2 El intervalo de muestreo es la mitad de la estructura que se repite
Presencia de Valla
S1
S2
d
Manuel Mazo. Departamento de Electrónica 98
Efecto del intervalo de muestreoEfecto del intervalo de muestreo
Ø Si el tamaño de los objetos más pequeños es d y se quierenpreservar dichos objetos, entonces el intervalo de muestreodebe ser menor que d/2
Ø Esto se puede demostrar matemáticamente.
Ø Las estructuras repetitivas tienen una cierta frecuencia(‘estacas/metro'). Para preservar su estructura se debemuestrear por lo menos al doble de la frecuencia.
50
Manuel Mazo. Departamento de Electrónica 99
Muestreo: Caso idealMuestreo: Caso idealUna idea generalUna idea general
“Imagen contiua”
“Imagen digitalizada"23
s
Funcion Delta de Dirac Du v para u v
u v dudv
f u v u a v b dudv f a b
u ns v ns para n
2
0 0 0
1
1 2 3
δ
δ
δ
δ
( , ) , ,
( , ) .
( , ) ( , ) ( , )
( , ) , , ,..
= ≠ ≠
=
− − =
− − =
∫∫∫∫
Manuel Mazo. Departamento de Electrónica 1 0 0
MuestreoMuestreoCaso realCaso real
23
s
Ø No se puede realizar una función puntual en sistemas reales.• “La función Delta" tiene un área• El valor que devuelve es el promedio de esa área
51
Manuel Mazo. Departamento de Electrónica 1 0 1
MuestreoMuestreoProblema del promediadoProblema del promediado
Manuel Mazo. Departamento de Electrónica 1 0 2
CuantificaciónCuantificación
Cuantificador
Valores posiblesde salida (K)
Imagen Original
Rampa lineal
K=2 K=4
K=16 K=32
Nivel de grisfunción continua I(u,v) Nº de bits
0
Imáx
12345678
248163264
128256
Salida
Ejemplo
52
Manuel Mazo. Departamento de Electrónica 1 0 3
Ejemplo de cuantificaciónEjemplo de cuantificación
K=2 (cada componente de color)
K=4 (Cada componente de color
Manuel Mazo. Departamento de Electrónica 1 0 4
Alternativas de cuantificaciónAlternativas de cuantificación
Lineal Logarítmica
Amplitud señal (I(u,v))
K (salida cuantificador)
KK-1
.
.
.
.210
Imáx
K (salida cuantificador)
Amplitud señal (I(u,v))
KK-1
.
.
.
.210
Imáx
Imagenoriginal
Cuantificaciónlogarítmica
53
Manuel Mazo. Departamento de Electrónica 1 0 5
Ejemplos de cuantificación espacial y Ejemplos de cuantificación espacial y resolución (Lena)resolución (Lena)
Ø Resolución espacial: Depende del número de píxels del dispositivo o, en caso de imágenes analógicas, del numero de muestras tomadas: valores típicos son MxN: 128x128, 256x256, 512x512, 1024x1024.
Ø Resolución de nivel de gris: es frecuente codificar cada nivel con 8 bits (256 n.g)
256x256 100x100 20x20
.......
u
vpixelN
M
00
256 100 20
Manuel Mazo. Departamento de Electrónica 1 0 6
Relaciones entre píxelesRelaciones entre píxeles
• Vecindad.• Conectividad.• Distancia.
Píxel
u
v
24
3216
Valor de píxel{0, 255 (0,1): imágenes binarias
0, 1,2, 3, …, K-1: imagen de nivel de grises
Vector: imagen multiespectral
(0,0)f(u,v)
54
Manuel Mazo. Departamento de Electrónica 1 0 7
Relaciones entre píxelesRelaciones entre píxelesVecindadVecindad
Ø Un píxel p de coordenadas (u,v) presenta un total de cuatro vecinos en las direcciones vertical y horizontal. Este conjunto de píxeles se denomina vecindad de tipo 4 del píxel p. Se suele indicar por N4(p).
(u, v)(u-1,v)
(u, v-1)
(u+1, v )
(u, v+1)
N4(p)
p
Manuel Mazo. Departamento de Electrónica 1 0 8
Relaciones entre píxelesRelaciones entre píxelesVecindadVecindad
Ø Un píxel p de coordenadas (u,v) presenta un total de cuatro vecinos en sus diagonales. Este conjunto de píxel se suele indicar por ND(p).
ND(p)
(u, v)
(u-1, v-1) (u+1, v-1)
(u+1, v+1)(u-1, v+1)
55
Manuel Mazo. Departamento de Electrónica 1 0 9
Relaciones entre píxelesRelaciones entre píxelesVecindadVecindad
Ø Un píxel p de coordenadas (u,v) presenta un total de 8 vecinos. Este conjunto de píxeles se denomina vecindad de tipo 8 del píxel p. Se suele indicar por N8(p).
N8(p)
(u, v)(u-1,v)
(u, v-1)
(u+1, v )
(u, v+1)
(u-1, v-1) (u+1, v-1)
(u+1, v+1)(u-1, v+1)
Manuel Mazo. Departamento de Electrónica 1 1 0
Relaciones entre píxelesRelaciones entre píxelesConectividadConectividad
Conectividad:Dos píxeles están conectados si son adyacentes (vecinos) y si sus niveles de gris satisfacen algún criterio de especificación (por ejemplo ser iguales)
10 componentes conectados
56
Manuel Mazo. Departamento de Electrónica 1 1 1
Relaciones entre píxelesRelaciones entre píxelesConectividadConectividad
P1
P2
P3
P4
Ø Dos puntos en una imagen están “conectados” si se puede encontrar un camino para el cuál los valores de los píxeles tienen el mismo valor a lo largo del camino
P1 conectado a P2P3 conectado a P4P1 no conectado a P3 ó P4P2 no conectado a P3 ó P4P3 no conectado a P1 o P2P4 no conectado a P1 ó P2
Manuel Mazo. Departamento de Electrónica 1 1 2
Relaciones entre píxelesRelaciones entre píxelesConectividadConectividad
Ø Existen tres tipos de conectividad:ü Conectividad 4: si q está en el conjunto de N4(p).ü Conectividad 8: si q pertenece al conjunto de N8(p).ü Conectividad m (conectividad míxta):
• q pertenece a N4(p), ó• q pertenece a ND(p) y el conjunto N4(p)�N4(q) es el conjunto vacio.
Ø Cuando se quiera determinar si dos píxeles pertenecen al mismo objeto se toma conectividad de tipo 8, y para el fondo conectividad tipo 4, o viceversa.
Objeto: Si se utiliza conectividad 4: hay 4 objetos.Objeto: Si conectividad 8 uno sólo pero los dos fondos unidosObjeto: Conectividad 8, y fondo: conectividad 4: un solo objeto
y dos fondos.
57
Manuel Mazo. Departamento de Electrónica 1 1 3
Relaciones entre píxelesRelaciones entre píxelesDistanciaDistancia
Ø Alternativas de distancia métrica entre dos píxeles en imágenes digitales
= − + −( ) ( )i n j m2 2
Distancia Euclidea Distancia de Manhattano bloques de casas
Distancia de Tablero de ajedrez
i
m
n
j
i
m
n
j
i
m
n
j
= − + −i n j m = − −max{ , }i n j m