visió per computador - cvc.uab.es · imatge en el swir de nit sense lluna ni llum artificial....
TRANSCRIPT
Visió per Computadorformació de la imatge
Felipe LumbrerasDept. Ciències de la Computació / Centre de Visió per Computador
Universitat Autònoma de Barcelonahttp://www.cvc.uab.es/shared/teach/a102784/
Llum
El que percebem com a llum és una estreta porció de l’espectre electromagnètic.Cada freqüència es correspon amb un color pur (de vermells fins als violetes).
Espectre electromagnètic
E = hn
c = ln
relació de Planckh: constant de Planckc: velocitat de la llum en el buit
Imatges en altres rangs
Copyright © ONERA - All rights reserved
Imatge en el SWIR de nit sense lluna ni llum artificial. Només nightglow.
Façana de l’ETSE vista en el visible (a dalt), i en el LWIR (esquerra).
font: Wikipedia, user:Drgnu23
Röntgen (1895), mà de Berta.
UV Gammagrafia
raigs X
La intensitat emesa o reflectida per un objecte per totes les longituds d’ona defineix el seu color.
• Espectre (distribució espectral de potencia): potencia (energia per unitat de temps) radiant per unitat de longitud d’ona.
Llum
• Llum blanca: espectre pla (equienergètic). Per obtenir una sensació de llum blanca no és necessari que l’espectre sigui pla.
• Llum monocromàtica: espectre concentrat en una única longitud d’ona. Representa un color espectral pur.
PR
l
PR
l
Llum
• Longitud d’ona dominant / to
longitud d’ona amb més energia. Pic del espectre (e2).
• Puresa / saturació
relació entre l’energia de la longitud d’ona dominant (e2) i l’energia de la llum blanca (e1). Si e1=e2 la puresa és zero i si e1 és zero la puresa és 1 (màxima).
• Luminància / Lluminositat
proporcional a l’àrea sota la corba de la distribució espectral.
PR
l
e1
e2
lD
teòrica
PR
l
e1
e2
lD
exemple
Paràmetres espectrals / color
Color
sensació visual produïda per una determinada distribució espectral que incideix en la retina ...
... i es processa pel SVH
Font de
llum
Objecte
Observadoremissió
reflexió
Escena
L
NR
V
superfície
L: vector en la direcció de la font de llumN: vector normal a la superfícieR: vector direcció de reflexióV: vector en la direcció de l’observador
ambient+difusa
brillantor
Geometria
Reflectància
• BRDF (bidirectional reflectance distribution function)
– Difusa
– Especular
– Phong
– Dicromatic
font: szeliski.org/Book/
(Phong) (Torrance Sparrow)
r: reflectanced: diffuses: speculari: interfaceb: surface body
materials isotròpics
Photometric Stereo for Outdoor Webcamshttp://www.gris.informatik.tu-darmstadt.de/projects/webcam-ps/
Face Reconstruction in the Wildhttp://grail.cs.washington.edu/3dfaces/
L’ull humàEstructura• La còrnia, el cristal·lí i l’humor
aquós s'encarreguen de projectar una imatge sobre la retina.
lents/òptiques
• L’iris és un diafragma que regula la quantitat de llum que entra en l’ull.
diafragma
• La retina és una capa de cèl·lules nervioses que transforma l’energia lluminosa en impulsos elèctrics.
sensor
L’ull humà
Receptors
Bastons: sensibles a intensitat baixa, no al color, situats a la perifèria de la fòvea.
Cons: sensibles a nivells alts, al color i bàsicament a la fòvea.
Nom Màxima sensibilitat
S (short) 445 nm (violeta)
M (medium) 535 nm (verd)
L (long) 570 nm (groc)
• Experiment de correspondència
Mesura del color
Observador estàndard
• En 1931 es defineix un observador estàndard a partir de mesures realitzades a un conjunt de persones mitjançant experiments de correspondència.
• Els tres primaris són X, Y, Z. Aquests primaris són colors imaginaris (no es poden donar a la natura).
• Les corbes x(l), y(l), z(l) són les funcions de correspondència i s’han triat positives.
Mesura del color
reflexiva f. )()()( emisiva; f. )()(
)()( ;)()( ;)()(
lllll
lllllllll
SILIL
dzLZdyLYdxLX
Càlcul de valors triestímul
• A partir de la distribució espectral de un determinat estímul de color obtenim els valors X,Y,Z així:– multipliquem per les funcions
de correspondència.– integrem l’àrea sota la corba.
• A la pràctica això és el que fan els aparells que mesuren les components de color.
Mesura del color
• Els valors XYZ dels possibles colors defineixen una mena de con “sòlid de color”. Tots els possibles colors són dins d’ell.
• Els eixos de l’espai XYZ no cauen a dins del sòlid (colors imaginaris).
• L’origen es correspon amb el negre
• La frontera representa els colors espectrals purs (locus), els púrpures que no hi són a l’espectre estan representats per una línia que uneix vermell i violeta. Z
X
Y
locus
línia de
púrpures
Espai XYZ
• Una representació que separa la component de lluminositat del color és el diagrama xy.x=X/(X+Y+Z), y=Y/(X+Y+Z),z=Z/(X+Y+Z)
• Com que x+y+z=1 eliminem la
redundància treien una d’elles.
• Podem veure-ho com el
sòlid de color projectat
sobre el pla X+Y+Z=1.
Diagrama xy
• Independents de dispositiu
– CIEXYZ (1931, 1964): espai base. Útil per mesurar.
– CIELUV: uniforme. Utilitzat per emissors.
– CIELAB: uniforme. Utilitzat per pintures i colors reflectits.
• Dependents de dispositiu
– RGB: monitors, càmeres, imatges. Molt utilitzat.
– CMY /CMYK : impressió
– Y’U’V’ y Y’I’Q’: televisió, vídeo.
– HSV : imiten espais perceptuals. Útil per definir colors i per processament de imatges en color
– HLS : similar a l’anterior.
Espais de color
Z
X
Y
• Independents de dispositiu
– CIEXYZ, CIELUV, CIELAB
• Dependents de dispositiu
– RGB, HSV, HLS
Espais de color
G B
R
Càmeres
• Model simple: pinhole, projecció central
focal distance
holeimage
plane
Càmeres
• Model simple: pinhole, projecció central
Càmeres
• Model simple: pinhole, projecció central
focal distance variation
Càmeres
pinhole
Hartley R , Zisserman. A Multiple View Geometry In Computer Vision, 2 Ed. 2003 (pàg. 154)
(X,Y,Z)T→ (𝑓X/Z, 𝑓Y/Z, 𝑓)
T
Coordenades homogènies
XYZ1
→𝑓X𝑓YZ
=𝑓
𝑓
1
000
XYZ1
x = P X
XYZ1
→𝑓X+Z𝑝𝑥𝑓Y+Z𝑝𝑦
Z
=𝑓
𝑓
1
𝑝𝑥𝑝𝑦0
XYZ1
Centre òptic (principal point)
x = K[I | 𝟎] XcamK =𝑓 𝑝𝑥
𝑓 𝑝𝑦1
Matriu de paràmetres intrínsecs
Rotació i Translació de la càmera
x = K[R | 𝐭] XMatriu de paràmetres
extrínsecs
[R | 𝐭] P=K[R | 𝐭]
Matriu de projecció
pinhole
Radial distortion
33Computer vision: models, learning and inference. ©2011 Simon J.D. Prince
Calibratge de càmeres
• Intrínsecs :
– focal (en píxels),
– punt principal (centre)
– distorsions
• Extrínsecs
– Rotació
– Translació
http://www.vision.caltech.edu/bouguetj/calib_doc/
Óptica Cámara
filtros
enfoquezoom
diafragma
montura
extensoresvídeo / imagen
anclaje
alimentación
elementos ópticos: filtros IR, beam splitters
sensor/es
configuración
amplificación, conversión, proceso
Captación
Ópticas
• Esquema simplificado
eje ópticoF’
O
h
vu
f
Formación de la imagen
• Esquema simplificado
O
I
h
h’
vu
f
F’
El rayo que pasa por el centro de la
lente no se desvía
El rayo que llega horizontal se
desvía por el foco
Formación de la imagen
eje óptico
• Esquema simplificado
O
I
h
h’
vu
f
F’
Formación de la imagen
eje óptico
• Esquema simplificado
O
I
h
h’
vu
f
F’
vuf
111 fórmula de Gauss
Formación de la imagen
eje óptico
• Grupo óptico que forma la imagen sobre el sensor
Características:
Distancia focal: f
Apertura: f-numero, N.A.,
Profundidad de campo DOF. mínima y máxima distancia de enfoque
Campo de vista FOV
Aumento
Tipos Focal fija, Variable
Gran angular, Ojo de pez
Zoom
Telecéntricos
Monturas Especificas de vídeo: C, CS
Microlentes
Otras
Otros elementos Extensores
Filtros
Tornillos
Objetivos
• Los objetivos están formados por grupos ópticos en
los que la suposición de lente delgada no se da.
– Simplificamos los cálculos suponiendo lente delgada
• El término distancia focal hace referencia a la EFL
(distancia focal efectiva).
– Otras medidas útiles son la BFD (back focal distance) y
– la FFD (flange focal distance).
F2
f = EFL
N2
FFD
BFD
Para un tamaño de sensor fijo la distancia focal está relacionada con el ángulo que abarca la imagen:
a menor distancia focal, mayor campo angular
Distancia focal
• Apertura relativa: Relacionado con la luminosidad que tendrá la imagen:- diámetro del objetivo luz que entra. - distancia focal tamaño de la imagen.
• La luz que llega al sensor es proporcional a D2
D
fN
f = focal
D = de la lente
N: 16 11 8 5.6 4 2.8 2 1.4
Apertura
• Los objetivos ajustan la distancia lente-sensor con el enfoque, consiguiendo una imagen nítida sobre el sensor.
– El posicionamiento con rosca de paso fino (Dz ~ 5 mm).
– Cuando la lente está lo más cerca posible del sensor, éste se sitúa en el plano focal del sistema (objetos distantes enfocados).
– Con el anillo de enfoque al máximo tenemos la mínima distancia entre el objeto y objetivo (MOD: minimunobject distance). La calculamos con formula de Gauss.
Nota: en aplicaciones con condiciones adversas conviene fijar el enfoque con un tornillo.
mm MOD mm mm mm
150;525
11
25
1
u
u
Ejemplo: para un objetivo de f=25 mm con 5 mm de recorrido de enfoque tenemos un rango
F
Anillo de enfoque
Enfoque
• FOV (Field Of View): área de la escena, a la distancia de trabajo u, que forma su imagen en el sensor. También medido como campo de vista angular 2q. Depende de tres factores:
– Distancia focal f
– Distancia de trabajo u
– Tamaño del sensor
Nota: Si la óptica está bien diseñada la apertura (iris) no debe influir en el campo. Incluso cerrando mucho el iris debemos seguir viendo el mismo campo.
q
FOV
f
u v
sensor
v
usFOV
v
s
2/
arctan2qs
Campo de vista
• Cómo varía la magnificación total i el campo de vista en función de la distancia focal para una distancia de trabajo fija.
Magnificación y campo de vista
f = 12 mm f = 25 mm f = 50 mm
• Cómo depende de la distancia focal
A mayor distancia focal menor campo de vista y mayor MOD.
• Clasificación en función del campo
angular (vídeo)
100°super-wide angle
65° wide angle
35° standard wide angle
20° standard
12° light telephoto
6° telephoto
MO
D
Campo de vista
• Círculo de confusión– el ojo humano y cualquier otro sensor es incapaz de
distinguir detalles más pequeños que el elemento utilizado para captarlos.
– Dependiendo del sensor que utilicemos tendremos uno u otro círculo de confusión. En las cámaras este valor suele ser: c’=10mm - 30mm.
elementosensor
plano imagen
CCD
cono de luz incidente
Profundidad de campo
CCD
A A’B B’
sensor
cono de luz incidente
(pequeño)
cono de luz incidente (grande)
Rango de posiciones en las que el objeto se encuentra bien enfocado (el tamaño de un punto imagen es igual o menor al del círculo de confusión).
• Factores que influyen en la profundidad de campo:– Apertura: a menor apertura, mayor profundidad de campo
– Distancia del objeto: a mayor distancia, mayor profundidad
– Distancia focal: a menor distancia focal, mayor profundidad
Profundidad de campo (DOF)
• Ejemplo de variación de la profundidad de campo según la apertura,
mmf 25
4.1#f 2#f 8.2#f 4#f 8#f
Profundidad de campo
• Anillos que colocados entre el objetivo y la cámara aumentan la distancia lente-sensor
• Consecuencias:– Disminución DOF
– Disminución distancia mínima
de trabajo
– Disminución FOV
– El aumento se hace mayor
Extensores
• Objetivos fijos
• Teleobjetivos
• Gran angular
• Zoom
• Macro
• Telecéntricas
Tipos de objetivos
Distancia desde el plano posterior de la óptica
(sin contar la rosca) y el sensor (plano focal).
• Dos estándares:
-Tipo C (industria y ciencia): distancia c = 17,5 mm
-Tipo CS (vigilancia): distancia c = 12,5 mm
El paso de rosca es de 1/32” TPI (threads per inch).
Se puede pasar de CS a C con extensor, pero no al revés.
• Los sensores de gran formato (lineales/matriciales) usan
otros tipos de montura: F-Nikon, 42mm.
• Las cámaras de bajo coste suelen tener montura de 12 mm
o menores (microlentes). De poco uso en visión industrial.
Nota: el soporte de la lente suele contener el filtro IR
Montura53/160
Cámaras
Luz(fotones)
Carga eléctrica(electrones)
Sensor
• Los sensores convierten la energía radiante en una señal eléctrica.
• La luz está “formada” por fotones. El sensor “cuenta” fotones.
Sensor
QE (Quantum Efficiency): Número de electrones generados por cada fotón incidente.
WC (Well Capacity): Número de electrones que puede almacenar la celda sensora.
• Arquitectura del chip
• Tiempo de integración
• Tipo de integración
• Transferencia
• Sensibilidad espectral
• Relación señal ruido, Corriente oscura
• Respuesta, Saturación
• Color
• Tecnología
Características del sensor
Cámaras linealesCámaras matriciales
Celda CCD
Anchura del elemento sensor
Altura del elemento sensor
NM
Celda CCD
Anchura del elemento sensor
Altura del elemento sensor
Arquitectura
Matricial: estructura
• Número efectivo de celdas (HxV).
• Tamaño de las celdas (THxTV).
• Forma de las celdas (TH/TV). Ideal = 1 (cuadrada).
• Formato de la matriz (1’’, 2/3”,1/2”,1/3”,1/4”).
Formato de la matriz: aspect ratio 4:3 (unidades en mm)
Número efectivo de píxeles(captan luz)
SensorNúmero total de píxeles
Nota: relacionado con el concepto de corriente oscura
Zona de píxeles que no capta luz
Número efectivo de celdas
• Misma focal y enfoque (mismo sistema óptico)• Diferente tamaño de sensor
1/2”
1/3”
Formato de la matrizTamaño y relación de aspecto del sensor.
Afecta a: • campo de vista
• magnificación total
sensor
Monitor
Sensor lineal• Arquitectura de descarga lineal, bilineal o trilineal.
• Gran resolución en la línea: de 128 a 8800 píxeles.
• Formato de salida no estándar.
• Permite trabajar con diferentes condiciones de iluminación y movimiento.
• La señal que lo controla se denomina shutter (obturador).
Ejemplo: poca luz mayor tiempo de integración
Tiempo de integración
El tiempo de integración afecta a:
• cantidad de electrones que se almacenan por unidad de tiempo,
• desenfoque por movimiento
Tiempo de integración
Objeto estático 1/250 s
1/1000 s 1/10000 s
Tiempo de integración
Menor tiempo de integración implica:
• O tener que aumentar la potencia de luz en la escena:
CALOR
• O ser compensado abriendo el iris del objetivo:
MENOR PROFUNDIDAD DE CAMPO
Tiempo de integración
Rolling shutter
expuesto
expuesto
t0
ti
La mayoría de CMOS
CCD y algunos CMOS
Tipo de integración
Frame shutter
1) Adquisición (tiempo de integración de la imagen).2) Lectura (readout)3) Reset (descarga de las fotocélulas)
Transferencia (CCD)
Problemas asociados al proceso de transferencia:
•Blooming: desbordamiento de carga.
•Smear: La luz llega en la etapa de lectura.
La carga se propaga a lo largo de toda la columna.
Posible soluciones:Tiempo de integración menor blooming menor
Tapar el sensor en el tiempo de lectura.
Transferencia
Nota: fenómenos más presentes en CCD que en CMOS
• La sensibilidad del sensor depende de los materiales con los que está fabricado. El semiconductor nos da la envolvente de sensibilidad.
• En el caso de tener filtros adosados, éstos limitarán el rango.
Para generar un par electrón-hueco, la energía de los fotones tiene que ser superior al gap del semiconductor.
Sensibilidad espectral
Longitud de onda (nm)
Res
pu
esta
rel
ativ
a
1.0
400 500 600 700 800 900 1000
0.8
0.6
0.4
0.2
0.0 1100
CCD (Si)
SVH
Curva de respuesta espectral
visibleuv nir
Proporción de ruido en dela señal
VruidoV
t
ruido
señal
V
VSNR log20
Vseñal
SNR
• Por el hecho de estar a una determinada temperatura se genera una pequeña señal (pares electrón-hueco), incluso en ausencia de luz, que recibe el nombre de corriente oscura.
• Los píxeles no efectivos se utilizan para cuantificar y contrarrestar esta señal.
• Podemos disminuir este efecto bajando la temperatura.
Corriente oscura
• Para una longitud de onda dada y un rango de intensidades la respuesta del sensor es lineal.
• Podemos alterar la forma de esta respuesta para los dispositivos no lineales (CRT), corrección gamma
Saturación
Corriente oscura
Intensidad de luz
Ran
go
din
ámic
o
Salida
• Procesar imágenes señal lineal.
• Si se requieren grandes diferencias entre zonas claras y oscuras (HDR: high dynamicrange) se puede optar por sensores que tienen respuesta logarítmica o no-lineal.
Respuesta
Color
Bayer pattern (1 único sensor)
• El sistema más utilizado
• No tenemos R,G,B en ningún pixel. Se necesita interpolar (demosaicing)
3 sensores independientes
• Prismas y filtros dividen el haz de luz en 3 componentes que iluminan 3 sensores monocromáticos.
Pixeles apilados
• La luz dependiendo de su energía (color) llega a diferentes profundidades.
Calibratge del color
CCD (Charge-Coupled Device)• Tecnología especifica para CCD.
• Necesita electrónica extra para sacar la señal del sensor.
CMOS (Complementary Metal Oxide Semiconductor)• Misma tecnología que para otros dispositivos electrónicos.
• Bajo coste
• Se puede integrar electrónica extra en el mismo chip (conversores, proceso,…)
Tipos de sensor
Sensor CCD
Sensor CMOS
Característica CCD CMOS
Windowing Muy restringida Sí
Consumo Alto Bajo
Integración Baja Alta
Velocidad Baja Alta
Blooming y smear Sí Bajo
Coste económico Alto Medio, bajo
Fill Factor Alto Medio/bajo
Ruido Bajo Medio/alto (FPN)
Shuttering Fácil Presenta complicaciones
CCD vs. CMOS
• CCD y CMOS son tecnologías complementarias.
• A corto/medio plazo:CCD donde se requiera alta calidad de imagen
CMOS: para aplicaciones de bajo coste,
cuando se necesiten transferencias de áreas parciales,
si se requiere alta velocidad,
para obtener rangos dinámicos altos (HDR).
• A largo plazo, CMOS irá mejorando los problemas de ruido, fillfactor.
CCD vs. CMOS - Tendencia
Señal, conectividad
• Analógicas
• Digitales
• Autónomas (smart cameras)
• Ventajas
– Longitud del cable prácticamente ilimitada (~ 100 metros)
– Bajo precio de las cámaras
• Inconvenientes
– Típicamente, menor resolución
– Requieren del uso de un frame grabber
– Los problemas de sincronismo cuando se usan múltiples cámaras requieren cables específicos.
• Barrido
– Entrelazado: proviene de la TV. CCIR (25 Hz), RS-170/EIA (30 Hz)
– Progresivo: no estándar
Cámaras Analógicas
• Al no derivar de un estándar de televisión, se pueden encontrar modelos de mayor resolución, mayor velocidad, ventana variable.
• Varios sistemas:
– Cámaras Firewire (IEEE1394a, IEEE1394b)
– Cámaras CameraLink
– Otros: USB 2.0, USB 3.0, GigaEthernet , Cameralink, …
Cámaras Digitales
• Analógicas:– BNC
– RCA
– Específico del fabricante
• Digital:– USB 2, USB 3
– FireWire
– Cameralink
– Ethernet
Conectores
• Captación y proceso integrado en un mismo producto. Sistema de visión industrial integrado:– Lente + sensor (CCD, CMOS, matricial, lineal) +
digitalización + memoria (imagen)
– Procesador (CPU, DSP) + memoria de programa
– Comunicaciones, entradas y salidas: RS232,Etherner, i/o optoacopladas.
– Sistema de iluminación (LED)
• Realizan labores sencillas de visión en una línea de producción, sin necesidad de hardware externo.
• Programación con lenguajes (C, C++), o a partir de librerías suministradas por el fabricante.
Smart cameras