bildgestützte messverfahren
DESCRIPTION
Bildgestützte Messverfahren. Menschliches und maschinelles Sehen, Grundlagen der digitalen Bildverarbeitung Beleuchtung – “Illumination and Image Formation” Farbe, Farbmodelle Farbwahrnehmung, Farbkonstanz Bildaufnahme – “Solid-State Image Sensing” Kamera - PowerPoint PPT PresentationTRANSCRIPT
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.20051
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Bildgestützte Messverfahren
• Menschliches und maschinelles Sehen, Grundlagen der digitalen Bildverarbeitung
• Beleuchtung – “Illumination and Image Formation”– Farbe, Farbmodelle– Farbwahrnehmung, Farbkonstanz
• Bildaufnahme – “Solid-State Image Sensing”
• Kamera– Modell, projektive Geometrie, Kalibrierung– Pose, PnP
• Stereo Rekonstruktion• Punktkorrespondenzen (‘corners+descriptors’)• Tracking
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.20052
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Eine gute Einführung bietet der Katalog vonTheImagingSource
Praxis !
LU SS !
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.20053
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Bildaufnahme
Solid State ImagingP.Seitz
Handbook of Computer Vision and ApplicationsEds. B. Jähne, H. Haußecker, P. Geißler
Vol.1, Chap. 7, pp. 165-222
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.20054
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
“Electronic Imaging” Processing Chain
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.20055
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Fundamentals
Photonen dringen in den Halbleiter einErzeugung von Ladungsträger-Paaren
– Quanteneffizienz – Ein Photon kann viele Paare erzeugen
Trennung der Paare: Photostrom– Elektrisches Feld E– Diffusion durch thermische Bewegung– Trennung innerhalb der Rekombinationszeit– Speicherung der Ladungen– Streng lineare Kennline !
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.20056
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Photons Semiconductor
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.20057
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Optical Losses
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.20058
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Quantum Efficiency
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.20059
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Absorption
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200510
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Photostrom Verarbeitung
Integration während BelichtungszeitAusnutzung der Kapazität mit der das Feld
erzeugt wird– Photodiode im Sperrbetrieb– MOS Kapazität
Spezialfälle:– Offset od. Verstärkung programmierbar– Logarithmische Charakteristik
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200511
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Photodiode vs. MOS Kapazität
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200512
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Ladungsträger Transport
CCD – Charge Coupled Device– Charge Transfer Efficiency CTE– S-CCD (surface channel): CTE 99.99%– B-CCD (buried channel): CTE 99.99995%
PD – Photodiode– Jedes Pixel hat einen eigenen Schalter zur gemeinsamen „video
line“– Hohe Kapazität der video line Höheres Rauschen
Siegeszug der CCD gegenüber der PD seit 1970
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200513
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
CCD – Ladungsträger Transport
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200514
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
CCD Architekturen
Frame Transfer: FT-CCD– Nachbelichtung während Transport– Verschluss (mechanical shutter)– 100% Füllfaktor
Interline Transfer: IT-CCD– ~30% Füllfaktor– Elektronischer Verschluss
FT + IT: FIT-CCD– Profikameras
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200515
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
CCD/PD
a. Frame-transfer (FT)b. Interline-transfer (IT)c. Field interline-transfer
(FIT)d. CMOS PD array
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200516
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
CMOS PD – Logarithmic Response (1)
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200517
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
CMOS PD – Logarithmic Response (2)
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200518
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
PD mit APS
Moderne CMOS Kameras
Active Pixel Sensor APS:– Der erste MOSFET des Ausgangsverstärkers wird
direkt bei jedem Pixel platziert– Geringere Kapazität– Geringeres Rauschen !
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200519
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
PD mit APS
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200520
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
APS CMOS Kameras
Vorteile:– Standard CMOS Technologie– Random Access Pixels– Non-destructive pixel readout– Programmable exposure times– Geringer Stromverbrauch
Nachteile gegenüber CCDs– Kleinerer Füllfaktor– Höheres Rauschen – Fixed Pattern Noise
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200521
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
High Speed Tracking mit CMOS Kameras
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200522
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
4 ways to increase the fill factor (1)
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200523
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
4 ways to increase the fill factor (2)
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200524
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Kameras
CCD – CMOSAnalog
– Video Standard (RS-170, CCIR, NTSC, PAL)– Frame Grabber + A/D Konverter
Digital– A/D Konversion on chip / in der Kamera– Datentransfer über Bus (USB, Firewire)
„intelligente Kameras“– A/D Konversion und Signalverarbeitung in der Kamera
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200525
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Analog Video Standards
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200526
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Color Sensors3-chip (prisms)
Filter (stripe, diagonal stripe, Bayer)
Foveon X3: penetration depth / λ
http://www.panasonic-electric-works.at/pewat/de/safedownloads/dd_x633_de_fb_grundlagen_farbbildverarbeitung_0806.pdf
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200527
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Color Filter Types
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200528
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Foveon X3
e.g. SIGMA SD1010.2 Mpixel =3.4 Mpixel * 3 !!! (R+G+B)
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200529
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Bildaufnahme
HDRC – High Dynamic Range CMOS ImagersU. Seger et al.
Handbook of Computer Vision and ApplicationsEds. B. Jähne, H. Haußecker, P. Geißler
Vol.1, Chap. 8, pp. 223-235
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200530
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
HDRC vs. CCD
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200531
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
HDRC Examples
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200532
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
High Speed Examples
Institut für Elektrische Meßtechnik und Meßsignalverarbeitung
Professor Horst Cerjak, 19.12.200533
WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz
Advantages (and problems) of log images