Семинар - bulgarian academy of sciences estimation to... · Семинар на Секция...

1

Семинар на

Секция “Обработка на сигнали и разпознаване на образи”, ИИКТ, БАН

гр. София 25 май 2011 г.

“Определяне на разстояния до обекти в статична сцена чрез стереодвойки

изображения“

докторант: Атанас Николов

2

Въведение

• Дисциплината стереозрение, като дял от машинното зрение (което пък е част от компютърното зрение), се опитва да пресъздаде човешката зрителна система чрез използването на два или повече двумерни изгледа на една и съща сцена с цел да се получи триизмерна информация за сцената. • Системи за стереозрение се използват за проучване на инфраструктурата в недостъпни за човек тунели, дълги участъци от пътища и мостове; • Области в медицината като антропология и пластична хирургия могат да бъдат подпомогнати чрез системи, способни да регистрират и възпроизвеждат тримерна информация за човешкото тяло; • Стереозрението е от особен интерес и за роботиката; • Изследвания в областта на стереозрението допринасят и за автоматизиране на производствения процес в автомобилната, самолетната и корабната индустрия; • Стартирани са множество важни проекти от европейски производители на автомобили за автоматизиране на шофирането и навигация на сухопътни превозни средства; • Разработени са роботи за създаване на прецизни триизмерни карти на закрити и открити площи

3

Канонична стереосистема

Параметри на стереосистемата:

• Оптични центрове Ol и Or , намиращи се в обективите на фотокамерите; • Равнини на сензорите πl и πr на камерите; • Паралелни оптични оси Zl и Zr , които минават през оптичните центрове Ol и Or и са перпендикулярни на равнините на сензорите; • Проекциите на точките Ol и Or върху равнините на сензорите по посока на Zl и Zr

определят главните точки ol и or;

• Базово разстояние b [cm] между оптичните центрове Ol и Or; • Разстоянието от равнините на сензорите до главните точки ol и or се нарича фокусно разстояние f [mm];

• Точки pli и pri, представляващи проекции на съответната тримерна точка Рi от сцената, върху равнините на сензорите на лявата и дясната камера; • Разстояния xli и xri [pixels], измерени от горния ляв ъгъл на цифровите изображения Iml

и Imr до съответните проекции на точката Рi - pli и pri ; • Разстояние Zi [m] между линията, свързваща оптичните центрове на камерите и точката Рi от сцената.

b

Z1

Z3

Z2

xl1

xl2

xl3 xr3

P1

P2

P3

yl = yr

Ol Or

xr

Zl Zr

f

πl πr

pl1 pl2 pl3 pr1 pr2 pr3

ol or

Iml Imr

xl

yl

xr

yr

xl

yl yr

xr2

xr1

Фиг. 1: Модел на канонична стереосистема

a)

б)

4

Определяне на разстоянието Zi

Въз основа на геометричния модел, представен на Фиг. 1а, разстоянието Z1 може да се намери чрез разглеждане на подобните триъгълници и съставяне на отношението на две от страните им:

По аналогичен начин се доказва, че независимо от местоположението на т. Pi спрямо оптич-

ните оси на камерите, разстоянието Zi се оп-

ределя според форму-

лата:

Разликата е винаги положителна, понеже проекцията на една тримерна точка върху лявото изображение се намира по-надясно от проекцията на същата точка върху дясното изображение по отношение на координатното начало на цифровите изображения, избрано да бъде в горния ляв ъгъл (Фиг. 1б).

5

Тази фигура обяснява явлението намаляване на точността R на измерената дълбочина с увели-

чаване на разстоянието от равни-

ните на камерите. Това е геометрич-

но ограничение, понеже зависи изключително от геометричните па-

раметри на стереосистемата (r, b, f).

Резолюция на дълбочината на канонична стереосистема

Фиг. 2: Точност на измерената дълбочина

Допускайки, че f b/Z е много по-голямо от хоризонталния размер на един пиксел r, се получава следното приближение, което е приложимо за относително малки стойности на Z:

6

Алгоритъм за определяне на разстояние

Основният проблем при определянето на разстояние на базата на стерео-изображения, се състои в намирането на двойки съответстващи точки в тези изображения, представляващи проекции на една и съща точка от тримерната сцена.

Алгоритъмът се основава на модела на канонична система за стереозрение. Той включва следните стъпки:

1) Определяне на характерни точки в двойката изображения чрез на детектор за откриване на ъгли на базата на модификация на метода на Харис.

2) Търсене на съответствия между откритите точки чрез метода на нормализираната взаимна корелация.

3) Изчисляване на разстоянието до обекти в сцената на базата на хоризонталното отместване между намерените съответства-щи точки.

7

Откриване на ъгли по метода на Харис

1. Прилагане на оператор за намиране на ъгли.

2. Прилагане на праг върху първоначалната карта с ъгли. 3. Потискане на нелокалните максимуми.

Прилагане на

оператор за търсене

на ъгли

Входно

изображение

Карта с намерени

ъгли

Карта с приложен

праг Ъгли

Прилагане на праг

към

картата с ъгли

Потискане на

нелокалните

максимуми

8

Намиране на съответствие между ъглите в стереодвойката изображения

• Използва се методът на нормализираната взаимна корелация:

където:

U=U(i,j) е множество от точки, разположени около точка с координати (x,y); Ik(x,y) е стойност на интензитета на точка с координати (x,y) в k-тото изображение; dx , dy обозначават хоризонталното и вертикално отместване на два блока (области U)

от изображенията, които се сравняват.

• Идея: последователно се изчислява корелацията на област от пиксели около даден

ъгъл в първото изображение с всички области около ъгли от второто изображение, намиращи се на определено максимално разстояние;

9

Организиране и провеждане на експерименти

1. Експериментите са извършени само с едно цифрово устройство за регистриране на изображения (Olympus E-P2), което се транслира по хоризонтала на определено разстояние (6, 7, 8, 9 и 10 cm) от първоначалната си позиция, а не чрез стереосистема, състояща се от две идентични устройства за едновременно прихващане на изображения;

Y

-Z

X

2. Измерват се разстояния до различни обекти от сцената с помощта на лазерен далеко-мер с точност ± 1 mm , които се използват за сравнение с получените. Измерените

3. Правят се няколко заснемания на една и съща сцена с отместване между лявата и дясната стереоснимка на 6, 7, 8, 9 и 10 cm. Целта е да се подсигурим с поне два успешни опита с достатъчно точна трансла-ция по хоризонтала и несъществена рота-ция около оста Y.

разстояния до обектите се отнасят за пер-пендикуляра спуснат от даден обект до линията, свързваща оптичните центрове на “двете” устройства за прихващане на изобр.

10

Софтуерно приложение

Фиг. 3: Интерфейс на графичното приложение с входни данни по подразбиране

11

Намерени ъгли в лявото и дясното изображение

12

Намерени съответствия между откритите ъгли

13

Изчислени разстояния до определени обекти

14

Представяне на получените резултати при f=14mm

Real Base length between cameras with focal length 14 mm

Distance 6cm 7cm 8cm 9cm 10cm

Est. Error Est. Error Est. Error Est. Error Est. Error

0.65m 0.65m 0cm 0.65m 0cm 0.65m 0cm 0.65m 0cm 0.65m 0cm



















15

Real Base length between cameras with focal length 20 mm

Distance 6cm 7cm 8cm 9cm 10cm

Est. Error Est. Error Est. Error Est. Error Est. Error




















Представяне на получените резултати при f=20mm

16

Заключение

• Точността на изследвания подход за определяне на разстояния до обекти в статична сцена чрез транслация на единична камера може да се разглежда от физическа и алгоритмична гледна точка. • За подобряване на физическата точност е необходимо да се премине през поредица от субективни действия (избор на оптимално базово и фокусно разстояние, корекция на оптичните изкривявания), водещи до приспособяването (калибрирането) на конкретна система за стереозрение към точно определен диапазон на работното разстояние. • Алгоритмичният аспект на точността зависи от софтуерните подходи за определянето на характерните точки (ъгли) и тяхното съответствие.

• Бъдещото развитие на изследвания метод може да се очертае в следните насоки: разглеждане на всяка една точка от изображенията като характерна и намирането на съответствието и в другото изображение; определяне на тримерните координати (X, Y, Z) на произволна точка; алгоритъмът за определяне на разстояния да не изисква задължително използването на принципа на канонична стереосистема; създаване на метод за триизмерно разпознаване и моделиране на обекти.

17

Благодаря за вниманието!

Въпроси?

Семинар - bulgarian academy of sciences estimation to... · Семинар на Секция...

Documents