Построение видеомозаики на основе слабоконтрастных...

ПОСТРОЕНИЕ ВИДЕОМОЗАИКИНА ОСНОВЕ СЛАБОКОНТРАСТНЫХ

ИЗОБРАЖЕНИЙ ДОННОЙ ПОВЕРХНОСТИ

Кропотов А.Н., Макашов А.А., Сахарова Е.И., Плясунов В.М.

НИИ СМ МГТУ им. Н.Э. Баумана, 105005, Москва, ул. 2-я Бауманская д.5, тел. (499)261-36-14 Эл. почта:

niism@sm.bmstu.ru

Особенности постановки задачи для системы видеосклейкиизображений донной поверхности

• Полностью автоматическая система, без использования ручной коррекции и навигационной информации – эта информация в режиме постобработки зачастую оказывается недоступной, и данное допущение позволяет обеспечить универсальность;

• Склейка большей частью малоинформативных низкоконтрастных слайдов, «особенности» которых сильно чувствительны к углу освещения (песок, галька);

• Склейка большей частью плоских участков дна (относительная высота выпуклых объектов на дне не превышает 5% высоты аппарата над дном);

• Движение видеокамеры, находящейся на борту аппарата, характеризуется незначительными колебаниями по крену и дифференту (5-10:) и резкими поворотами по курсу (до 180: при угловой скорости до 30:/сек).

Изображения дна Авачинской бухты, снятые системой видеонавигации СОТИ

Чёрные полосы по краям

Неровное освещениев кадре

Изображения нуждаются в предварительной обработке

Предварительная обработка изображений перед добавлением в видеосклейку

• Чёрные полосы по краям – обрезка по контуру:

Чтобы избавиться от чёрных полос в кадре, обрезаем с каждой стороныпо 2 пикселя.

Предварительная обработка изображений перед добавлением в видеосклейку

• Неравномерное освещение – коррекция по яркости.

К значениям яркости пикселей добавляется разница в освещении эталонногокадра по отношению к максимуму.

+ =

Результат: тёмные области становятся светлее

Различные подходы к сопоставлению изображений для решения поставленной задачи

В настоящее время для решения подобных задач существует несколько возможных подходов:

1. Использование методов «оптического потока» - рассматривается целый кадр без поиска «особенностей» (features);

2. Использование различных детекторов точечных «особенностей» и дескрипторов их локальных окрестностей;

3. Различные интегральные детекторы, производящие анализ областей, строчное или контурное сравнение.

Третья группа в данной работе не рассматривается ввиду специфики изображений морского дна (очень часто является невозможным выделить некие контуры и области, либо они оказываются нестабильными, сильно зависящими от освещения).

Использование методов оптического потока: функционал

В качестве функционала схожести используется функционал вида:

m,n = csize/2 - половина размера ячейки по соответствующей координате, пиксели

Использование методов оптического потока – результаты

Слева направо: дно Авачинской бухты, дно бассейна ЦАГИ, вертолётная аэросъёмка. Видно, что метод даёт плохие результаты при резких поворотах камеры.

Использование точечных дескрипторов: SIFT – функционал

Приближение производной гауссиана

k – масштабный коэффициент

- дескриптор

Использование точечных дескрипторов: SIFT – результаты

Нет совпадений: слабые отклики

Использование точечных дескрипторов: SURF – функционал

В качестве детектора используется быстрый гессиан

где L = ѲG. Для σ=1.2 и стороны 9 квадрата окрестности, функция имеет вид:

На рисунке слева направо: Lyy, Lxy, и их отклики Хаар-вейвлета (робастное приближение).

Данный метод наиболее стабилен в том числе на слабоконтрастных изображениях ввиду его робастности, работает без срывов.

– четырёхкомпонентный вектор окрестности «особенности»

Использование точечных дескрипторов: SURF – результаты

Использование точечных дескрипторов: BRISK - функционал

вокруг точки kСубпиксельная точность:

Использование точечных дескрипторов: BRISK - результаты

Также, как и SIFT, нестабилен на слабоконтрастных входных данных.

Использование точечных дескрипторов: ORB – функционал

Детектор: oFAST + sBRIEF

центроид

ориентация

центральный момент «особенности»

oFAST: кроме базового FAST-детектора,

Sbright – пиксели, яркость которых выше яркости «особенности» на величину более, чем порог t;

Sdark – пиксели, яркость которых ниже яркости «особенности» на величину более, чем порог t;

вычисляется ориентация:

sBRIEF: кроме базового BRIEF-дескриптора, вычисляется дескриптор для различных ориентаций:

р – «патч» ,х,у – точки.

Каждой точке ставится в соответствие вектор:

R – матрица поворота

Ѳ=[0..2π), шаг 2π/30=12:

Использование точечных дескрипторов: ORB – результаты

Нет совпадений: слабые отклики

Выводы

• Методы оптического потока стабильны по отношению к срывам, но не дают точной оценки при больших углах поворота.

• Из методов, основанных на точечных детекторах и дескрипторах, для слабоконтрастных изображений наиболее стабильную и корректную работу показывает SURF ввиду его робастности.

• Многие из рассмотренных дескрипторов неспособны выдать результат ввиду слабой контрастности точечных особенностей и их неустойчивости к освещению (были приведены SIFT, ORB, также сюда относятся FAST, FREAK и большинство остальных).

• Из быстрых дескрипторов, способных работать в реальном времени, возможно использование BRISK c оценкой полученной гомографии и вектора «особенностей» и при необходимости переключением на более стабильный SURF.

Спасибо за внимание!