![Page 1: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/1.jpg)
Современная математика компьютерного зрения
Виктор КостоусовДенис Перевалов
Институт математики и механики им. Н.Н.Красовского
Конференция DUMP-2013
![Page 2: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/2.jpg)
План
1. Что такое компьютерное зрение2. Успехи3. Математика4. Проблемы5. Методы
![Page 3: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/3.jpg)
Нас интересуют методы извлечения и анализа цветовых и геометрических структур на изображении.
ОпределениеКомпьютерное зрение
- теория и технология создания машин, которые могут видеть.
http://the-gadgeteer.com/wp-content/uploads/2009/12/mr-robot-head-game.jpg
![Page 4: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/4.jpg)
Высший уровень
Классификация и идентификация объектов,
построение описания сцены
Низкоуровневая обработка
фильтрация и выделение точечных особенностей
Задачи компьютерного зрения
Средний уровень
Обнаружение линий, контуров, простых геометрических фигур,
построение скелета,сегментация
![Page 5: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/5.jpg)
2. Успехи компьютерногозрения
![Page 6: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/6.jpg)
Решены конкретные задачи> Обнаружение лиц Обнаружение объектов: пешеходы, автомобили, животные и пр.Мониторинг людей в помещенииРаспознавание жестовАвтоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя
![Page 7: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/7.jpg)
Решены конкретные задачиОбнаружение лиц > Обнаружение объектов: пешеходы, автомобили, животные и пр.Мониторинг людей в помещенииРаспознавание жестовАвтоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя
![Page 8: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/8.jpg)
Решены конкретные задачиОбнаружение лиц Обнаружение объектов: пешеходы, автомобили, животные и пр.> Мониторинг людей в помещенииРаспознавание жестовАвтоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя
![Page 9: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/9.jpg)
Решены конкретные задачиОбнаружение лиц Обнаружение объектов: пешеходы, автомобили, животные и пр.Мониторинг людей в помещении> Распознавание жестовАвтоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя
![Page 10: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/10.jpg)
Решены конкретные задачиОбнаружение лиц Обнаружение объектов: пешеходы, автомобили, животные и пр.Мониторинг людей в помещенииРаспознавание жестов> Автоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя
![Page 11: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/11.jpg)
Решены конкретные задачиОбнаружение лиц Обнаружение объектов: пешеходы, автомобили, животные и пр.Мониторинг людей в помещенииРаспознавание жестовАвтоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя
![Page 12: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/12.jpg)
Разработаны общие методы> Сегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания
по ключевым точкам (SIFT)по контурам (MRF)
Сшивка изображений (SIFT)
http://www.cis.upenn.edu/~jshi/GraphTutorial/Tutorial-ImageSegmentationGraph-cut4-Sharon.pdf
![Page 13: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/13.jpg)
Разработаны общие методыСегментация (GrabCut)> Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания
по ключевым точкам (SIFT)по контурам (MRF)
Сшивка изображений (SIFT)
![Page 14: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/14.jpg)
Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)> Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания
по ключевым точкам (SIFT)по контурам (MRF)
Сшивка изображений (SIFT)
http://opencv.willowgarage.com/documentation/c/_images/disparity.png
![Page 15: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/15.jpg)
Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)> Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания
по ключевым точкам (SIFT)по контурам (MRF)
Сшивка изображений (SIFT)
http://www.merl.com/projects/images/particle.jpg
![Page 16: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/16.jpg)
Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)> Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания
по ключевым точкам (SIFT)по контурам (MRF)
Сшивка изображений (SIFT)
http://ericbenhaim.free.fr/images/hog_process.png
![Page 17: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/17.jpg)
Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)> Сопоставление с эталоном в условиях загораживания
по ключевым точкам (SIFT)по контурам (MRF)
Сшивка изображений (SIFT)
http://robwhess.github.io/opensift/
![Page 18: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/18.jpg)
Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания
по ключевым точкам (SIFT)> по контурам (MRF)Сшивка изображений (SIFT)
Li 1994a, из книги Li по MRF
![Page 19: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/19.jpg)
Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания
по ключевым точкам (SIFT)по контурам (MRF)
> Сшивка изображений (SIFT)
http://queue.acm.org/detail.cfm?id=2206309
![Page 20: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/20.jpg)
3. Математика компьютерного зрения
![Page 21: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/21.jpg)
Задача сопоставления двух изображений
• Многие задачи компьютерного зрения являются конкретизацией следующей задачи:
-----------------------------------------------------------------------------
Дано два изображения A и B.
Требуется их сопоставить между собой,
и выдать параметры сопоставления: геометрические, цветовые, показатель надежности.
-----------------------------------------------------------------------------
![Page 22: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/22.jpg)
> Отсутствие геометрических трансформаций
Малые локальные сдвиги
Большие горизонтальные сдвиги
Большой однородный сдвиг в любом направлении
Большой однородный сдвиг, поворот, масштабирование
A[x,y] ↔ B[x,y]
Задача поиска существенных изменений между изображениями
Задача сопоставления двух изображений
![Page 23: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/23.jpg)
Отсутствие геометрических трансформаций
> Малые локальные сдвиги
Большие горизонтальные сдвиги
Большой однородный сдвиг в любом направлении
Большой однородный сдвиг, поворот, масштабирование
A[x,y] ↔ B[x + epsX, y + epsY]
Оптический поток
Задача сопоставления двух изображений
![Page 24: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/24.jpg)
Отсутствие геометрических трансформаций
Малые локальные сдвиги
> Большие горизонтальные сдвиги
Большой однородный сдвиг в любом направлении
Большой однородный сдвиг, поворот, масштабирование
A[x,y] ↔ B[x + X, y]
Стереозрение
Задача сопоставления двух изображений
![Page 25: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/25.jpg)
Отсутствие геометрических трансформаций
Малые локальные сдвиги
Большие горизонтальные сдвиги
> Большой однородный сдвиг в любом направлении
Большой однородный сдвиг, поворот, масштабирование
A[x,y] ↔ B[x + U, y +V] где U,V – одинаковы для всех (x,y)
Сшивка изображений
Задача сопоставления двух изображений
http://queue.acm.org/detail.cfm?id=2206309
![Page 26: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/26.jpg)
Отсутствие геометрических трансформаций
Малые локальные сдвиги
Большие горизонтальные сдвиги
Большой однородный сдвиг в любом направлении
> Большой однородный сдвиг, поворот, масштабирование
A[x,y] ↔ B[ T(x,y) ] где T – афинный оператор
Поиск объектов на изображении
Задача сопоставления двух изображений
![Page 27: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/27.jpg)
4. Проблемы компьютерногозрения
![Page 28: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/28.jpg)
Комбинаторный взрыв
• Количество бинарных изображений размером NxN пикселей – 2N*N.
• 1x1 2 изображения• 2x2 16 изображений• 3x3 512 изображений• 5x5 33 554 432 изображений• 10x10 1267650600228229401496703205376• 100x100 ~103000 (3000 знаков в числе).
Это - комбинаторный взрыв:
Перебрать всё множество изображений трудно.Приходится сокращать пространство возможных изображений.
![Page 29: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/29.jpg)
Трудоемкость
Число возможных расположений объекта на изображении велико (положение, поворот, размер, искажения).
Например, равнобедренный треугольник с шириной и высотой 1..100 пикселей, на изображении 1000x1000 пикселей,
100 углов поворота: 100 * 100 * 1000 * 1000 * 100 =~1 000 000 000 000 возможных положений для поиска по эталону.
Решение этой проблемы:
Двухуровневый поиск (грубый – точный масштаб).
Поиск объекта по частям (отрезки, углы объекта).
![Page 30: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/30.jpg)
Структурная изменчивость изображений объектов
![Page 31: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/31.jpg)
Проблема слабовыраженных границ
http://flogiston.ru/img/invisible_flounder_fish.jpg
Как найти камбалу?
![Page 32: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/32.jpg)
Проблема сегментации сильно-текстурированных объектов
http://dangerouswildlife.com/images/zebra-herd.jpg
Сколько зебр на снимке?
![Page 33: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/33.jpg)
5. Методыкомпьютерного зрения
![Page 34: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/34.jpg)
Ретроспектива развития методов> 50-е Перцептрон, линейные фильтры
60-е Корреляционные методы, Хаф, Фурье
70-е Математическая морфология
• Линейная фильтрация с помощью оптических и аналоговых средств.• Перцептрон Розенблатта – надежда использовать простую модель
нейронов мозга для распознавания изображений.
Фрэнк Розенблатт со своим компьютером — «Марк-1».
![Page 35: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/35.jpg)
Ретроспектива развития методов50-е Перцептрон, линейные фильтры
> 60-е Корреляционные методы, Хаф, Фурье
70-е Математическая морфология
• Сопоставления с эталоном с помощью корреляции.• Преобразование Хафа для поиска линий – аккумулирование в пространстве параметров
модели.• Быстрое преобразование Фурье – надежда на получение устойчивого метода
сопоставления с эталоном.• Фильтры границ Собела, Превитта.
![Page 36: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/36.jpg)
Ретроспектива развития методов50-е Перцептрон, линейные фильтры
60-е Корреляционные методы, Хаф, Фурье
> 70-е Математическая морфология
• Морфология Серра – характеризация пористых изображений.• Морфологический анализ Ю.П. Пытьева – оператор морфологического
проектирования, инвариантный к изменениям яркостей объектов.
http://bme.med.upatras.gr/improc/Morphological%20operators.htm
Результат работы морфологического замыкания
![Page 37: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/37.jpg)
Ретроспектива развития методов> 80-е Дифференциальные и интегральные методы, обобщенный Хаф
90-е Комбинаторные методы и анализ многообразий изображений
2000-е - н.в. Три направления
• Метод Канни для поиска контуров.• Методы Люкаса-Канаде и Хорна для вычисления оптического потока.• Метод активных контуров• Обобщенный метод Хафа.• Многомасштабный анализ – надежда на вейвлеты.• RANSAC – стабильный метод оценки параметров модели на основе случайных выборок.
http://www.roborealm.com/help/Canny.php
![Page 38: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/38.jpg)
Ретроспектива развития методов80-е Дифференциальные и интегральные методы, обобщенный Хаф
> 90-е Комбинаторные методы и анализ многообразий изображений
2000-е - н.в. Три направления
• Использование множества частиц для трекинга объектов (Particle filter). • Методы анализа изображений как многообразий, PCA (principal component
analysis) – построение опорных векторов многообразий, для поиска лиц.
![Page 39: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/39.jpg)
Ретроспектива развития методов80-е Дифференциальные и интегральные методы, обобщенный Хаф
90-е Комбинаторные методы и анализ многообразий изображений
> 2000-е - н.в. Три направления
1. Общий подход (MRF) для решения многих задач компьютерного зрения. Позволяет формулировать задачу в общей математической формулировке, описанной выше.
Модель задачи в виде марковских случайных полей () + наложение модели на изображение с помощью глобальной оптимизации.
2. Сильные признаки (SIFT)
Построены признаки, инвариантные к повороту и изменению масштаба, которые можно применять для сопоставления объектов и пр.
3. Простой признак + “сильный” метод принятия решения (HOG, Виола-Джонс)
Использование достаточно простых признаков вместе с мощным аппаратом распознавания образов типа SVM и бустинга.
![Page 40: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/40.jpg)
Заключение
1. Все упомянутые методы, классические и новейшие, используются в различных задачах.
2. Многие алгоритмы реализованы в библиотеке OpenCV и могут быть использованы для «разведки» задачи.
3. Для серъезных приложений необходимы собственные реализации методов, учитывающих специфику задачи.
![Page 41: DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перевалов Денис, Костоусов Виктор](https://reader034.vdocuments.net/reader034/viewer/2022042602/5587859fd8b42aa47d8b4708/html5/thumbnails/41.jpg)
ЛитератураЭтот доклад будет опубликован тут:
www.uralvision.blogspot.com
Компьютерное зрение• E. R. Davies, Computer and Machine Vision, 2012.• Гонсалес Р., Вудс Р. Цифровая Обработка Изображений, 2012.• Шапиро Л., Стокман Дж. Компьютерное зрение, 2009.• Форсайт Д., Понс Ж. - Компьютерное зрение. Современный
подход, 2004.
Список книг по OpenCV
http://opencv.willowgarage.com/wiki/OpenCVBooks