Раздел 2Лекция 3.

Методы вторичной обработки изображений. Выделение локальных областей на изображении.

Выделение и описание контуров объектов.

Лектор – проф. Тропченко А.Ю.

Методы обработки и распознавания изображений

2

Методы сегментации изображенияМетоды сегментации изображения(локализации объектов)(локализации объектов)

Методы сегментации

Методы разметки точек Методы выделения границ

Метод пороговогоограничения по яркости

Метод наращиванияобластей

Методы выделения локальных областей (сегментации изображений)

Классификация методов выделения и распознавания объектов на изображении

Методы сегментации

Методы порогового ограничения

Методы наращивания областей Сегментация путем выделения границ

Бинаризация по порогу

Бинаризация по диапазонам

Сегментация с адаптивным выбором

порога

Центроидное связывание

Алгоритм слияния-расщепления

Градиентные методы

Методы проведения контуров

Методы распознавания объектов

Корреляционные методы

Дискриминантные методы

Синтаксические методы

4

Результаты анализа методов выделения и распознавания объектов на изображении

Название метода

Достоинства Недостатки

Методы порогового

ограничения

Простота реализации Универсальность

Учет априорной инф. только на начальном этапе

Центроидное связывание

Простота реализации Возможность оптимального учета дополнительной априорной инф. о расположении объекта

Отсутствие правила для выбора порога, фигурирующего в критерии однородности области Необходимость повторных проходов в случае слияния областей

Алгоритм слияния-расщепления

Возможность оптимального учета дополнительной априорной инф. о расположении объекта

Необходимость большого объема памяти для хранения промежуточных результатов

Градиентные методы

Невысокая точность Требует больших вычислительных затрат

Методы проведения контуров

Высокая точность Простота реализации

Корреляционные методы

Высокая точность и скорость распознавания

Неустойчивы к геометрическим искажениям объекта

Дискриминантные методы

Инвариантность к масштабу Большая трудоемкость Невысокая точность распознавания

Синтаксические методы

Неустойчивость при наличии случайного шума

5

Построение алгоритма сегментации с адаптивным выбором порога

Построение гистограммы распределения яркостей исходного изображения.

Поиск координаты глобального максимума гистограммы Pф и определение типа изображения: - темный объект на светлом фоне или наоборот.

Поиск координаты второго максимума гистограммы Pо, соответствующей области объекта в пределах {0, Pф} или {Pф, 255}.

Поиск координаты максимума гистограммы Pмах в пределах {Pф, Pо} или {Pо, Pф}.

Вычисление порога Т согласно следующему правилу:Т = ( Рмах + Рф ) / 2, при Pо - Pмах => Pф – PмахТ = ( Pо + Pмах ) / 2, при Pо - Pмах < Pф - Pмах Разметка исходного изображения, с помощью полученного

порога Т, то есть, пикселю исходного изображения присваивается значение 1, если его яркость находится в диапазоне [0, Т], в противном случае ему присваивается значение 0.

6

Укрупненная схема выделения областей на основе адаптивного выбора порога

Начало

Загрузка исходного изображения из файла

Сегментация

Вывод результатовсегментации

Загрузка К-ого эталона

Распознавание путем вычисления и сравнения проекций

Вывод результатов

Конец

7

Примеры выделения объектов на различных изображениях

На данных рисунках

приведены примеры выделения светлого

объекта на темном фоне, темного объекта на светлом фоне и темного объекта на

неоднородном светлом фоне.

8

Цели и задачи работыГрадиентная обработка при

линейной фильтрации

Для выделения контуров методом линейной фильтрации наиболее часто используют следующие виды фильтров:1. разностный амплитудный фильтр

y a a a a a a a aij i j i j i j i j i j i j i j i j 1

2 1 1 1 12

1 1 1 12[( ) ( )] [( ) ( )], , , , , , , ,

2. максимальный разностный амплитудный фильтр

y a a a a a a a aij i j i j i j i j i j i j i j i j max( ; ; ; ) min( ; ; ; ), , , , , , , ,1 1 1 1 1 1 1 1

3. фильтр Робертса

y a a a aij i j i j i j i j ( ) ( ), , , ,1 12

1 12

4. фильтр Превитта

y a a a a a a

a a a a a a

ij i j i j i j i j i j i j

i j i j i j i j i j i j

1

2 2 1 1 2 2 2 22

2 1 2 1 2 2 22

[( ) ( ) ( )]

[( ) ( ) ( )]

, , , , , ,

, , , , , ,

9

Цели и задачи работыПостроение цепного кода Фримена для

векторного описания контура объекта

10

Цели и задачи работыСкелетизация изображений

Под скелетизацией или утоньшением будем понимать преобразование изображения, удовлетворяющее следующим условиям: после преобразования все линии имеют толщину в 1 элемент; преобразование не нарушает топологию символа;преобразование не нарушает размеров символа.

i

i

i

1

1

1 1 1

1 1 1

1 1 1 1

1 1 1 1 1

1 1 1 1 1

1 0765

43 2 1

1

111

11

Цели и задачи работыПереход от изображения к набору признаков в ходе вторичной обработки

признаковые представления

контур

скелет

предварит. обработка

вторичная обработка

распознавание

площадьпериметрэксцентриситетмоменты инерциичисло угловчисло пустот

геометрические признаки

топологические признаки

множественные представления

дискретизация

функциональное представление

матрица отсчетов

исходное изображение

выделение особенностей

векторизацияморфологич.

процедуры

12

Описание процесса выделения локальной Описание процесса выделения локальной областиобласти

где I(X,Y) - исходное изображение; fs(x,y) - функция, аппроксимирующая локальную область

Ds с размерами lxs, lys с центром {x0s; y0s}; s - порядковый номер области; N1 - число областей.

1

1

),(),(N

ss yxfYXI

13

Примеры аппроксимирующих функций для локальных областей

14

Алгоритм выделения областей на основе Алгоритм выделения областей на основе аппроксимацииаппроксимации Начало

Чтение файла .bmp

Определение точки максимальной яркости

амплитуда> пороговой

даВыделение локальной области, которой принадлежит ТМЯ

нет

да

Аппроксимация выделенных областейпри помощи гармонических функций

Конец

Вычитание значения функции из исходного изображения

Раздел 2.Лекция 4.

Методы сжатия цифровых изображений и видео. Стандарт JPEG

Лектор – проф. Тропченко А.Ю.

Методы обработки и распознавания изображений

16

Методы сжатия

Сжатие без потерь Сжатие с потерями

Сжатие способом кодирования серий (RLE) Ксж = 2

Метод Хаффмана (Huffman)Ксж = 3

Метод Лемпеля-Зива (LZ-compression)Ксж = 3-4

Метод Лемпеля-Зива-Велча (LZW-compression)Ксж = 4

Метод JBIGКсж = 2-3

Метод Lossless JBIGКсж = 2

Метод JPEGКсж = 2 - 30

Метод WIC (Wavelet Image Compression)Ксж = 10 - 50

Метод MPEGКсж = 2 - 30

Фрактакльный метод сжатия изображенийКсж = 20 - 50

Классификация методов сжатия видеоинформации

17

О С Н О В Н Ы Е П А Р А М Е Т Р Ы С Ж А Т И Я

К о э ф ф и ц и е н т с ж а т и я ( К с ж ) .

2

1

V

VK C

О ш и б к а п р е о б р а з о в а н и я .

С р е д н е к в а д р а т и ч н о е о т к л о н е н и е ( с к о ) м е ж д у и с х о д н ы м и п о л у ч е н н ы ми з о б р а ж е н и е м :

%100*

,~

),(

0,2

2

l

N

yxIyxIN

ji

iiii

Р а з н о с т н а я м е р а :

ijij IR д л я MjNi ,1,,1 ,

О т н о ш е н и е с и г н а л \ ш у м ( S N R )

S N R = 1 0 l o g 1 0 ( E i n p / E n ) , (д Б )

В р е м я п р е о б р а з о в а н и я :

t с ж = t о п + t у п

t в о с с т = t р а с п + t о б

18

Классификация методов сжатия изображений с потерями

Методы сжатия изображений с потерями

Частотно-временные преобразования

Блоковые преобразования

Частотно-временные фильтры

Преобразования во временной области

Кодирование без предсказания

Кодирование с предсказанием

Преобразования на основе построения модели сигнала

• Фрактальное сжатие

• Геометрическая аппроксимация областей

• Веджлет-преобразование

ДКППКЛ

ДВП

Гибридные методы

ИКМУБК

ДИКМ ДМ

19

Схемы компрессии и декомпрессии для методов с

частотно-временными блоковыми преобразованиями

Разбиение на блоки

Прямое преобразование

КвантованиеКодирование

(вторичное сжатие)

Исходное изображение

Сжатое изображение

Сжатое изображение

Группировка блоков

Обратное преобразование

ДеквантованиеДекодирование

Восстановленноеизображение

а)

б)

20

21

Сжатие по стандарту Сжатие по стандарту JPEGJPEG1. Преобразование RGBYUV:

2. Децимация компонент U и V с коэффициентом 2

3. Фрагментация на блоки 8*8

4. ДКП по строкам и столбцам фрагмента:

5. Квантование матрицы спектральных компонент

q kl- kl-й элемент матрицы квантования Q размера 8х8

π*v*

16

12ycos*π*u*

16

12xcos*y)f(x,*

4

v)c(u,v)(u, F

7

0x

7

0y

128

128

0

5.03313.01687.0

0813.04187.05.0

114.0587.0299.0

B

G

R

V

U

Y

0,1,...,7lk,),/qround(yz klklkl

22

Схемы компрессии и декомпрессии для методов на

основе аппроксимации сигнала

Анализ изображения

Параметры аппроксимации

КвантованиеКодирование

(вторичное сжатие)

Исходное изображение

Сжатое изображение

Декодирование ДеквантованиеСинтез

изображения

Восстановленноеизображение

Параметры аппроксимации

Сжатое изображение

б)

а)

23

Классификация областей сжатия в методах сегментации

Векторные области Квадратная, либо прямоугольная область. Область, представляющая собой многоугольник, все стороны

которого параллельны осям координат. Область, представляющая собой выпуклый многоугольник. Область, представляющая собой произвольный многоугольник.

Растровые области Область (возможно, вогнутая), произвольный вертикальный или

горизонтальный срез которой не пересекает границу области более чем в двух местах (требование отсутствия «дырок»).

Замкнутая область произвольной формы.

24

j = 0

j = 1

j = 2

j = 3

Узлы дерева Уровни декомпозиции

Оконечные узлы (листья)

Методы сжатия на основе векторной сегментации. Использование древовидных структур

Стратегии декомпозиции:

Наращивание веток(разбиение областей)

Усечение веток(слияние областей)

25

Методы сжатия на основе векторной сегментации: обработка локальных областей

Бимлеты, риджлеты, курвлеты (D.L. Donoho, X. Huo)

M

N

A

Y

X

Z

0

Аппроксимация сигнала билинейной поверхностью (M. Dalai, R. Leonardi)

Спектральные преобразования

Исходное изображение

Спектральное преобразование

Квантование коэффициентов

Адаптивная сегментация

Энтропийное кодирование

Сжатое изображение

26

Сегментация изображения с адаптивным выбором области

Исходное изображение

Lx=Ly=3, Yp=44, Xmin=Ymin=6Y-плоскость. Число областей: 514

Y-плоскость. Число областей: 216

Lx=Ly=3, Yp=44, Xmin=Ymin=10

Cb-плоскость. Число областей: 181

Lx=Ly=3, Cbp=21, Xmin=Ymin=6

27

Результаты сжатия. Сплошная линия – стандартная схема JPEG, пунктир – схема с адаптивной сегментацией

Изображение "Oldman"

3

5

7

9

11

0,6 1,2 1,8 2,4 3

b(бит/пикс.)

RM

SE

Изображение "Lena"

4,4

5,4

6,4

7,4

8,4

0,3 0,6 0,9 1,2 1,5

b(бит/пикс.)

RM

SE

Изображение "Peppers"

5,5

6,5

7,5

8,5

9,5

0,45 0,8 1,15 1,5

b(бит/пикс.)

RM

SE

Изображение "Baboon"

13

14

15

16

17

18

0,8 1,1 1,4 1,7 2

b(бит/пикс.)

RM

SE

28

Y-плоскость, K=47.5

Cr-плоскость, K=47.5

Результаты сжатия: сравнение разностных изображений

Базовый метод Модифицированный метод

29

Преобразование сигнала в трехмерном пространстве

В частотной области: разбиение сигнала на сегменты плоскостью, параллельной плоскости основания.

Во временной области: разбиение сигнала плоскостями, перпендикулярными основанию.

m

n

a

m

n

a

mn

a

1

3

Декомпозиция простейшего сигнала:

30

Пример пространственной декомпозиции сигнала

Визуализация декомпозиции (OpenGL)Исходный рисунок

31

Аппроксимация сигнала билинейными поверхностями

M

N

A

Y

X

Z

0

0

M

N

A

Y

X

Z

Плоскость (3 точки)

Билинейная поверхность (4 точки)

32

Результаты эксперимента

1,20

1,70

2,20

2,70

3,20

3,70

1 2 3 4 5 6 7 δ

bpp

МодифицированныйалгоритмБазовый алгоритм

Модификация схемы сжатия на основе аппроксимации билинейными поверхностями

33

Методы вычисления векторов квантования

Метод Ву-Гершо(однонаправленная

оптимизация)

Метод Фунга-Паркера (двунаправленная оптимизация )

Схема «RD-OPT»

D

RОптимальный RОптимальное D

Требуемый R

Требуемое D

Стартовая позиция

Полученный результат

Оптимальный результат

D

RОптимальный R

Требуемое D

Оптимальный результат

Rmax Rmin

Стартовая позиция

34

Использование весового критерия. Его типы

Пороговое ограничение спектральных коэффициентов:

Критерий средних амплитуд:

Критерий максимальных амплитуд:

1

0,

1 M

mmnn z

MT

max

,

,1

0

0,,0

,1, m

mn

mnn

M

mnn zP

Pz

PzCCT

mnn zT ,max

35

Значения некоторых типов весового критерия для различных тестовых изображений

0

200

400

600

800

1000

1 11 21 31 41 51 61n

T

Y

Cr,Cb

0,01

0,1

1

10

100

1 11 21 31 41 51 61

Изображение"Lena"

Изображение"Oldman"

0,001

0,01

0,1

1

10

1 11 21 31 41 51 61

Cb

Cr

Критерий максимальных амплитуд

Критерий средних амплитуд

36

Определение функции параметра квантования

0

0,2

0,4

0,6

0,8

1

0 0,2 0,4 0,6 0,8 1

1-sin(Pi*x/2)

1-x

1-sin(Pi*x/2)^3

)(zT

)(T

minT

maxT

f

a1

a2

Линейное преобразование

Преобразование с

12

minmax

max1 ,,

,,)(),( aa

nzfnzf

nzfnzfaTnz

37

Стандартный вектор

0

40

80

120

0 20 40 60n

Δ

Y

UV

0

40

80

120

0 20 40 60n

Δ

Y

UV

Результаты вычисления вектора квантования

0

40

80

120

0 20 40 60n

Δ

Y

UV

0

40

80

120

0 20 40 60n

Δ

Y

UV

Сгенерированный адаптивно вектор

38

Результаты компрессии тестовых изображений

Изображение "Lena"

0

2

4

6

8

10

0 3 6 9 12

b(бит/пикс.)

RM

SE

Изображение "Baboon"

0

5

10

15

20

0 4 8 12 16 20

b(бит/пикс.)

RM

SE

Изображение "Peppers"

0

3

6

9

12

0 3 6 9 12

b(бит/пикс.)

RM

SE

Изображение "Oldman"

0

3

6

9

12

0 2 4 6 8

b(бит/пикс.)

RM

SE

39

Результаты сжатия: сравнение разностных изображений

Базовый метод

Cb-плоскости, K=10.1

Y-плоскости, K=10.1

Модифицированный метод