ШумоподавлениеШумоподавлениедля изображенийдля изображений

Лектор:Лектор: Лукин Алексей СергеевичЛукин Алексей Сергеевич

Виды и примеры Виды и примеры шумовшумов

Шумы

СтационарныеИмпульсные Смешанные

Salt and pepperПомехи в видео

Аддитивный белый Зерно пленки

Белый шум – пиксели случайны, не коррелированны друг с другомГауссов/равномерный/треугольный шум – закон распределения амплитуд пикселейАддитивный шум – прибавляется к «чистому» изображению и не зависит от него

Шум + помехи в видео

Salt

an

d p

ep

per

AW

GN

Методы Методы шумоподавленияшумоподавления

Шумы

СтационарныеИмпульсные Смешанные

Медианный фильтрВзвешенная медианаРанговые фильтры

Bilateral filterNon-Local MeansWavelet thresholdingDCT, PCA, ICAАнизотропная диффузияАлгоритм BM3D

Ранговые фильтрыКомбинированные методы

Salt

an

d p

ep

per

AW

GN

Импульсные шумыИмпульсные шумы

Медианная фильтрацияМедианная фильтрация► Центральный элемент отсортированного массива Центральный элемент отсортированного массива

яркостейяркостей► Как быть с цветными изображениями?Как быть с цветными изображениями?

медиана 3х3

Импульсные шумыИмпульсные шумы

Медианная фильтрацияМедианная фильтрация► Центральный элемент отсортированного массива Центральный элемент отсортированного массива

яркостейяркостей► Как быть с цветными изображениями?Как быть с цветными изображениями?

медиана 7х7

Импульсные шумыИмпульсные шумы

Медианная фильтрацияМедианная фильтрация► Центральный элемент отсортированного массива Центральный элемент отсортированного массива

яркостейяркостей► Как быть с цветными изображениями?Как быть с цветными изображениями?

медиана 15х15

Импульсные шумыИмпульсные шумы

Т.к. искажена лишь малая часть пикселей, Т.к. искажена лишь малая часть пикселей, то не надо фильтровать все изображение!то не надо фильтровать все изображение!

1.1. Детектирование искаженных пикселей Детектирование искаженных пикселей (простейший способ – анализ разности (простейший способ – анализ разности изображения с его медианной фильтрацией)изображения с его медианной фильтрацией)

► Фильтрация только искаженных пикселейФильтрация только искаженных пикселей

медиана 3х3 адаптивная медиана

Стационарные шумыСтационарные шумы

Простейшие методыПростейшие методы► Размытие изображения – вместе с шумом Размытие изображения – вместе с шумом

размывает деталиразмывает детали

► Размытие в гладких областях – остается шум Размытие в гладких областях – остается шум вблизи границвблизи границ

► Медианная фильтрация – хорошо подавляет Медианная фильтрация – хорошо подавляет импульсный шум, но удаляет мелкие деталиимпульсный шум, но удаляет мелкие детали

Bilateral filterBilateral filter

Адаптивные алгоритмыАдаптивные алгоритмы► Bilateral filterBilateral filter

усреднение окружающихусреднение окружающих

пикселейпикселей

с весамис весами

Qmk

mjkiji mkjiWxy,

,, ),,,(

2

22

2

2,, exp)(

exp),,,(mk

h

xxmkjiW mjkiji

фотометрическая близость пространственная близость

Bilateral filterBilateral filter

Bilateral filter: Bilateral filter: художественное применениехудожественное применение

(при слишком сильном действии)

Non-Local MeansNon-Local Means

Адаптивные алгоритмыАдаптивные алгоритмы► Non-local means (NL-means)Non-local means (NL-means) – веса зависят от – веса зависят от

близости целых блоков, а не отдельных пикселейблизости целых блоков, а не отдельных пикселей

2

2

,, )()(exp),,,(

h

xxmkjiW

mjkiji ν(xi,j) – блок вокруг пикселя xi,j

Non-Local MeansNon-Local Means

Вычисление весовВычисление весов

►Способен сохранять текстуру изображения Способен сохранять текстуру изображения лучше,лучше, чем чем bilateral filterbilateral filter

Иллюстрация изBuades et al 2005

Веса высоки для q1 и q2,но не для q3

+

Non-Local MeansNon-Local Means

Достоинства и недостатки:Достоинства и недостатки:►Высокое качество результирующего изображенияВысокое качество результирующего изображения

►В исходном варианте – очень высокая В исходном варианте – очень высокая вычислительная сложностьвычислительная сложность

Ускоряющие расчет оптимизации:Ускоряющие расчет оптимизации:►Использование команд Использование команд MMX/SSE MMX/SSE для сравнения для сравнения

блоковблоков► Разбиение изображения на блоки и усреднение Разбиение изображения на блоки и усреднение

целых блоков, а не отдельных пикселейцелых блоков, а не отдельных пикселей►Промежуточный вариант между усреднением Промежуточный вариант между усреднением

блоков и усреднением пикселей: усреднение блоков и усреднением пикселей: усреднение маленьких блоковмаленьких блоков

+

–

Non-Local MeansNon-Local Means

Применение к видеоПрименение к видео

►Область поиска блоков можно расширить на Область поиска блоков можно расширить на соседние кадры (сделать ее пространственно-соседние кадры (сделать ее пространственно-временной)временной)

►Для ускорения просчета можно применять Для ускорения просчета можно применять сравнение блоков только по сравнение блоков только по Y-Y-каналу в каналу в цветовой модели цветовой модели YCrCb (YUV)YCrCb (YUV)

Вейвлетный методВейвлетный метод

Вейвлетное шумоподавление для изображенийВейвлетное шумоподавление для изображений1.1. DWTDWT

2.2. Оценка уровня и спектра шумаОценка уровня и спектра шума

3.3. Подавление вейвлет-коэффициентов Подавление вейвлет-коэффициентов (thresholding, (thresholding, shrinkage)shrinkage)

4.4. Обратное Обратное DWTDWT

+Подавление шума различного масштаба

–Отсутствие инвариантности к сдвигуОтсутствие инвариантности к сдвигуПлохая локализация энергии для наклонных границПлохая локализация энергии для наклонных границ

Метод главных Метод главных компоненткомпонент

Идея: так выбрать базисные вектора, чтобы Идея: так выбрать базисные вектора, чтобы минимальным числом базисных векторов можно было минимальным числом базисных векторов можно было наилучшим образом приблизить данные из наилучшим образом приблизить данные из некоторого набора.некоторого набора.

PCA – PCA – ортогональное линейное преобразование ортогональное линейное преобразование базиса, при котором первый вектор нового базиса базиса, при котором первый вектор нового базиса соответствует направлению максимальной соответствует направлению максимальной дисперсии данных, второй вектор – следующему дисперсии данных, второй вектор – следующему направлению максимальной дисперсии и т.д.направлению максимальной дисперсии и т.д.

Principal Component Analysis (PCA, KLT)Principal Component Analysis (PCA, KLT)

размерность данных = 2

Метод главных Метод главных компоненткомпонент

Решение: базисные вектора – собственные вектора Решение: базисные вектора – собственные вектора eeii матрицы ковариации матрицы ковариации CCxx исходных данныхисходных данных xx::

Альтернативное решение – с помощью сингулярного Альтернативное решение – с помощью сингулярного разложения матрицы исходных данныхразложения матрицы исходных данных

}))({( Txxx xxEC

Tnxxx ),...,( 1

}{xEx

Principal Component Analysis (PCA, KLT)Principal Component Analysis (PCA, KLT)

на рисунке размерность n = 2

ШумоподавлениеШумоподавление

Применение к блокам изображения 8Применение к блокам изображения 8x8: x8:

Метод главных компонентМетод главных компонент

Txxx ),...,( 641

…

…

64 базисных вектора

ШумоподавлениеШумоподавление

PCA-PCA-денойзинг изображенийденойзинг изображений1.1. Блочное преобразование Блочное преобразование PCAPCA

2.2. Подавление коэффициентов в новом базисеПодавление коэффициентов в новом базисе

3.3. Обратное преобразование и наложение блоков с Обратное преобразование и наложение блоков с перекрытиемперекрытием

Существующие подходы Существующие подходы ((Muresan/Parks, 2003)Muresan/Parks, 2003)

+Адаптация к деталям изображения (в т.ч. – к линиям любого наклона)

–При больших блоках – эффект Гиббса,При больших блоках – эффект Гиббса,при маленьких – не подавляется крупный шумпри маленьких – не подавляется крупный шум

ШумоподавлениеШумоподавлениеРезультатыРезультаты

Зашумленное изображение Вейвлетное шумоподавление

ШумоподавлениеШумоподавлениеРезультатыРезультаты

Шумоподавление с помощью PCA Разработанный нами метод