deringing cartoons

1

Deringing Cartoons

Моисейцев Алексей

Video GroupCS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

2

Содержание

Эффект Гиббса и причины возникновения

Алгоритмы дерингинга

Simple Adaptive Filter

Fuzzy Post-Filtering

Bilateral Filter

Linear Post-Filtering

Библиотека Артефактов

Результаты


Only for Maxus

3

Понятие Ringing`аПричины

В алгоритмах сжатия, основанных на DCT, в результате квантования происходит потеря информации.

При квантовании низкочастотных коэффициентов появляется эффект блочности, а при квантовании высокочастотных – эффект Гиббса (ringing)


Only for Maxus

4

Понятие Ringing`аПримеры


Only for Maxus

5

Зачем?

Современные кодеки ориентированы на сжатие фотореалистичного видео

Существует большое количество анимированного видео, сжатого такими кодеками


Only for Maxus

6

Понятие Ringing`аВозможные стратегии дерингинга

Фильтрация

Синтез

Векторизация

Дополнительная информация


Only for Maxus

7






Bilateral Filter





Only for Maxus

8

Simple Adaptive FilterОписание алгоритма

Яркость каждого пикселя сравнивается с соседними

Если различие не превышает некий порог, происходит усреднение цвета

Reduction of Ringing Noise in Transform Image Coding Using a Simple Adaptive Filter, André Kaup, Siemens Corporat Technology


Only for Maxus

9

Simple Adaptive FilterРеализация

else

Sggif

ggg

i

i

ii

i

ii

ii

,0

,1

)/()(~

5

9

51

9

51

55

δ – Весовая функция

λ – Сила фильтрации

S – Порог



Only for Maxus

10

Simple Adaptive FilterПример работы


Only for Maxus

11



Only for Maxus


12


Only for Maxus

13


Достоинства

Высокая скорость работы

Недостатки

Не может полностью удалить артефакты

Не учитывает характер области фильтрации



Only for Maxus

14






Bilateral Filter





Only for Maxus

15

Fuzzy Post FilteringСхема алгоритма


Only for Maxus

16

Fuzzy Post-FilteringКлассификация блоков

Для каждого пикселя определяется его класс

elsetexture

oldedgeThreshyxifedge

oldflatThreshyxifflat

yxpixel ),(

),(

),( 2

2

- ),( где yx2

Coding Artifact Reduction Using Edge Map Guided Adaptive and Fuzzy Filter

Hao-Song Kong, Yao Nie, Anthony Vetro, Huifang Sun, Kenneth E. Barner, TR-2004-056, 2004

дисперсия пикселя с центром в (x,y)


Only for Maxus

Fuzzy Post-FilteringКлассификация блоков

17


Only for Maxus

18

Fuzzy Post Filtering Фильтрация блоков

Класс блока определяется как максимальный класс принадлежащего ему пикселя (flat < texture < edge)

Фильтруются только flat- и edge-блоки

Фильтрация flat-блоков необходима для удаления шумов на сплошных участках

Фильтрация edge-блоков исправляет ошибки квантования




Only for Maxus

19

Fuzzy Post Filtering Фильтрация

пикселязначениеновоеx

блокатипаотзависит

фильтрасила

eba

xx

xxxx

c

ba

j

N

j c

j

N

j cjc

~

,

),(

),(

),(~

/)(

2

2

1

1

22

Используется фильтр 5х5




Only for Maxus

20

Fuzzy Post FilteringПример работы


Only for Maxus

21



Only for Maxus

22



Only for Maxus

23

Fuzzy Post Filtering



Исправляет многие артефакты


Может размывать картину

Необходим точный подбор параметров




Only for Maxus

24

Fuzzy Adaptive Filter

Непрерывная зависимость силы фильтрации от дисперсии блока


Only for Maxus

25


0 10 20 30 40 50 60 70 80 90 100

Стандартное отклонение блока


Only for Maxus

26


0

5

10

15

20

25

10 20 30 40 50 60 70 80 90 100

Сила ф

ильтр

а

Стандартное отклонение блока

Зависимость силы фильтрации от дисперсии блока при наилучшем качестве (PSNR)

1500

1200

980

700

500


Only for Maxus

27


34

35

36

37

38

39

40

41

42

43

500 600 700 800 900 1000 1100 1200 1300 1400 1500

Y-P

SN

R

Bitrate, kbps

Сжатое видео Обработанное видео


Only for Maxus

28




Учитывается характер блока


Необходим точный подбор параметров




Only for Maxus

29






Bilateral Filter





Only for Maxus

30

Bilateral Filter

Идея:

Использовать фильтр, аналогичный Fuzzy Post Filtering

Учитывать не только фотометрическое расстояние, но и геометрическое между пикселями

Bilateral Filtering for Gray and Color Images. C. Tomasi. R. Manduchi.

Computer Science Department, Stanford Univrsity, 1998


Only for Maxus

31

Bilateral Filter

Геометрическая составляющая:

Фотометрическая составляющая:

dxcxkdxcxkx dd ),()(,),()f()()h( 1

xиξточекблизостьескаяфотометричxs

xиξточекблизостьскоегеометричеxс

еизображениисходное

))f(),(f(

),(

f

dxsxk

dxsxkx

r

r

))f(),(f()(

))f(),(f()f()()h( 1




Only for Maxus

32

Bilateral Filter

2

21

2

21

)f()f(

1

),(

),(

))f(),(f(),()f()()h(

r

d

x

x

exs

exc

dxsxcxkx




Only for Maxus

33

Bilateral Filter




Only for Maxus

34

Multipass Bilateral Filter

исходное изображение одна итерация пять итераций

Несколько проходов фильтра приводят к ”картунизации”изображения




Only for Maxus

35



Only for Maxus

Multipass Bilateral FilterРезультаты

36

0,91

0,92

0,93

0,94

0,95

0,96

0,97

0,98

0,99

1

500 700 900 1100 1300 1500 1700

Y-S

SIM

Bitrate, kbps

Зависимость Y-SSIM от битрейта



Only for Maxus

Multipass Bilateral FilterРезультаты

37

28,5

30,5

32,5

34,5

36,5

38,5

900 1400 1900 2400 2900 3400

Y-P

SN

R

Bitrate, kbps



Only for Maxus

38

Multipass Bilateral FilterПример работы


Only for Maxus

39



Only for Maxus

40



Only for Maxus


42


Only for Maxus

43



Хорошее качество


Эффект алиасинга

Закрашивает текстуры

Довольно медленный


Only for Maxus Сравнение

Фильтров

44

Simple Adaptive Filter Fuzzy Adaptive Filter Multipass Bilateral Filter


Only for Maxus Сравнение

Фильтров

45

Simple Adaptive Filter Fuzzy Adaptive Filter Multipass Bilateral Filter


Only for Maxus

46






Bilateral Filter





Only for Maxus

47

Linear Post-FilteringСхема алгоритма


Only for Maxus

48

Linear Post-FilteringКлассификация блоков

Intra-блоки

),(),(, 007

0

7

0

vuFSu v vu

If ( S < Threshold )Block ← Smooth

elseBlock ← Complex

Fu,v - коэффициенты BDCT

A LOW-COMPLEXITY POSTPROCESSING ALGORITHM FOR BLOCK BASED VIDEO CODING

Ravikanth Maddikonda and Tushar K. Adhikary Emuzed India Pvt. Ltd.


Only for Maxus

49


Inter-блоки

If ( R1, R2, R3 or R4 is Complex )

C ← Complex

else

C ← Smooth




Only for Maxus

50


Только Complex блоки подлежат фильтрации

Smooth блоки копируются без изменений




Only for Maxus

51


if( |Pi+1 – Pi| >= QP )

Pi+1, Pi ← edge pixels

Если найдены граничные пиксели, то они копируются без фильтрации.

QP – коэффициент квантования




Only for Maxus

52


if( | P1 – P2 | < (0.5QP) && P1 lies in a smooth block )

P2' = ( P0 + P1 + 2P2 ) / 4

P3' = ( P1 + P2' + 2P3 ) / 4

P4' = ( P2' + P3' + 2P4 ) / 4

else

P3' = ( P2 + 2P3 + P4 ) / 4

P4' = ( P3' + 2P4 + P5 ) / 4



002114

1

1214

1


Only for Maxus

53



Only for Maxus

54


Если не найдено ни одного граничного пикселя

d = ( P1 – P2 )

if ( | d | < 2QP )

P1' = P1 – d/4

P2' = P2 + d/4




Only for Maxus

55



Only for Maxus

Linear Post-FilteringПример

56


Only for Maxus

57



Очень высокая скорость работы


Требуется дополнительная информация

ME

Коэффициенты BDCT

Коэффициент квантования

Низкое качество




Only for Maxus

58






Bilateral Filter





Only for Maxus

Библиотека артефактовИдея алгоритма

59Image Analogies,

Aaron Hertzmann, Charles E. Jacobs, Nuria Oliver, Brian Curless, David H. Salesin,

New York University, Microsoft Research, University of Washington, 2001


Only for Maxus

Библиотека артефактовСхема алгоритма

60

Deringing Cartoons by Image Analogies,

GUANGYU WANG, TIEN-TSIN WONG, PHENG-ANN HENG,

ACM Transactions on Graphics, Vol. 25, No. 4, October 2006


Only for Maxus

61

Библиотека артефактовПостроение обучающей последовательности

В алгоритме строится некий набор изображений, к которому применяется DCT и квантование.

Запоминаются пары

исходный

пиксельсжатый блок





Only for Maxus

62

Библиотека артефактовИсходное изображение Сжатое изображение





Only for Maxus

63

Библиотека артефактов

artifact vectorOriginal

pixel

Исходный блок Сжатый блок





Only for Maxus

64

Библиотека артефактовОпределение границ

Sobel operators

-1 0 1

-2 0 2

-1 0 1

1 2 1

0 0 0

-1 -2 -1

],[],[

,

yxSyxx

f

y

f

x

ffgrad

x

22

y

f

x

ffgrad


Only for Maxus

65

Библиотека артефактовОпределение границ

Поиск блоков 8x8, содержащих границы.Дерингинг будет производится только внутри этих блоков.





Only for Maxus

66

Библиотека артефактовАлгоритм

Для каждого пикселя внутри блока:

1. Выбирается область 5x5

2. Делается запрос в библиотеку артефактов

3. Полученный исходный пиксель записывается в обработанное изображение

запрос





Only for Maxus

67

Библиотека артефактовАлгоритм

Для сравнения двух артефакт-векторов используется метрика

i j

babae jiwjiwjiGwwD 2)),(),()(,(),(

где G – двумерное ядро Гаусса





Only for Maxus

68

Библиотека артефактовПример работы





Only for Maxus

69

Библиотека артефактовЗаключение


Хорошо обрабатывает сложные случаи

Недостатки:

Крайне медленно работает

При изменении параметров сжатия необходимо повторить обучение





Only for Maxus

70






Bilateral Filter





Only for Maxus


Реализованы методы:


Fuzzy Post Filtering



Реализован фильтр

MSU Cartoon Restore

71


Only for Maxus

Список литературы Deringing Cartoons by Image Analogies

Guangyuwang, Tien-Tsinwong, and Pheng-Annheng

The Chinese University of Hong Kong, 2006.

A low-complexity postprocessing algorithm for block based video coding

Ravikanth Maddikonda and Tushar K. Adhikary

Emuzed India Pvt. Ltd.


Hao-Song Kong, Yao Nie, Anthony Vetro, Huifang Sun, Kenneth E. Barner

MITSUBISHI ELECTRIC RESEARCH LABORATORY, 2004

Reduction of Ringing Noise in Transform Image Coding Using a Simple Adaptive Filter

Andre Kaup

Siemens Corporate Technology, Networks and Video Communications, Munich, Germany, 1998

Bilateral Filtering for Gray and Color Images.

C. Tomasi. R. Manduchi.


MULTI-SCALE EDGE DETECTION AND IMAGE SEGMENTATION

Baris Sumengen, B. S. Manjunath

ECE Department, UC, Santa Barbara, USA, 2005

DERINGING AND DEBLOCKING DCT COMPRESSION ARTIFACTS WITH EFFICIENT SHIFTED TRANSFORMS

Ramin Samadani, Arvind Sundararajan and Amir Said

HP Labs Palo Alto, Imaging Technologies Department, 2004

Fast Adaptive Fuzzy Post-Filtering for Coding Artifacts Removal in Interlaced Video

Yao Nie, Hao-Song Kong, Anthony Vetro, Kenneth Barner

Mitsubishi Electric Research Laboratories, 2005

72


Only for Maxus

Дополнительная литература

Video Codec for Classical Cartoon Animations with Hardware Accelerated Playback

Daniel Sykora, Jan Burianek, Jir Zara, Czech Technical University in Prague, 2005

Segmentation of Black and White Cartoons, Daniel Sykora, Jan Burianek, Jiri Zara,

Czech Technical University in Prague, 2003

A Multiscale Approach to Contour Detection by Texture Supression, Giuseppe Papari, Patrizio Campisi, Nikolai Petkov, Alessandro Neri, Institute of Mathematics and Computing Science, University of Groningen, 2006

A SIMPLE SCHEME FOR CONTOUR DETECTION

Gopal Datt Joshi, Jayanthi Sivaswamy

Center for Visual Information Technology, IIIT Hyderabad, 2003

Multi-scale Approach to Salient Contour Extraction

Gopal Datt Joshi, Jayanthi Sivaswamy

Centre for Visual Information Technology, IIIT Hyderabad, 2005

A Non-Maxima Suppression Method for Edge Detection with Sub-Pixel Accuracy

Frederic Devernay

The French National Institute for Research in Computer Science and Control,1995

Maximum-Likelihood Parameter Estimation for Image Ringing-Artifact Removal

Seungjoon Yang, Yu-Hen Hu, Truong Q. Nguyen, Damon L. Tull

IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 11, NO. 8,2001

73


Only for Maxus

Дополнительная литература

Simple and Effective Filter to Remove Corner Outlier Artifacts in Highly Compressed Video

Jongho Kim, Donghyung Kim, and Jechang Jeong

Department of Electrical and Computer Engineering, Hanyang University, 2006

Perceptually Adaptive Joint Deringing-Deblocking Filtering for Scalable Video Transmission over Wireless Networks

Shuai Wan, Marta Mrak, Naeem Ramzan, Ebroul Izquierdo

Multimedia and Vision Group, Queen Mary, University of London, 2006

Adaptive Vectorization of Line Drawing Images

RIK D. T. JANSSEN, ALBERT M. VOSSEPOEL

Delft University of Technology, Faculty of Applied Physics, Pattern Recognition Group, The Netherlands, 1995

Robust Image Contour Detection by Watershed Transformation

Xiao Pei and Moncef Gabbouj

Signal Processing Laboratory, Tampere University of Technology, Finland

Sparse Pixel Vectorization: An Algorithm and Its Performance Evaluation

Dov Dori, Wenyin Liu

Faculty of Industrial Engineering and Management, Technion, Israel Institute of Technology; Microsoft Research

1999

74


Only for Maxus

Вопросы

?

75