fields of experts (доклад)
DESCRIPTION
Презентация со спецсеминара «Байесовские методы машинного обучения» http://bayesgroup.ru/TRANSCRIPT
![Page 1: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/1.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Fields of Experts
Петр Ромов
1 апреля 2011
![Page 2: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/2.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Outline
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияImage denoisingImage inpainting
Заключение
![Page 3: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/3.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Постановка задачи
Получить модель априорных знаний об изображении(image prior):
p(x), x — изображение
содержащую статистику реальных сцен.Например таких:
![Page 4: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/4.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Где нужны image priors?
I Задачи низкоуровневого зренияI denoisingI inpaintingI super-resolutionI ...
I Синтез текстурI Коррекция карт глубиныI Оценка оптического потокаI Где нибудь еще?
![Page 5: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/5.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Markov Random Field
xi
yi
Вероятностные модели структурыизображений обычноформулируются в виде MRF:
p(x) =1
Zexp
{−∑k
Uk(x(k))
}
Как правилоI однороднойI с парной системой соседства (pairwise)I в качестве потенциалов — робастная функция
разности U(xi, xj) = ρ(xi − xj)
![Page 6: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/6.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Ограничения Pairwise MRF
В восстановлении сложныхсцен такие MRF показываютразочаровывающиерезультаты...
I потенциалы выбираются вручнуюI парная система соседства плохо моделирует
пространственную структуру сложных изображений(по сути моделируется поведение первойпроизводной на изображении)
I результат Yanover et al. (2006) показал, что причинаплохого качества — бедность модели, а не методыоптимизации
![Page 7: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/7.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
High-order MRFНикто не запрещал расширить систему соседства.
![Page 8: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/8.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
High-order MRF
Вот например, Geman and Reynolds (1992) использоваливторые (и третие) производные на изображении.
Использовались клики размером 3× 3 с потенциалами
U(x(k)) =
5∑i=1
ρ(JTi x(k)),
где Ji — линейные фильтры производных.
первые производные︷ ︸︸ ︷ вторые производные︷ ︸︸ ︷
![Page 9: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/9.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Обучение MRF моделей
I Ручная настройка параметров модели (фильтров,потенциалов) утомительна и не приводит кжелаемому результату.
I Модель FRAME (Zhu et al., 1998) для генерациитекстур использовала high-order MRF. Идея схожа сFoE, однако FRAME для обучения использовалапредустановленный набор линейных фильтров.
I Большинство обучающихся MRF моделей не нашлиширокого применения, в основном из-завычислительных затрат.
Цель авторов FoE: избавиться от ручной настройкичего-либо.
![Page 10: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/10.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Анализ компонент
Небольшие изображения (патчи) могут кодироватьсяоткликами линейных фильтров.
x ∈ Rn, x =
n∑i=1
αiJi, αi = JTi x
I PCA позволяет найти ортонормированный базис{Ji}, однако компоненты αi имеют далеко неГауссоово распределение и не независимы.
I ICA ищет линейные компоненты с минимальнойзависимостью, так что можно записать:
p(x) ∝n∏i=1
pi(JTi x)
I Sparse Coding (Olshausen and Field, 1996)
![Page 11: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/11.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Product of Experts
Идея PoE: представить многомерное распределениепатча в виде произведения «экспертных» распределений,т. ч. каждый эксперт работает в подпространствеменьшей размерности.
p(x; Θ) =1
Z(Θ)
n∏i=1
φ(JTi x;αi)
Θ = {θ1, ..., θn}, θi = (Ji, αi)
I Фильтры Ji обучаются ⇒ не нужно беспокоиться онезависимости откликов.
![Page 12: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/12.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Products of Experts
Несколько фильтров 5× 5, полученных в результатеобучения PoE на базе данных изображений:
![Page 13: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/13.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Outline
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияImage denoisingImage inpainting
Заключение
![Page 14: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/14.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
FoE: Общий вид
FoE — однородная MRF высокого порядка спотенциалами PoE на кликах.
x ∈ RL×M ; x(k), k = 1, . . . ,K — клики
f(x(k)) = fPoE(x(k);αi) =
N∏i=1
φ(JTi x(k);αi)
pFoE(x; Θ) =1
Z(Θ)
K∏k=1
N∏i=1
φ(JTi x(k);αi)
Θ = {θ1, ..., θn}, θi = (Ji, αi)
Θ — обучаемые параметры модели
![Page 15: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/15.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
FoE: Энергетическая запись
ψ(·;αi) = log φ(·;αi) log-expert
pFoE(x; Θ) =1
Z(Θ)exp {−EFoE(x; Θ)}
EFoE(x; Θ) = −K∑k=1
N∑i=1
ψ(JTi x(k);αi)
![Page 16: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/16.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Особенности FoE
I Гибкость PoE.I Моделируются зависимости между
перекрывающимися патчами, т.к. параметры Θобучаются не на независимых патчах, а наизображениях.
I Инвариантность к сдвигу, т.к. MRF однородна.
![Page 17: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/17.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Цветные изображенияI Преобразовать RGB в YCbCr, использовать каналы
отдельно.I McAuley et al. (2006) расширили подход авторов FoE
для работы с цветными изображениями, используяклики 3× 3× 3 и 5× 5× 3.
I Изображения для обучения были преобразованы вYCbCr, использовался только Y-канал.
![Page 18: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/18.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
ЭкспертыКритерии выбора экспертов φ(y;α):
I Гладкость по y и α: возможность использованияградиентных методов вывода и обучения.
I Острота (kurtotic). Известно, что JTx на реальныхизображениях имеет «острое» маргинальноераспределение.
Student-t
φT (y;α) =
(1 +
1
2y2
)−αI тяжелые хвосты
I ψT (y) не выпуклая
Charbonnier
φC(y;α, β) = e−α√β+y2
I менее тяжелые хвосты
I ψT (y) выпуклая
I хорошо сработало вдругих методах
![Page 19: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/19.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Вывод в FoE: MAP
p(x|y) ∝ p(y|x)p(x)→ maxx
I У точных методов, а также основанных на BP нетшансов: сложная структура графа, большие клики.
I Зато удобно спускаться по градиенту log p(x|y):
∇x log pFoE(x; Θ) =
N∑i=1
J(i)− ∗ ψ′(J(i) ∗ x;αi) (1)
![Page 20: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/20.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Максимум правдоподобия
arg maxΘ
pFoE(X|Θ), X = {x(1), . . . ,x(D)}
log p(X|Θ) = −D∑i=1
E(x(i)|Θ)−D logZ(Θ)
I Решение в явном виде не выражаетсяI Минимизировать log-likelihood не удобно из-за
нормировочной константыI Зато максимизация правдоподобия эквивалентна
минимизации KL
![Page 21: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/21.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Минимум KL
Обозначим:p0 — распределение данных X,piθ — распределение, полученное на i-том шаге MCMC.p∞ — истинное распределение p(x|θ), pnθ −−−→n→∞
p∞θ
KL(p0‖p∞θ )→ minθ
KL(p0‖p∞θ ) =∑x∈X
p0(x) log p0(x)−∑x∈X
p0(x) log p∞θ (x) =
= −H(p0)− 〈log p∞θ 〉p0 → minθ
〈log p∞θ 〉p0 → maxθ
δθi = η
[⟨∂E
∂θm
⟩p∞θ
−⟨∂E
∂θm
⟩p0
](2)
![Page 22: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/22.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Contrastive Divergence Learning
CDn → minθ
CDn = KL(p0‖p∞θ )−KL(pnθ ‖p∞θ )
∂CDn
∂θm=
⟨∂E
∂θm
⟩p0−⟨∂E
∂θm
⟩pnθ
+∂pnθ∂θm
∂KL(pnθ ‖p∞θ )
∂pnθ(3)
δθi = η
[⟨∂E
∂θm
⟩pnθ
−⟨∂E
∂θm
⟩p0
]
I На каждой итерации градиентного спускапроизводится n итераций MCMC
![Page 23: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/23.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Обучение FoE
I Авторы обучали модель с кликами 3× 3 и 5× 5 наизображениях 15× 15
I Обучающая выборка: 20000 патчей, случайно выбранныхиз изображений базы Berkley Segmentation Benchmark
I Выборка разбита на пачки по 200 изображений, накаждой итерации используются данные только из одной,случайно выбранной пачки (стохастический градиентныйспуск)
I 5000 итераций спуска CD1, гибридный методМонте-Карло.
I Занимает много времени: Intel Pentium D, 3.2 GHz3× 3: 8 часов5× 5: 24 часа
![Page 24: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/24.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Outline
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияImage denoisingImage inpainting
Заключение
![Page 25: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/25.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image denoising
p(x) = pFoE(x)
y = x + ε, εi ∼ N (0, σ2)
p(y|x) ∝L·M∏k=1
exp
(− 1
2σ2(yk − xk)2
)
∇x log p(x|y) = ω ·
[N∑i=1
J(i)− ∗ ψ′(J(i) ∗ x;αi)
]+
1
σ2(y− x)
I ω > 0 регулирует «силу» приора по сравнению справдоподобием, может быть обучено по проверочнойвыборке. В реализации авторов, выбирается по σ.
![Page 26: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/26.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image denoising: сравнение результатов
Оригинал Зашумленное (σ = 25)
![Page 27: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/27.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image denoising: сравнение результатов
FoE Portilla et al. method
![Page 28: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/28.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image denoising: сравнение результатов
original noisy (σ = 25)
FoE Portilla et al. on-local means non-linear diffusion
![Page 29: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/29.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image denoising: результаты FoE
σ = 15, PSNR: 30.22 dB
![Page 30: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/30.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image denoising: результаты FoE
σ = 25, PSNR: 27.04 dB
![Page 31: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/31.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image inpainting
![Page 32: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/32.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image inpainting
p(y|x) =
L·M∏k=1
p(yk|xk),
p(yk|xk) =
{1, k ∈Mδ(yk − xk), k 6∈ M
x(t+1) = x(t) + ηM
[N∑i=1
J(i)− ∗ ψ′(J(i) ∗ x(t);αi)
]M — мн-во пикселей, помеченых для заполнения
M — соответствующая бинарная маска
I Такой метод не подходит для заполнения сложныхтекстур
![Page 33: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/33.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image inpainting: сравнение методов I
Зарисованное текстом
![Page 34: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/34.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image inpainting: сравнение методов I
Предложенный метод с применением FoE(PSNR 29.06dB)
![Page 35: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/35.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image inpainting: сравнение методов I
Bertalmıo et al.(PSNR 27.56dB)
![Page 36: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/36.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image inpainting: сравнение методов II
Original
![Page 37: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/37.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image inpainting: сравнение методов II
Предложенный метод с применением FoE
![Page 38: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/38.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image inpainting: сравнение методов II
Bertalmıo et al.
![Page 39: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/39.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image inpainting: результаты FoE
![Page 40: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/40.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Image inpainting: результаты FoE
![Page 41: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/41.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Outline
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияImage denoisingImage inpainting
Заключение
![Page 42: Fields of Experts (доклад)](https://reader038.vdocuments.net/reader038/viewer/2022102814/5490988eb47959640d8b51c7/html5/thumbnails/42.jpg)
Fields of Experts
Петр Ромов
ВведениеImage priorsМодели патчей
Fields of ExpertsМодельВыводОбучение
ПриложенияDenoisingInpainting
Заключение
Недостатки и пути развития
I Фильтры 5× 5 достаточно малы, чтобы описыватьтекстурированные области. Небольшое увеличениефильтров (эксперимент 7× 7) не особо помогает.Значительное увеличение затратно.
I Сэмплы из pFoE(x) не выглядят натуральными.I Размытые области еще сильнее размываются, шум
на текстурах убирается не полностью.
I Модель зависит от масштаба изображений(у конкурентов, кстати, не зависит).
I Размер клик можно было бы настраивать автоматически.
I Градиентный вывод применим не всегда, нужныисследования техник вывода для high-order MRF.