Методы обработки и распознавания изображений

Раздел 4

Лекция 7.

Методы распознавания изображений с использованием искусственных нейронных

сетей

Лектор – проф. Тропченко А.Ю.

Методы обработки и распознавания изображений

Цели и задачи работыСхема процесса распознавания

изображений

Цели и задачи работыСхема процесса поиска при распознавания

изображений

Цели и задачи работыАлгоритм ввода данных в систему

автоматического распознавания изображений

Цели и задачи работыОсновные задачи, решаемые с помощью

нейронной сети

Цели и задачи работыСтроение биологического нейрона

Цели и задачи работыКибернетическая модель нейрона


(математическое описание)

Информация, поступающая на вход нейрона, суммируется с учетом весовых коэффициентов сигналов:

где w0 – сдвиг (порог, смещение) нейрона Сдвиг обычно интерпретируется как связь, исходящая от элемента, активность которого всегда равна 1.Для удобства входной вектор расширяется добавлением этого сигнала до х = (1,х0,...,xn) и порог w0 вносится под знак суммы:


(математическое описание)

Y = 1/(1+exp(-kP))

Пороговая функция пропускает информацию, если алгебраическая сумма входных сигналов

превышает некоторую постоянную величину Р*:

Определенным компромиссом между линейной и ступенчатой функциями является сигмоидальная функция активации :

Цели и задачи работыФункции переноса искусственных нейронов

а) линейная; б) ступенчатая; в) сигмоидальная.

Цели и задачи работыАрхитектура искусственных нейронных сетей

Персептрон Розенблатта.

Цели и задачи работыАрхитектура искусственных нейронных сетей

Персептрон Розенблатта. Число входов сети определяет размерность пространства, из которого выбираются входные данные: для двух признаков пространство оказывается двумерным, для трех – трехмерным, а для m признаков – m-мерным. Если прямая или гиперплоскость в пространстве входных данных может разделить все образцы на соответствующие им классы, то проблема является линейной, в противном случае – нелинейной. На рисунке показаны множества точек на плоскости а) граница линейная, б) нелинейная.

Цели и задачи работыСхема многослойного персептрона

Для решения нелинейных проблем предназначены модели многослойных персептронов (MLP), способные строить ломаную границу между распознаваемыми образами.

Цели и задачи работыКлассификация нейронных сетей

Цели и задачи работыМногослойные нейронные сети

Архитектура многослойной нейронной сети и её применение для распознавания изображений. Нейрон с максимальной активностью (здесь первый) указывает принадлежность к распознанному классу

Цели и задачи работыОбучение многослойной нейронной сети

Обучаются МНС при помощи алгоритма обратного распространения ошибки, являющегося разновидностью градиентного спуска в пространстве весов с целью минимизации суммарной ошибки сети:

dW

dEW 2

)(2

1 j

jj tyE

,

Одними из главных проблем МНС являются следующие: 1. Проблема локального минимума, которая заключается в том, что при итерационном спуске может наступить момент, когда решение заходит в локальный минимум,из которого вследствие малой величины шага не может выбраться. 2. Выбор архитектуры сети (количество нейронов, слоёв, характер связей). С этим также связана проблема переобучения, которая заключается в том, что сеть с избыточным числом элементов теряет обобщающую способность и хорошо работает только на тренировочной выборке. 3. Выбор шага (скорости) обучения, связанная с тем, что при малом шаге время обучения будет большим и сеть может зависать в локальных минимумах, а при больших шагах возможно расхождение процесса обучения или паралич сети.

где tj – эталонное значение выходов сети

Цели и задачи работыПрименение МНС для решения задач распознавания

(по коэффициентам ДКП)

,

Для распознавания может быть использовано двумерное ДКП

дискретное косинусное преобразование (ДКП):

Двумерное обратное косинусное преобразование:

Дискретное преобразование Хартли:

H X cas km Nk m

m

^ / 2

Вычисление ДКП через ДПХ: c H k N k N H k N k Nk k N k^ cos / sin / cos / sin / / 2 2 2 2 2

где k = [1,...,N-1], причем c H^ 0 0 .


(По коэффициентам ДКП)

,

• Использовались первые 25-35 коэффициентов ДКП изображения размером 92х112 пикселов (из10304, т.е. около 0.2% от общего количества коэффициентов) и двухслойная нейронная сеть. Коэффициенты выбирались двумя способами. В первом способе брались первые коэффициенты из левого верхнего угла матрицы коэффициентов, ограниченного диагональю. Во втором способе выбирались коэффициенты, которые давали наименьшую погрешность реконструкции изображения. Разница в точности при этом была неразличима.


по методу главных компонент

,

• Суть метода главных компонент заключается в получении максимально декореллированных коэффициентов, характеризующих входные образы. Такие коэффициенты называются главными компонентами и используются для статистического сжатия и реконструкции изображений. При этом небольшое число коэффициентов используется для представления всего образа. Каждое изображение разлагается на линейную комбинацию собственных векторов. Для набора изображений лиц собственные векторы могут быть представлены в виде изображений, такие изображения похожи на лица и называются собственными лицами (eigenfaces). Сумма собственных векторов, умноженных на соответствующие им главные компоненты,

представляет собой реконструкцию изображения.


по методу главных компонент

,

Собственные лица (eigenfaces)

Цели и задачи работыАрхитектура рециркуляционной сети для извлечения главных

компонент

,

• НС содним скрытым слоем, содержащим m нейронов, число которых много меньше, чем размерность изображения (m<<n) и обученная по методу обратного распространения ошибки восстанавливать на выходе изображение, поданное на вход,

• формирует на выходе скрытых нейронов коэффициенты первых m главных компонент,

• которые и используются для сравнения изображений. Такая НС называется рециркуляционной.

Цели и задачи работыДостоинства рециркуляционной сети для извлечения главных

компонент

,

Преимущества применения РНС для извлечения главных компонент перед решением матричных уравнений: алгоритм обучения РНС прост и универсален; нелинейная активационная функция позволяет точнее реконструировать изображение; при решении матричных уравнений возможны проблемы, если объекты похожи друг на друга, РНС лишена такого недостатка; не требуется вычислять все собственные векторы. Таким образом, время обучения сетилинейно зависит от количества извлекаемых главных компонент; для предварительных экспериментов можно использовать меньшее число обучающих циклов, что снижает время обучения.

Лекция 8.

Методы распознавания изображений с использованием искусственных нейронных

сетей

Лектор – проф. Тропченко А.Ю.

Методы обработки и распознавания изображений

Цели и задачи работыНейронные сети высокого порядка.

Моментные НС

Нейронные сети высокого порядка (НСВП, по-английски – High Order Neural Network) отличаются от МНС тем, что у них только один слой, но на входы нейронов поступают так же термы высокого порядка, являющиеся произведением двух или более компонент входного вектора, например для сетей второго порядка:

TxxwxwSn

i

n

jjiij

n

iii

1 11

Цели и задачи работыРадиально-базисные нейронные сети

Радиально-базисные нейронные сети (РБНС, по-английски – Radial Basis Function Network, RBF) состоят из двух слоёв, Первый слой имеет радиально-базисную активационную функцию: )

2exp(

2

2

S

y

S определяется как расстояние между входным и весовым вектором:

i

ii wxWXS 222 )(||

Цели и задачи работыТопологически упорядоченное преобразование пространства

Векторные квантователи и самоорганизующиеся карты Кохонена (Self-Organizing Maps, SOM) используются для сжатия данных и извлечения ключевых характеристик. Так же они служат основой для радиально-базисных сетей и когнитронов. Активным считается нейрон, имеющий наибольшее выходное значение:

XWxwS Tj

iiijj Веса такого нейрона изменяются в сторону

соответствия входному вектору, например

))()(()()1( tWXttWtW jjj Правило модификации весов

))()(,,()()()1( tWXjithttWtW jjj

Вводится функция соседства h, убывающая с расстоянием между нейронами

)(2exp),,(

2

2

t

jijith

Цели и задачи работыПример применения карт Кохонена для уменьшения

размеров участков изображений

Слева – топографическая карта участков изображений до обучения, справа – после обучения.

Отклики нейронной сети. 1 – наиболее вероятное положение глаза

, 2 – менее вероятные места расположения (шумы)

Цели и задачи работыСтруктура когнитрона

Главные отличия когнитрона - каждый нейрон связан только с локальной областью

предыдущего слоя, и такие области перекрываются друг с другом. Слоёв в когнитроне больше, чем в сетях других типов. Таким образом достигается иерархическая организация, когда на высших слоях когнитрон реагирует на более абстрактные образы, меньше реагирует на их смещение и искажение.Обучается когнитрон конкурентным обучением (без учителя).

Цели и задачи работыНеокогнитрон

Главное отличие неокогнитрона от когнитрона – двумерная организация локальных участков и плоскостная иерархическая структура

Последовательность использования неокогнитрона

Первоначальное обучение неокогнитрона

Последующее использование неокогнитрона в качестве распознавателя

- Сравнительно большие вычислительные затраты- Выполняется редко- Может не включатся в функциональность конечнойреализации

- Вычислительные затраты невелики- Распознаватель может включатся в иные алгоритмы распознавания

Затраты ресурсов компьютера на этапах использования неокогнитрона

Ресурс

Этап использования неокогнитрона

Обучение Распознавание

Время выполнения

Порядка нескольких

дней

Около секунды на одно изображение

Память компьютера

До нескольких сотен

мегабайт

До десяти мегабайт

Последовательность обучения неокогнитрона

Подготовка входного набора изображений

Послойное обучение неокогнитрона (без учителя)

Проверка неокогнитрона на всём обучающем множестве

Формирование компактного представления конфигурации нейросети и сохранениепараметров в файле

Обучение последнего (классифицирующего) слоя неокогнитрона (с учителем)

Достигнута заданная точность?

да

нет

Расчёт откликов нейронов в неокогнитроне

Отклик нейронов первого слоя (выделение контраста)

Отклик нейронов S-слоёв

Отклик тормозящих нейронов

Структура неокогнитрона

Четырёхуровневая структура неокогнитрона (из статьи К. Фукушимы)

Связи между нейронами соседних уровней

Инвариантность неокогнитрона.Дополнительные символы

Инвариантность неокогнитрона.Зашумление

Инвариантность неокогнитрона.Искажение

Инвариантность неокогнитрона.Смещение

Цели и задачи работыСверточная нейронная сеть

Архитектура свёрточной НС основывается на принципах архитектуры неокогнитрона, упрощённого и дополненного обучением алгоритмом обратного распространения ошибки.

Цели и задачи работыСхема системы распознавания личности человека по

изображению его лица

Цели и задачи работыСхема системы распознавания личности человека по

изображению его лица

Первый метод – создание вектора данных из набора отсчетов в локальном окне изображения.Второй метод - создание локального шаблона , т.е. выходного вектора как разности яркости между

центральным и всеми другими пикселями в квадратном окне.

Цели и задачи работыАрхитектура системы распознавания личности по портрету

Цели и задачи работыПрименение ИНС для классификации по заранее извлеченным

признакам

Метод собственных фильтров для распознавания лица

Задача анализа главных компонент – выбрать базис пространства u=(u1, u2, …, uk) так, чтобы вариация (дисперсия) проекции была минимальной. Минимум этой функции достигается решением задачи на собственные значения Ru =λu

Цели и задачи работыМетод сравнения эластичных графов на основе вейвлетов Габора

В результате преобразования Габора спектральная плоскость

разбивается на m частотных и n ориентационных диапазонов:

ĝij(ω)= exp(-½(ω-ωij)t RjΣij-l (ω-ωij))…

ωij - вейвлет, соответствующий (i,j) ориентации и масштабу,

где 1≤i≤m, 1≤j≤n, Rj – матрица поворота, а Σij – диагональная матрица

Цели и задачи работыМетод сравнения эластичных графов на основе вейвлетов Габора

Фильтры Габора и результат их применения - выделенныелокальные признаки изображения

Цели и задачи работыМетоды распознавания на основе Скрытых Марковских моделей

Схема сегментации изображения на основе скрытой Марковской модели иСтруктурные признаки изображения, выделенные скрытой Марковской моделью

Процесс распознавания в Скрытой Марковской Модели:• Системе подается на вход некоторое изображение;• Система строит из него входную последовательность;• Система строит вероятности построения такой входной последовательности• всеми моделями• Выдается наиболее вероятный ответ и вероятность соответствия.

Цели и задачи работыПрограммные средства моделирования нейросетей

Цели и задачи работыОбобщенная классификация нейрочипов

Цели и задачи работыАппаратные средства реализации ИНС

Наименование Фирма изготовитель Разрядность, битМаксимальное количество синапсов*

Максимальное число слоев**

Примечание

MA16 Siemens48 (умножители и сумматоры)

- - 400 ММАС.

NNP (Neural Networks Processor)

Accurate Automation Nx16 - -MIMD, N - число процессоров.

СNAPS-1064 Adaptive Solutions 16 128 Кбайт 64

100 NAP Chip HNC 32 512 Кбайт 4Плав. Арифм. 4 процессорных элемента

Neuro Matrix NM6403, Такт. частота 50 МГц.

Модуль, Россия64 (вект. процессор), 32 RISC ядро

4096 шт. 24 Совместим с портами TMS320C4x

Neuro Matrix NM6404, Такт. частота 133 МГц.

Модуль, Россия64 (вект. процессор), 32 RISC ядро

4096 шт. ~48 Совместим с портами TMS320C4x

CLNN 32 CLNN 64 Bellcore3264

4961024

32 нейрона108 перекл./с 2 x 108 перекл./с


NC 3001 NeuriGam 16 4096 шт. 32

ZISC 036 (Zero Instruction Set Computer)

IBM64 разр. входного вектора

- 36 нейроновЧастота 20МГц, Векторно-прототипный нейрочип

ETANN 80170NW Intel 64 входаДва банка весов 64х80

64 нейрона в слое, 3 слоя.

Аналоговая

MD-1220 Micro Devices 16 64 шт. 8 8 нейронов

MT 19003 - Neural Instruction Set Processor

Micro Circuit Engineering (MCE)

16 разр. Умножитель 35 разр. сумматор

- 1RISC МП c 7 специальными командами

Neuro Fuzzu National Semiconductor - - -

NI 1000 Nestor5-16 (одного нейрона)

-1024 прототипных 256 мерных векторов

Векторно-прототипный нейрочип


NLX420 (NLX 110, 230)

Adaptive Logic 16 1 Мбайт 1616 процессорных элементов

OBL Chip Oxford Computer 16 16 Мбайт -

L-Neuro 1.0L-Neuro 2.3

Philips 1616 1536

16 нейронов192 (12х16)

26 МГц60 МГц

RSC (Speech Recognition Chip) - 164

Sensory Circuits - - -

ORC 110xx (Object Recognizer Chip)

Synaptics - - -

Pram-256 Chip UCLi Ltd.8 (одного нейрона)

- 256 нейронов 33МГц.

SAND Datafactory 16 - 4 200 MCPS


ACC 16 - -

Геркулес Россия 16 1 Мбайт 64

Neuro ClassifierУниверситет Твента, DESY

70 вх. нейронов - 6 (внутр) 1 вх., 1 вых. 2 х 1010 перекл./с

ANNA AT&TЧисло нейроннов 16-256

4096 весов -Число входов у нейрона 256-16.

WSC (Wafer Scale Integration)

Hitachi - 64 связи на нейрон

576 нейронов

SASLM2 Mitsubishi2 (одного нейрона)

- 4096(64x64) нейронов 50 МГц

TOTEMKent (Univer UK), di Trento (Italy)

16 (одного нейрона)

- 64 нейрона 30 МГц

Neuron 3120, Neurom 3150

Echelon (США)8 бит (шина данных)

- -

Наличие параллельных, последовательных и коммуникацинных портов

Цели и задачи работыСравнительные характеристики нейрочипов

Цели и задачи работыПроизводительность ряда процессоров при выполнении алгоритмов ЦОС

Цели и задачи работыСтруктура нейрочипа

CONTROL UNITHOLD / BACK

RE

SE

T

TIM

ER

INT

INTA

BO

OT

HOLDA / BREQ

CLK

IN

LHOLDA / LBREQ

LHOLD / LBACK

...

INSTRUCTION BUS

MUX

INSTRUCTION ADDRESS BUS

DATA BUS 1

DATA ADRESS BUS 1

DATA BUS 2

DATA ADRESS BUS 2

INSTRUCTION BUS

RDY

ADDR BUS15

DATA BUS64

WE

OE

2

RAS

CAS

2

W / R

MUX

LRDY

ADDR BUS15

DATA BUS64

LWE

LOE

2

LRAS

LCAS

2

LW / R

SCALARPROCESSOR

32 32 64 32 32

VEKTORPROCESSOR

64 32

DMACO - PROCESSOR

3264

inp.buffer 0

Out.buffer 0

Inp.buffer 1

z.buffer 1

Port

0Po

rt 1

LINK 08

4

LINK 18

4

Методы обработки и распознавания изображений

Documents