НТК МЭС-2012 , Москва , Россия , 08-12.10.20 1 2 1

История, теория и практика История, теория и практика адаптивной обработки сигналовадаптивной обработки сигналов

Джиган Виктор Иванович, д.т.н.Джиган Виктор Иванович, д.т.н.

Член НТОРЭС им. А.С. ПоповаЧлен НТОРЭС им. А.С. Попова

Senior IEEE Member Senior IEEE Member

Главный научный сотрудник ОАО «НПЦ ЭЛВИС»Главный научный сотрудник ОАО «НПЦ ЭЛВИС»

Зеленоград, Москва, РоссияЗеленоград, Москва, Россия

НТК МЭС-2012НТК МЭС-2012, , МоскваМосква, , РоссияРоссия, , 08-12.10.2008-12.10.201122 11

Что такое адаптивная обработка сигналов – это что-то новое, Что такое адаптивная обработка сигналов – это что-то новое, забытое старое, или широко используемая современная забытое старое, или широко используемая современная

технология ?технология ?

Адаптивная обработка сигналов – это направление в современной Адаптивная обработка сигналов – это направление в современной обработке сигналов, которая, в свою очередь является направлением в обработке сигналов, которая, в свою очередь является направлением в современных радиотехнике и связисовременных радиотехнике и связи

«Адаптация (позднелатинское «Адаптация (позднелатинское adaptioadaptio – прилаживание, – прилаживание, приспособление, от латинского приспособление, от латинского adaptoadapto – приспособляю) – процесс – приспособляю) – процесс приспособления строений и функций организмов (особей, популяций, приспособления строений и функций организмов (особей, популяций, видов) и их органов к условиям окружающей среды…»видов) и их органов к условиям окружающей среды…»

Большая Советская ЭнциклопедияБольшая Советская Энциклопедия


Кто был первым ?Кто был первым ? Йохан Карл Фредерик Гаусс (1777-1855) Йохан Карл Фредерик Гаусс (1777-1855) в 172в 17255 в возрасте 18 лет сформулировал критерий в возрасте 18 лет сформулировал критерий

наименьших квадратов для обработки экспериментальных наблюдений. наименьших квадратов для обработки экспериментальных наблюдений. Этот критерий лежит в основе адаптивных фильтров, использующих рекурсивные алгоритмы Этот критерий лежит в основе адаптивных фильтров, использующих рекурсивные алгоритмы

по критерию наименьших квадратов по критерию наименьших квадратов

Исаак Ньютон (1643-1727)Исаак Ньютон (1643-1727) предложил итерационный численный метод нахождения корня предложил итерационный численный метод нахождения корня (нуля) заданной функции (также известный как метод касательных) . (нуля) заданной функции (также известный как метод касательных) .

Этот метод лежит в основе современных градиентных адаптивных алгоритмовЭтот метод лежит в основе современных градиентных адаптивных алгоритмов

Работы по теории оптимального оценивания, лежащие в основе современной теории Работы по теории оптимального оценивания, лежащие в основе современной теории адаптивной обработки сигналов, относятся к 40-м – 50-м годам 20-го века: адаптивной обработки сигналов, относятся к 40-м – 50-м годам 20-го века:

Андрей Николаевич Колмогоров (Андрей Николаевич Колмогоров (1903 1903 --1987) 1987)

Норберт Винер (1894-1964) Марк Григорьевич Крейн (1907-1989) Норберт Винер (1894-1964) Марк Григорьевич Крейн (1907-1989)

Норман Левинсон (1912-1975)Норман Левинсон (1912-1975)


Кто сделал первый адаптивный фильтр ?Кто сделал первый адаптивный фильтр ?

«Я был знаком с теорией «Я был знаком с теорией винеровской фильтрации в винеровской фильтрации в непрерывной и дискретной непрерывной и дискретной формах. Для построения формах. Для построения фильтра Винера требуется знать фильтра Винера требуется знать автокорреляционную функцию автокорреляционную функцию входного сигнала и взаимную входного сигнала и взаимную корреляционную функцию корреляционную функцию между входным и требуемым между входным и требуемым сигналами. Это замечательно, сигналами. Это замечательно, когда вы делаете домашние когда вы делаете домашние упражнения, но что вам делать упражнения, но что вам делать на практике, когда статистику на практике, когда статистику входных сигналов никто вам не входных сигналов никто вам не может предоставить? Все что у может предоставить? Все что у вас есть – это сами входные вас есть – это сами входные сигналы …»сигналы …»

Бернард Уидроу Бернард Уидроу ,,изобретатель изобретатель LMS-LMS-алгоритмаалгоритма

Widrow B. Hoff M.E. Adaptive switching Widrow B. Hoff M.E. Adaptive switching circuits // IRE WESCON Convention Record. circuits // IRE WESCON Convention Record. – 1960. – Part 4. – P. 96–104– 1960. – Part 4. – P. 96–104


Кто сегодня ведущий специалист в этой области ?Кто сегодня ведущий специалист в этой области ?


Bernard WidrowBernard WidrowStanford UniversityStanford UniversityUSAUSA

Simon HaykinSimon HaykinMcMaster University McMaster University CanadaCanada

Thomas KailathThomas KailathStanford UniversityStanford UniversityUSAUSA

Ali SayedAli SayedUniversity of University of California, USACalifornia, USA

John CioffiJohn CioffiStanford UniversityStanford UniversityUSAUSA

Paulo DinizPaulo DinizUniversidade Federal do Rio Universidade Federal do Rio de Janeiro, Brazilde Janeiro, Brazil

Steven GrantSteven GrantUniversity of University of Missouri, USAMissouri, USA

Dirk SlockDirk SlockEURECOMEURECOMFranceFrance

Nicholas Sergios Nicholas Sergios Kaoluptsidis TheodoridisKaoluptsidis Theodoridis University of Athens , GreesUniversity of Athens , Grees

Когда нужно использовать адаптивный фильтр?Когда нужно использовать адаптивный фильтр?

Свойства фильтра с фиксированными параметрами обычно Свойства фильтра с фиксированными параметрами обычно определяются требуемой передаточной функцией. В свою очередь, определяются требуемой передаточной функцией. В свою очередь, передаточная функция определяет структуру фильтра и его передаточная функция определяет структуру фильтра и его вычислительную сложность. Если спецификацию к передаточной вычислительную сложность. Если спецификацию к передаточной функции фильтра невозможно сформулировать заранее или когда эта функции фильтра невозможно сформулировать заранее или когда эта спецификация может меняться в процессе работы фильтра, то вместо спецификация может меняться в процессе работы фильтра, то вместо фильтров с фиксированными параметрами необходимо использовать фильтров с фиксированными параметрами необходимо использовать фильтры с изменяемыми параметрами, например, адаптивные фильтры с изменяемыми параметрами, например, адаптивные фильтфильтры ры

В основе большинства адаптивных устройств находится так В основе большинства адаптивных устройств находится так называемый адаптивный фильтр. Фильтрация – это обработка, называемый адаптивный фильтр. Фильтрация – это обработка, целью которой является извлечение интересуемой целью которой является извлечение интересуемой информации, например, сигналов, обладающих информации, например, сигналов, обладающих определенными характеристикамиопределенными характеристиками


Какие бывают адаптивные фильтрыКакие бывают адаптивные фильтры ( (АФ) ?АФ) ?

Одноканальный АФОдноканальный АФ Многоканальный АФМногоканальный АФ

Адаптивный фильтр

Адаптивный алгоритм

)(kd

)(kx )(k)(ky

1z 1z 1z)1(2 kh

)1(3 kh

)1(1 khN

)1( khN

)1(1 kh

)(kx

)(ky

)1( kx )2( kx )2( Nkx )1( Nkx

)(kd )(k


)(kx

)()1(11kk N

HN xh

)()1(22kk N

HN xh

)()1( kkmm N

HN xh

)()1(11kk

MM NHN

xh

)()1( kkMM N

HN xh


)(kd

)(1 kx

)(2 kx

)(1 kxM

)(kxM

)(kxm

)(kN

Обобщенная структура АФОбобщенная структура АФ


Где применяются адаптивные фильтры ? – Например, в Где применяются адаптивные фильтры ? – Например, в адаптивных антенных решеткахадаптивных антенных решетках (ААР)(ААР)

Адаптивный процессор

1w

2

Mw

1h

2h

nh

Nh

Выходной сигнал антенной решетки

Опорный сигнал антенной решетки

Вх

од

ны

е с

игн

ал

ы а

нте

нн

ой

ре

ше

тки

Структура ААРСтруктура ААР

Принцип подавление помех с помощью ААР Принцип подавление помех с помощью ААР

-80 -60 -40 -20 0 20 40 60 80-100

-80

-60

-40

-20

0

, град.

| F(

) |, д

Б

Исходная

Конечная


Где применяются адаптивные фильтры ? – Например, в Где применяются адаптивные фильтры ? – Например, в адаптивных эхокомпенсаторахадаптивных эхокомпенсаторах

Принцип построения проводной телефонной связиПринцип построения проводной телефонной связи

Гибридная схема

Задержка

Задержка

Гибридная схема

4-х проводный канал



Абонент АбонентТелефонная станция

Телефонная станция

Гибридная схема,


Абонент

w

Адаптивный фильтр,

)(kNh

)(ky

)(kd)(k

)(kxСигнал от удаленного абонента

Сигнал к удаленному абоненту -подавленное эхо

Неподавленное эхо

Оценка эхо-сигнала

Принцип компенсации электрического эхаПринцип компенсации электрического эха

Акустический импульсный отклик


Усилитель

Идентифицируемый импульсный отклик


Эхо-сигнал

Шум

Си

гнал

от

удал

енн

ого

аб

он

ента

Си

гнал

к у

дал

енн

ом

у аб

он

енту

Перестраиваемый фильтр

)(kx

)(k

)(kd)(kz

)(ky

Принцип компенсации акустического эхаПринцип компенсации акустического эха


0 20 40 60 80 1000

5

10

15

20

25

30

35

задержка распространения сигнала, мс

требуе

мое п

одавл

ение, дБ

Насколько эффективна эхокомпенсация ?Насколько эффективна эхокомпенсация ?

0 2 4 6 8

x 104

-0.5

0

0.5

x( k

)

0 2 4 6 8

x 104

-0.5

0

0.5

d( k

)

0 2 4 6 8

x 104

-0.5

0

0.5

k, номер итерации

( k

) +

z( k

)

0 2 4 6 8 10

x 104

0

10

20

30

40

50

60

70

80

k, номер итерацииE

RLR

( k ),

дБ

1

2

3

0 2 4 6 8

x 104

-8

-6

-4

-2

0

2

4

6

8x 10

-3


(

k )

+ z

( k

),

(k)

0 2 4 6 8

x 104

-8

-6

-4

-2

0

2

4

6

8x 10

-3


( k

) +

z( k

),

(k)

0 10 20 30 40 50 60 70-0.15

-0.1

-0.05

0

0.05

0.1

0.15

0.2

0.25

0.3

n, отсчеты

w

Сигнал ошибки, Сигнал ошибки, RLS-RLS-алгоритмалгоритмСигнал ошибки, Сигнал ошибки, LMSLMS-алгоритм-алгоритм

0 2 4 6 8 10

x 104

0

10

20

30

40

50

60

70

80


ER

LR( k

), д

Б

1

2

3

Импульсный отклик эхотрактаИмпульсный отклик эхотракта

СигналыСигналы

ERLEERLE, , LMSLMS-алгоритм-алгоритм ERLEERLE, , RLSRLS-алгоритм-алгоритм


Где применяются адаптивные фильтры ? – Например, в Где применяются адаптивные фильтры ? – Например, в адаптивных эквалайзерах каналов связиадаптивных эквалайзерах каналов связи

Принцип выравнивания АЧХ каналов связиПринцип выравнивания АЧХ каналов связи


)(kd)(kz

)(k)(ky

Задержка

Канал связи )(kx

)(~ kx

)(tw

t

0tTt 0Tt 20 Tt 0 Tt 20 Tt 30

импульсный отклик канала связи

*

*

*

*

*

*

)( 0t

t

0tTt 0Tt 20 Tt 0 Tt 20 Tt 30

cовместный импульсный отклик канала связи и эквалайзера

** * * *

*

Сигнал на выходе канала связи в Сигнал на выходе канала связи в момент времени оценивания момент времени оценивания информационного символа – это информационного символа – это взвешенныйвзвешенный задержанный символ + задержанный символ + межсимвольная интерференциямежсимвольная интерференция

Сигнал на выходе эквалайзера в момент Сигнал на выходе эквалайзера в момент времени оценивания времени оценивания информационного символа – это информационного символа – это взвешенный задержанный символвзвешенный задержанный символ


Насколько эффективно выравнивание каналов связи ?Насколько эффективно выравнивание каналов связи ?

Эквалайзер с обратной связьюЭквалайзер с обратной связью

Эквалайзер без обратной связиЭквалайзер без обратной связи

0 100 200 300 400 500 600-80

-60

-40

-20

0

20

40

Частота (спектральные составляющие)

Ам

плит

уда,

дБ

1

23

0 100 200 300 400 500 600-80

-60

-40

-20

0

20

40

Частота, спектральные составляющие

Ам

плит

уда,

дБ

1

23

-2 -1 0 1 2

-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

Im

Re

Канал

Эквалайзер

Данные

-2 -1 0 1 2

-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

Im

Re

Канал

Эквалайзер

Данные

)(kNh)()( kzkxH w )(~ ky

Решение

Обучение

)(k

)(ky

)(kd

)(kFNh

)(~ ky

)(kBNh

Решение

Обучение

)(k

)()( kzkxH w

)(kd

)(ky

АЧХАЧХ СозвездияСозвездия


Где применяются адаптивные фильтры ? – Например, в Где применяются адаптивные фильтры ? – Например, в адаптивном шумоподавленииадаптивном шумоподавлении

Принцип адаптивного шумоподавленияПринцип адаптивного шумоподавления



)()( 1 kzkx

)(2 kz )()( kxk )()( 1 kzky

Пример адаптивного шумоподавленияПример адаптивного шумоподавления



)()( 1 kzkx

)(2 kz )()( kxk )()( 1 kzky

Акустический импульсный отклик

)(kx

)(1 kz


Насколько эффективно шумоподавление ?Насколько эффективно шумоподавление ?

Зашумленная речьЗашумленная речь

Исходная речьИсходная речь

2 4 6 8 10

x 104

-0.5

-0.25

0

0.25

0.5

k, отсчеты

x(k)

2 4 6 8 10

x 104

-0.5

-0.25

0

0.25

0.5

k, отсчеты

x(k)

-

(k)

2 4 6 8 10

x 104

-0.5

-0.25

0

0.25

0.5

(k

)

k, отсчеты2 4 6 8 10

x 104

-0.5

-025

0

0.25

0.5

(k

)

k, отсчеты

2 4 6 8 10

x 104

-0.5

-0.25

0

0.25

0.5

k, отсчетыx(

k) -

(k

)

Очищенная речь, Очищенная речь, LMSLMS Очищенная речь, Очищенная речь, RLSRLS

Остаточный шум, Остаточный шум, LMSLMS Остаточный шум, Остаточный шум, RLSRLS

2 4 6 8 10

x 104

-0.5

-0.25

0

0.25

0.5

k, отсчеты

x(k)

+z1(k

)


Что такое винеровская фильтрация ?Что такое винеровская фильтрация ?

1w

2

1h

2h

Nh

Выходной сигнал

Век

тор

вхо

дн

ых

сигн

ало

в

)(ky

)(1 kx

)(2 kx

)(kxN

Вектор весовых коэффициентов

)(kd

)(ke

Требуемый сигнал

Сигнал ошибки

Поверхность среднеквадратической ошибкиПоверхность среднеквадратической ошибки

Линейный сумматорЛинейный сумматор

NNoN rRh 1,

Линейно-ограниченная винеровская фильтрацияЛинейно-ограниченная винеровская фильтрация

NNHNJJNJN

HNJNJNNNoN c

rRCfCRCCRrRh 11111,

Винеровское решение:Винеровское решение:


Как найти винеровское решение ?Как найти винеровское решение ?

)1()1()( 1 kkk

NNNN

hRhh

Алгоритм НьютонаАлгоритм Ньютона

)1()1()( kkkN

NN h

hhАлгоритм наискорейшего спускаАлгоритм наискорейшего спуска

Градиент:Градиент:

h1

h 2

-4 -2 0 2 4 6 8

-2

0

2

4

6

8

5

10

15

20

25

30

35

40

45

50

55

60

h1

h 2

-4 -2 0 2 4 6 8

-2

0

2

4

6

8

5

10

15

20

25

30

35

40

45

50

55

60

)1( kNNNN

hRrh

Линии уровня трехмерной поверхности среднеквадратической ошибки Линии уровня трехмерной поверхности среднеквадратической ошибки


Что делать, если корреляционная матрица неизвестна ?Что делать, если корреляционная матрица неизвестна ?

LMS-LMS-алгоритм:алгоритм:

)()()1()1(ˆ)1()( kkkkkk NNNNN

xhhhh

0 50 100 150 200 250 300 350 4000

0.5

1

1.5


h 1

0 50 100 150 200 250 300 350 400-1

-0.5

0

0.5

k, номер итерацииh 2

h1

h 2

-10 -5 0 5 10 15-15

-10

-5

0

5

10

20

40

60

80

100

120

140

160

180

200

Линии уровня трехмерной поверхностиЛинии уровня трехмерной поверхностисреднеквадратической ошибки среднеквадратической ошибки

Обучающие кривые весовых Обучающие кривые весовых коэффициентовкоэффициентов

)()1()()( kkkdk NHN xh


Действительно ли средний квадрат ?Действительно ли средний квадрат ?

Обучающие кривые среднеквадратической ошибкиОбучающие кривые среднеквадратической ошибки

0 50 100 150 200 250 300 350 400

1

1.2

1.4

1.6

1.8

2

2.2


0 50 100 150 200 250 300 350 4000

2

4

6

8

10

12


0 50 100 150 200 250 300 350 400

1

1.2

1.4

1.6

1.8

2

2.2


1 реализация1 реализация 100 реализаций100 реализаций

100 000 реализаций100 000 реализаций 2 разных шага сходимости2 разных шага сходимости

0 50 100 150 200 250 300 350 400

1

1.2

1.4

1.6

1.8

2

2.2


1

2

Условие сходимости Условие сходимости LMSLMS--алгоритма:алгоритма:

max20

Постоянная времени Постоянная времени (число итераций):(число итераций):

minmax 2

1

2

1, nk

ДополнительнаяДополнительнаясреднеквадратическаясреднеквадратическая

ошибка:ошибка:

N

nn

N

nn

exc

1

1min

2

oNHNdkeE ,

22

min )( hr


Что такое Что такое NLMSNLMS-алгоритм ?-алгоритм ?

)1()1()( 1 kkk

NNNN

hRhhАлгоритм Ньютона:Алгоритм Ньютона:

)()()(ˆ 2 kkIk HNNNN xxR

NLMS-NLMS-алгоритм:алгоритм:

Упрощенный алгоритм Ньютона:Упрощенный алгоритм Ньютона:

)()()()(

ˆ)1()(

2kk

kkkk N

NHN

NN

xxx

hh

Упрощенная корреляционная матрица:Упрощенная корреляционная матрица:

Лемма об обращении матрицЛемма об обращении матриц

)()()(ˆˆ)1()( 1 kkkkk NNNN xRhh

)()1()()( kkkdk NHNN xh


1111111 BCABDCBCCDABC HHH

||||||||||||

Что такое Что такое RLSRLS-алгоритм ?-алгоритм ?Целевая функция :Целевая функция :

RLS-RLS-алгоритм:алгоритм:

Условие минимума :Условие минимума :

)()()( 1 kkk NNN rRh Оптимальное решение :Оптимальное решение :

)()1()(

)()1()(

1

1

kkk

kkk

NNHN

NNN xRx

xRg

)1()()()1()( 1111 kkkkk NHNNNN RxgRR

)()1()()( kkkdk NHNN xh

)()()1()( kkkk NNNN ghh

k

iNN

ikN ieiekE

1

)()()(

NNNNN kkkkEN

0hRrh

)()()()(

Лемма об обращении матрицЛемма об обращении матриц 1111111 BCABDCBCCDABC HHH

)()()1()()()(1

kkkiik HNNN

k

i

HNN

ikN xxRxxR

)()()( 1 kkk NNN xRg


Адаптивный фильтр на основе Адаптивный фильтр на основе QRQR-разложения-разложения)(~ )0(

1, kxN

)(1, kcN

)(1, ksN1,1,

~NR 2,1,

~NR 3,1,

~NR NNR ,1,

~1,1,

~NNR2,1,

~NNR

)(2, kcN

)(2, ksN2,2,

~NR 3,2,

~NR NNR ,2,

~1,2,

~NNR

2,2, NNR

)(2, kc NN

NNNR ,2,

~1,2,

~ NNNR3,2,

~ NNNR

)(1, kc NN

NNNR ,1,

~1,1,

~ NNNR

)(1, kc NN

NNNR ,,

~)(, kc NN

"1" )(~ )0(2, kxN )(~ )0(

3, kxN )(~ )0(

, kx NN)(~ )0(

1, kx NN

)0(2,

~NNx

)(1, kcN )(1, kcN )(1, kcN )(1, kcN )(1, kcN )(1, kcN

)(1, ksN )(1, ksN )(1, ksN )(1, ksN )(1, ksN )(1, ksN

)(~ )1(2, kxN )(~ )1(

3, kxN )(~ )1(

2, kx NN

)(~ )1(1, kx NN

)(~ )1(

, kx NN

)(2, kcN )(2, kcN )(2, kcN )(2, kcN

)(2, ksN )(2, ksN )(2, ksN )(2, ksN2,2,

~NNR )(2, ksN

)()2( 3, kxN )()2(

2, kx NN

)()2(1, kx NN

)()2( , kx NN

)(~ )1( kN

)(~ )2( kN

)(~ )3( kNN

)()3(

2, kx NNN

)()3(

1, kx NNN

)()3(

, kx NNN

)(2, kc NN )(2, kc NN

)(~ )( kNN

)(~ )1( kNN

)(~ )2( kNN

)()2(

1, kx NNN

)()2(

, kx NNN

)()1(, kx NNN

)(kN

)(~ )0( kN

)(~ )1( kN

)(~ )2( kN

)(~ )3( kNN

)(~ )2( kNN

)(~ )( kNN

)(~ )1( kNN

)(~1, krN

)(~2, krN

)(~2, kr NN

)(~1, kr NN

)(~, kr NN

Обратное Обратное QR-QR-разложениеразложение

)(1, kaN

)(1, ka NN

)(, ka NN

)(2, kaN

)(3, kaN

)()0( kbN

)()1( kbN

)()2( kbN

)()4( kbN

)()2( kb NN

)()1( kb NN

)()( kb NN

)()0( 1, kuN

)()1( 1, kuN

)()2( 1, kuN

)()3( 1, kuN

)()2(1, ku N

N

)()1(1, ku N

N

)()(1, ku N

N

)()1( 2, kuN

)()2( 2, kuN

)()3( 2, kuN

)()2(2, ku N

N

)()1(2, ku N

N

)()(2, ku N

N

)()2( 3, kuN

)()3( 3, kuN

)()2(3, ku N

N

)()1(3, ku N

N

)()(3, ku N

N

)()2(2, ku N

NN

)()1(2, ku N

NN

)()(2, ku N

NN

)()2(1, ku N

NN

)()1(1, ku N

NN

)()(1, ku N

NN

)(kN )(kN

)(kN )(kN

)(kN )(kN

)()1(, ku NNN

)()(, ku NNN

)(1, kcN

)(1, ksN

)(2, kcN )(2, kcN

)(2, ksN )(2, ksN

)(3, kcN )(3, kcN )(3, kcN

)(3, ksN )(3, ksN )(3, ksN

)(, kc NN )(, kc NN )(, kc NN )(, kc NN )(, kc NN )(, kc NN )(, kc NN

)(, ks NN)(, ks NN )(, ks NN

)(, ks NN )(, ks NN

)(, ks NN )(, ks NN

)(1, kc NN )(1, kc NN )(1, kc NN )(1, kc NN )(1, kc NN

)(1, ks NN )(1, ks NN )(1, ks NN

)(1 kh )(2 kh )(3 kh )(khN)(1 khN )(2 khN

HNR1,1,

~

HNR

1,2,

~

HNR

1,3,

~

HNNR

1,1,

~

HNNR

1,,

~

HNR

2,2,

~

HNR

2,3,

~

HNNR

2,1,

~

HNNR

2,,

~

HNR

3,3,

~

HNNR

3,1,

~

HNNR

3,,

~ HNNNR

,,

~HNNNR

1,,

~HNNNR

2,,

~

HNNNR

2,1,

~ HNNNR

1,1,

~

)(kN

Прямое Прямое QR-QR-разложениеразложение


LMS LMS или или RLS RLS ??

Весовые Весовые коэффициентыкоэффициентыLMS-LMS-алгоритма алгоритма ((зеленые кривые)зеленые кривые)

Весовые Весовые коэффициентыкоэффициентыRLS-RLS-алгоритма алгоритма (зеленые кривые)(зеленые кривые)

Обучающие кривые:Обучающие кривые:1, 2 1, 2 –– LMS, 3 - RLSLMS, 3 - RLS

За и против:За и против:

LMS-LMS-алгоритм – линейная вычислительная сложность, зависимость длительности алгоритм – линейная вычислительная сложность, зависимость длительности переходного процесса и остаточной ошибки в установившемся состоянии от шага переходного процесса и остаточной ошибки в установившемся состоянии от шага сходимостисходимости

RLS-RLS-алгоритм – квадратичная или линейная вычислительная сложность, быстрая алгоритм – квадратичная или линейная вычислительная сложность, быстрая сходимость, отсутствие шага сходимости и дополнительной остаточной ошибки в сходимость, отсутствие шага сходимости и дополнительной остаточной ошибки в установившемся состоянииустановившемся состоянии

0 50 100 150 200 250 300 350 400

1

1.2

1.4

1.6

1.8

2

2.2


1

2

3

0 50 100 150 200 250 300 350 4000

0.5

1

1.5


h 1

0 50 100 150 200 250 300 350 400-1

-0.5

0

0.5


h 2

0 50 100 150 200 250 300 350 4000

0.5

1

1.5


h 1

0 50 100 150 200 250 300 350 400-1

-0.5

0

0.5

k, номер итерацииh 2


LMS LMS или или RLS RLS ??

Обучающие кривые:Обучающие кривые:1, 2 1, 2 –– LMS, 3LMS, 3, 4, 4 - RLS - RLS

За и против:За и против:

LMS-LMS-алгоритм – зависимость длительности алгоритм – зависимость длительности переходного процесса и остаточной ошибки в переходного процесса и остаточной ошибки в установившемся состоянии от соотношения установившемся состоянии от соотношения собственных чисел корреляционной матрицы собственных чисел корреляционной матрицы входного сигнала адаптивного фильтравходного сигнала адаптивного фильтра

RLS-RLS-алгоритм – независимость длительности алгоритм – независимость длительности переходного процесса и остаточной ошибки в переходного процесса и остаточной ошибки в установившемся состоянии от соотношения установившемся состоянии от соотношения собственных чисел корреляционной матрицы собственных чисел корреляционной матрицы входного сигнала адаптивного фильтравходного сигнала адаптивного фильтра

0 50 100 150 200 250 300 350 400

1

1.2

1.4

1.6

1.8

2

2.2


1

2

3, 4

300 320 340 360 380 4000.99

1

1.01

1.02

1.03

1.04

1.05


1 2

3, 4


Можно ли уменьшить сложность Можно ли уменьшить сложность RLSRLS-алгоритмов ?-алгоритмов ?

)(

)(

)1(

)()(1 Nkx

k

k

kxk N

NN

x

xxИнвариантностьИнвариантность

к сдвигу:к сдвигу:

КорреляционнаяКорреляционнаяматрица:матрица:

КорреляционнаяКорреляционнаяматрица:матрица:

)1()(

)()()()()(

2

1111

kk

kkiik

NfN

fHN

fk

i

HNN

ikN

Rr

rxxR

)()(

)()()()()(

21

111kk

kkiik

bbHN

bNN

k

i

HNN

ikN

r

rRxxR

)()()()1(

0)()()( 1

1

min,111 kekkEk

kkk fNN

fN

NNNN

ag

xRg

)()()(0

)()()()( 1

1

min,111 kekkEk

kkk bNN

bN

NNNN

b

gxRg

)()()( 1 kkk NNN xRg ВекторыВекторыкоэффициентов коэффициентов Калмана:Калмана:

||------------------------------------------------------------ ||

||---------------------------------------------------- ||

Лемма об обращении Лемма об обращении клеточныхклеточных матрицматриц

)()()1()( kkkk NNNN ghh

Вектор весовыхВектор весовыхкоэффициентов:коэффициентов:


Лемма об обращении клеточных матрицЛемма об обращении клеточных матриц


11111111

11111

1

)()(

)()(

CBCBBCABCBBCABC

BCBBCABBCA

CB

BA

HHHH

HH

H

.)()(

)()(11111

11111111

1

BABCABBABC

BABCBAABBABCBAA

CB

BA

HHH

HHH

H

)1()(

)()()()()(

2

1111

kk

kkiik

NfN

fHN

fk

i

HNN

ikN

Rr

rxxR

)()(

)()()()()(

21

111kk

kkiik

bbHN

bNN

k

i

HNN

ikN

r

rRxxR

||||||||------------------------------------------------------------------------------------------------------------------------------------------------------------------------

||||||||------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Лестничные Лестничные RLS-RLS-алгоритмыалгоритмы

1z

)1(1 kf

)1(1 kb

)(kd

)(kx

)1(1 k )1(2 k

)(0 kb

)(0 kf )(1 k

f

)(1 kb

)(1 k)(2 k

1z

)1(1 kfN

)1(1 kbN

)1(1 kN )1( kN

)(2 kbN

)(2 kfN )(1 k

fN

)(1 kbN

)(1 kN )(kN

)(2 kN )(0 k

1z

)(1 kf

)(1 kb

)(kd

)(kx

)(1 k )(2 k

)(0 keb

)(0 ke f )(1 ke f

)(1 keb

)(1 ke )(2 ke

1z

)(1 kfN

)(1 kbN

)(1 kN

)(kN

)(2 kebN

)(2 ke fN )(1 ke fN

)(1 kebN

)(1 keN )(keN)(2 keN

)(0 ke

Адаптивный фильтр на основе Адаптивный фильтр на основе априорных ошибок:априорных ошибок:

Адаптивный фильтр на Адаптивный фильтр на основе апостериорных основе апостериорных ошибок:ошибок:


Одинаковые или разные Одинаковые или разные RLS-RLS-алгоритмы ?алгоритмы ?


0 1000 2000 3000 4000 5000

0

50

100

150

200

Номер итерации, k

ER

LE, д

Б

1 2 3,4 5

6 7 8 9

1 – 1 – QR RLS with square rootsQR RLS with square roots; ; 2 – 2 – a priori and a posteriori lattice RLSa priori and a posteriori lattice RLS; ; 3 – 3 – RLSRLS-алгоритм; 4 –-алгоритм; 4 – square square root free QR RLS root free QR RLS ; ; 5 – 5 – FKFK; ; 6 – 6 – SNRSNR=30 =30 dBdB; ; 7 – 7 – SNRSNR=40 =40 dBdB;; 8 8 – – SNRSNR=50 =50 dBdB; ; 9 – 9 – SNRSNR=60 =60 dBdB

Как фильтровать нестационарные сигналы ?Как фильтровать нестационарные сигналы ?

Скользящее окно:Скользящее окно:

Возрастающее окно:Возрастающее окно:

)()()1(

)()()(1

kkk

iik

HNNN

k

i

HNN

ikN

xxR

xxR

)()(

)()()1(

)()()(1

LkLk

kkk

iik

HNN

HNNN

k

Lki

HNN

ikN

xx

xxR

xxR

N

5.01min

)(iNik x

i1k0

12 Lk

2k

L

L

kLki ,,1

Lk 1

Lk 2

1 2

)(iNik x

i2k0 1

ki ,,1

1k


Можно ли распараллелить вычисления ? Можно ли распараллелить вычисления ?

Весовые коэффициенты

Вычисления, зависящие от

)( LkN p

)( LkN x

)(k

Np

)(

Lk

N

p

)(kNx

)(kNp

)(k

Nx

)(

Lk

N

x

Вы

чи

слен

ия

, зав

ися

щи

е о

т)(kNh )(kNh




Весовые коэффициенты

Вы

чи

слен

ия

, зав

ися

щи

е о

т

Вы

чи

слен

ия

, зав

ися

щи

е о

т

Вы

чи

слен

ия

, зав

ися

щи

е о

т

Последовательные вычисленияПоследовательные вычисления Параллельные вычисления Параллельные вычисления


Что дают скользящее окно и регуляризация ?Что дают скользящее окно и регуляризация ?

0 1 2 3 4 5

x 104

0

10

20

30

40

50


ER

LE, д

Б

1

2

0 1 2 3 4 5

x 104

0

10

20

30

40

50


ER

LE, д

Б

2

1

1 – возрастающее окно 1 – возрастающее окно

2– скользящее окно 2– скользящее окно

1 – скользящее окно и регуляризация1 – скользящее окно и регуляризация

2– скользящее окно 2– скользящее окно


Какие бывают адаптивные алгоритмы ?Какие бывают адаптивные алгоритмы ?

Винеровская фильтрация

Метод НьютонаМетод наискорей-

шего спускаМетод наименьших

квадратов

LMSNLMS

Аффинных проекций

RLS на основе MIL

RLS на основе QR-разложения

Быстрый аффинных проекций

Быстрые RLS (FRLS)

Линейно-ограничен-ные NLMS

Линейно-ограничен-ные АР

Линейно-ограничен-ные FAP

Линейно-ограничен-ные LMS

Линейно-ограничен-ные RLS и FRLS

Лестничные RLS

Разновидности алгоритмов адаптивной фильтрацииРазновидности алгоритмов адаптивной фильтрации


Действительно ли применяются АФ? Действительно ли применяются АФ?

Да!Да!Адаптивная антенная решеткаАдаптивная антенная решетка

DSLDSL-модем-модем (электрический эхокомпенсатор, (электрический эхокомпенсатор,

эквалайзер)эквалайзер)

Конференц-связьКонференц-связь (акустический эхокомпенсатор)(акустический эхокомпенсатор)

Модем канала ТЧМодем канала ТЧ(электрический эхокомпенсатор, (электрический эхокомпенсатор,

эквалайзер)эквалайзер)

Вэб-камера Вэб-камера (шумоочистка речи)(шумоочистка речи)

Жесткий накопитель Жесткий накопитель (эквалайзер в канале (эквалайзер в канале считывания данных)считывания данных)


Адаптивные фильтры: что сделал автор ? Адаптивные фильтры: что сделал автор ?

Модели адаптивных фильтровМодели адаптивных фильтров((~~400 шт.) на языке 400 шт.) на языке MATLABMATLAB

Платформа «Мультикор»: Платформа «Мультикор»: прикладная библиотекаприкладная библиотека

Анализатор Анализатор AnCom AAnCom A-7: -7: непрерывный рефлектометрнепрерывный рефлектометр

ЭхокомпенсаторЭхокомпенсатор ЭквалайзерЭквалайзер Антенные решеткиАнтенные решетки

на языке графического программирования на языке графического программирования LabVIEWLabVIEW


Как научиться адаптивной обработке сигналов ?Как научиться адаптивной обработке сигналов ?

По книгам на английском языкеПо книгам на английском языке

По книгам на русском языкеПо книгам на русском языке

И (или) по первоисточникам, которых по разным оценкам не менее И (или) по первоисточникам, которых по разным оценкам не менее 10 000 10 000 на сегодняшний день…..на сегодняшний день…..


Книга, Книга, которую которую когда-когда-нибудь и я нибудь и я напишу ???напишу ???

СпасибоСпасибо!!

ВопросыВопросы??Эл. почта: Эл. почта: [email protected]@elvees.com

Тел.: Тел.: +7-905-589-0703+7-905-589-0703

ЗеленоградЗеленоград, , МоскваМосква, , РоссияРоссия


http://www.dspa.ruhttp://www.dspa.ru

http://www.rntores.ruhttp://www.rntores.ru

DSPA-201DSPA-201331155-я Международная Конференция-я Международная Конференция

«ЦИФРОВАЯ ОБРАБОТКА СИГНАЛОВ И ЕЁ ПРИМЕНЕНИЕ»«ЦИФРОВАЯ ОБРАБОТКА СИГНАЛОВ И ЕЁ ПРИМЕНЕНИЕ»конец марта – начало апреля 201конец марта – начало апреля 20133 г г., ., Москва, РоссияМосква, Россия



10th IEEE EAST-WEST DESIGN & TEST SYMPOSIUM (EWDTS 2012)

Signal and Information Processing in Radio and Communication Engineering

14-17 сентября 2012, Харьков, Украина,

http://www.ewdtest.com/conf

[email protected]

НТК МЭС-2012 , Москва , Россия , 08-12.10.20 1 2 1

Documents