第三章 自适应滤波器
DESCRIPTION
第三章 自适应滤波器. 前面讨论了 Wiener 滤波和 Kalman 滤波, Wiener 滤波器的参数是固定的,仅适用于平稳随机信号; Kalman 滤波器参数是时变的,适用于非平稳和平稳随机信号。要设计这两种滤波器,必须对信号和噪声的统计特性有先验知识。在实际中,常常无法预先知道这些统计特性,或者它们是随时间变化的,从而不能用 Wiener 滤波方法实现最优滤波。. - PowerPoint PPT PresentationTRANSCRIPT
1
第三章 自适应滤波器
2
前面讨论了 Wiener 滤波和 Kalman 滤波, Wiener 滤波器的参数是固定的,仅适用于平稳随机信号; Kalman 滤波器参数是时变的,适用于非平稳和平稳随机信号。要设计这两种滤波器,必须对信号和噪声的统计特性有先验知识。在实际中,常常无法预先知道这些统计特性,或者它们是随时间变化的,从而不能用 Wiener 滤波方法实现最优滤波。
3
自适应滤波器可以自动调节自身的参数,而在设计时只需要很少的、或者根本不需要任何关于信号和噪声的先验统计知识,这种滤波器的实现几乎像Wiener 滤波器那样简单,而性能几乎如 Kalman
滤波器一样好。因此在信号和噪声的先验知识不完全知道的情况下,只有使用自适应滤波器才能得到优越性能。
4
基于此,自从 1967年 B.Widrow 等人提出自适应滤波器以来,短短几十年间,自适应滤波器发展很快,现已广泛应用于系统模型识别、通信信道的自适应均衡、雷达与声纳的波束形成、心电图中的周期干扰的减少或消除、噪声中信号的检测、跟踪、增强及线性预测,电视接收机的自动增益控制、自动频率微调。
5
本章安排 :
⑴ 原理 ⑵ 的求
解 ⑶自适应对
消 ⑷自适应滤
波 ⑸其他应用
*W
6
应用举例
自适应滤波器的组成
自适应横向滤波器 自适应时域滤波 自适应格型滤波器自适应空域滤波 ( 自适应阵列 ) 最小二乘自适应滤波
可编程滤波器(滤波部分)自适应算法(控制部分)
7
1. 可以根据误差(或其他参数)的大小自动调整;
2. 采用 MMSE 误差准则,最终解是 Wiener 解;
3. 不需要任何关于信号和噪声的先验知识;
4. 适用于非平稳随机过程。
自适应滤波器的特点
8
1. 更新,权系数的更新公式
2. 收敛及收敛速率
自我调节 : 校正项;
误差大 , 调节量大;误差小 , 调节量小;误差足够
小 , 停止调节;
3. 最佳滤波,收敛后的权向量应等于最佳权向量。
1kwkw
三大要求
9
通信信道的自适应均衡;雷达与声纳的波束形成;减少或消除心电图中的周期干扰;噪声中信号的检测、跟踪、增强及线性预测。
应用
10
§3.2 自适应横向滤波器
11
基本原理
)()()(ˆ)()()()( nynsnsnsnyndne
min2 )]([ neE
12
FIR 网络:理论上可以绝对收敛到最小;IIR 网络: ( 全局最小点 ) 不止一个,一般选
用方程误差最小;本课程不涉及。
13
一、自适应线性组合器和自适应 FIR 滤波器
14
输入为 N 个不同的信号源
15
同一信号源延时后的输出
16
1. 矩阵表示式
17
1
0)()()()()(
N
mmnxmwnwnxny
令 1mi
jTjjj
Tjjjjj
TNjjjj
TNjjjj
jTjj
Tj
N
iijjij
XWdWXdyde
xxxX
wwwW
XWWXxwjyy
],,,[
],,,[
)(
21
21
1
18
2. 最小均方误差和最佳权系数
19
性能函数表面2 2 2
2
[ ] [( ) ] [( ) ]
[ ] 2 [ ] [ ]
Tj j j j j
T T Tj j j j j j j j
E e E d y E d X W
E d E d X W W E X X W
20
令 1 2[ ] [ , , , ]Tdx j j j j j j j NjR E d X E d x d x d x
jxxTjj
Tdxjj
NjNjjNjjNj
Njjjjjj
Njjjjjj
Tjjxx
WRWWRdEeE
xxxxxx
xxxxxx
xxxxxx
EXXER
2][][
][
22
21
22212
12111
21
输入信号自相关矩阵的特征值及其性质
22
1.R 的所有特征值是实的并且大于等于零;2. 对于不同特征值的特征向量相互正交;3. 特征向量矩阵 Q 可以归一化(正交
化),并满足 IQQT
23
性能函数是权系数的二次函数,存在极小值,如果信号是平稳的,并具有不变的统计特性,则性能函数的形状将保持不变,并且在它的坐标系中保持固定。自适应过程将从性能表面的某点出发,向下运动至最小点附近,最后停在那儿。
24
如果信号是非平稳的,并具有慢变化的统计特性,可将性能表面视为”模糊的”或起伏的,或在其坐标系中移动,这样自适应过程不仅要向下移动至最小点,而且当性能表面移动时,还要跟踪它的最小点。
25
输入自相关矩阵的特征向量确定了误差表面的主轴。
输入自相关矩阵的特征值给出了误差对它的主轴的二次函数。
26
令 2 2 2 2
1 2
[ ] [ ] [ ] [ ], , ,
T
j j j jj
j j j Nj
E e E e E e E e
W w w w
基于梯度法使性能函数到达它的最小点。
27
误差信号与轨入信号正交, Wiener 解。
jxxdxjTjjjjjjj
dxxxj
dxjxxjjj
WRRWXdXEeXEXeE
RRW
RWRXeE
)]([][][
022][2
1*
28
自适应横向滤波器的简化符号 :
AFjx jy
je
*2 2 * *min
2 *
2 *
[ ] [ ] 2 ( )
[ ]
[ ] ( )
j
T Txxj j dx j j
Tj dx j
Txxj j
E e E d R W W R W
E d R W
E d W R
29
ex: 一个单输入二维权向量的自适应滤波器 , 输入信号 和期望信号 分别为 : jx jd
)2
sin( jN
x j
)2
cos(2 jN
d j
求Wiener 滤波器的最佳权向量 min2 ][ jeE
30
解:
nN
njN
jNN
xdE
nN
njN
jNN
xxE
N
jnjj
N
jnjj
2sin)](
2sin[)
2cos(2
1][
2cos5.0)](
2sin[)
2sin(
1][
1
1
1,0n
31
21
21 1
1
1 1 2cos
2 21 2 1
cos2 2
20 sin
j jjxx
j j j
TT
xx j j j j
x x x NR Ex x x
N
R E d x d x nN
32
22
sin22
cos)(5.0
2
12cos
2
1
2cos
2
1
2
12
sin022
2][][
22122
2
121
2
1
22
Nw
Nwwww
w
w
N
Nwww
w
N
WRWWRdEeE
jj
xxTT
dxjj
33
则
2 2
2 2 2 2
1 2
* 1
[ ] [ ] 2
[ ] [ ] [ ] [ ], , ,
2 2 0
T Tj j
j j j jj
N
E e E d P W W R W
E e E e E e E e
W w w w
P RW
W W R P
34
)()()]([)]([
)(][
)(2][][
min22
*2
***2min
2
optxxT
opt
Tj
TTjj
WWRWWneEneE
PWdE
WRWWPdEeE
35
例
36
其中 2
sinkx kN
,
KN
dk2
cos2
1
1
1 2 2[ ] [ (sin sin ( ))]
1 2cos 0,1
21 2 2
[ ] [ (2cos sin ( ))]
2sin 0,1
N
k k nk
N
k k nk
E x x k k nN N N
n nN
E d x k k nN N N
n nN
37
T
Tkkkk
kkk
kkk
NxdxdEP
N
Nxxx
xxxER
2sin0
2
12cos
2
1
2cos
2
1
2
1
1
211
12
38
0
1
0 1
0 1
2 2
1 1 20cos
2 22 2 21 2 1 sin
cos2 2
2cos
0
2 2 0cos 2sin
RW P
wNw
NN
w wN
w wN N
39
0 1
22
22csc
2 22 2csc
T
T
ctgNw w w
N
ctgN N
40
代入 2
min[ ] 0jW E e N
ww
wwN
wkN
E
xxEwwxEwxEw
wxdwxdEdE
xwxwdEeE
kkkk
kkkkk
kkkj
2cos
)(2
12sin2]
2cos4[
][2][][
][2][
])[(][
10
21
201
2
1102
121
220
1102
2110
2
41
二.性能函数的表示式及其几何意义
42
2 2
2 2 * 2 *min
2 2 *min
2 * * *min
*
2 *min
[ ] [ ] 2
[ ] [ ] [ ] ( )
[ ] [ ] ( ) 2
[ ] ( ) ( )
[ ] [( )
T Tj j dx j j xx j
T Tj j dx j j j dx
T T Tj j j dx dx j j xx j
T Tj j xx j j xx j
T Tj xx j xx
Tj
E e E d R W W R W
E e E d R W E d W R
E e E e W R R W W R W
E e W R W W R W
W R W W R W
E e W
*
2 * *min
] [ ]
[ ] [ ] [ ]
Txx
Tj j j xx j j
W R W W
E e W W R W W
43
令
xxR 是实对称矩阵
①
TxxR Q Q ②
jxx
Tjjj
njjjjj
VRVeEeE
vvvWWV
min22
21*
][][
44
其中 是单位正交矩阵 Q
IQQQQT 1
是由 的特征值所构成的对角阵 xxR
1xxQ R Q
45
将②式代入①式
2min
2
min22
][
][][
)()( jT
jj
jTT
jjj
VVeE
VQQVeEeE
其中
'
1min
2min
2
'
][][ jj
N
jjj
T
veEeE
VQV
③
46
三、最陡下降法
47
][ 2jeE
0 j
jxxTjj
Tdxjj
jT
jj
WRWWRdEeE
XWde
2][][ 22
48
自适应过程是连续地调节 ,去寻求碗的底部W
1j j jW W
:调整步长的常数 , 它控制系统的稳定性和自适应的收敛速度
49
1.递推公式
①*
1
2]2[
][2
22
WRWRI
WRRWW
WRR
xxjxx
jxxdxjj
jxxdxj
50
① 式两边同时减去 W
**1 ]2[]2[ WIRWRIWW xxjxxj
令
jjj VQWWV * 则
②jxxj
jj
VRIV
VQV
]2[1
1'
51
将 正交分解 xxR
②式两边同时乘以 得 1Q
'11
1 2 jxxj vQRIQvQ
' '1 2j jv I v ③
jjjj
xx
Txx
vQvvQv
QRQ
QQQQR
1''
1
1
52
设初始状态为 ,将③式反复迭代 0v
' '0
' 10
* * 10
* 1 *0
2
2
2
[ 2 ] [ ]
j
j
j
j
jj j j
j
v I v
v Q I Q v
W W v W Q v I Q v
W Q I Q W W
53
2 、收敛条件
当迭代次数 时,只有 j
0]2[lim
j
j
I
才能满足收敛
121 j Nj .........,.........2,1
54
max
10
55
3 、过渡过程
56
01 权向量的过渡过程
'0
' 2 vIv jj
第 i 个方程 '0
' 21 jj
jji Vv
令 iej1
21
Ni ,......2,1
1
ln 1 2ii
Ni ,......2,1
57
当 取值很小时
ii
2
1 Ni ,......2,1
'0
'0
' 2 veQvIQvQv i
jj
jj
58
' '0
'0
'11 12 1 01
'21 21 2 02
'1 1 0
'0
1
[ 2 ]
j
j
j
jji ji j j
j
j
Nj
N
N N NN N
jN
jk kk
v Q v Q I v
Q e v
q q q v
q q q ve
q q q v
q v e
59
N
k
j
kjkiji
ijiji
ievqww
wwv
1
'0
*
*
60
02 性能函数的过渡过程
j
iimse
N
i
j
jijj
N
ijijjj
ieveE
veEeE
4
1
2
)(][
)(][][
1
2
2'min
2
1
2'min
22
61
四、 LMS 算法
62
1 、权值计算
①
②
③ jjjj
jjj
jT
jj
N
jjjjj
XeWW
xe
XWde
w
e
w
e
w
ee
2
2ˆ
2
2
2
2
2
2][ˆ
1
2
2
2
1
22
63
用 FIR 滤波器实现,第 j 个权系数的计算公式
∴梯度估计值是无偏的,梯度的估计量在理想梯度 附近随机变化,权系数也在理想情况下的权轨迹附近随机变化。
j
jjjj
ijijij
xeEE
Nixeww
][2]ˆ[
,2,12 ,,,1
64
2、 LMS 算法加权向量的过渡过程
1 2 Tj j j j j jW W d X W X
点积满足交换律
1 2 Tj j j j j jW W X d X W ①
若认为 与 不相关 , 与 不相关jw jx jx 1jx
关联性很小 需要经过若干步 jj wx 1
65
*
1
2][)2(
])[(2][
][][2][
]2[][
jxxjxx
jxxdxj
jTjjjjj
jjjj
WRWERI
WERRWE
WXXEXdEWE
XeWEWE
66
同理 j j jV W W
][]2[
][]2[
][][
][][
01
111
*
VERI
VERI
WWEVE
WWEVE
jxx
jxx
jjj
jjj
67
max
*0
1
0
10
][]2[
2
x
WWEQIQ
VERIWE
j
jxxj
68
max
max
10
][)(][
x
R
Rtt rr
的对角元素
的对角元素
69
横向滤波器, 2jr xENRt
2
10
jxEN
70
通常取
第 i 个分量
iii
ij
iji
j
Ln
vvE
xEN
2
1
)21(
1
)21(][
][
10
'0
2
71
3、 LMS 算法性能函数的过渡过程
式子加上并减去 Tj jX W
Tj j j j j je d y d X W
* *
,
( ) ( )T Tj j j j j
Topt j j j
d X W X W W
e X V
72
]2[
])[(][
,2
,
2,
2
jjjjjjjoptjopt
jTjjoptj
VXXVVXeeE
VXeEeE
TTT
设 与 不相关, 变化很小, jX jV jV
j jE V V
N
i
jijj
jT
jj
jxxjj
vEeE
VEVEeE
VERVEeE T
1
2min
min
min
])[(][
][][][
][][][
'2
''2
2
73
同理,
i
imse
N
i
j
iijjieveEeE
4
1
2
][][][1
22'
0min22
74
4 、稳态误差和失调系数
75
1 2j j j jW W e X
失调系数
N : 滤波器的阶数
inp :输入信号功率 :控制步长因子
提高收敛速度,失调系数要增加,因此要求适中
in
N
ii
xxr
pN
RtM
1
min
min ][
76
书中图: N=5 输入为:信号 +白噪声 一条样本学习曲线 150条个别曲线平均
77
五 . 牛顿法梯度搜索
78
)( 1f
)( 0f
01
)(f
10
00
' )()(
f
f
)(
)('1
k
kkkf
f
79
1. 对于单变量性能表面
)(
)(
)()(..
1k
kkk w
www
wwfei
80
2. 对于多权的多变量情况 dxxx RwR 22
上式两边左乘 1
2
1 R
引入调整因子 11k kW W R
11
1*
*1
2
1
2
1
2
12
2
1
xxkk
dxxxxx
RWW
RWW
WWRRWR
81
3.学习曲线
82
时间常数 i
4
1
因此其学习曲线为单一时间常数的指数函数曲线
N
i
k
jj
To
k
T
ievx
VRV
RVV
1
2
2'min
02
min
min
)(
)21(
83
牛顿法比最陡下降法收敛的更迅速。因为牛顿法使用了 R 矩阵信息。从而在误差表面上找到直接到达 的路径。因而牛顿法收敛的更快
min
4.与最陡下降法的比较
84
六、 LMS 自适应滤波——时域
85
1. Widrow ——Hoff LMS 算法
)()(2)()1( nxnenwnw
86
将原型滤波器(长度为 N )分解成长度为
的两个子滤波器。自适应算法分别应用于两个子
滤波器,在保证算法收敛的基础上,该算法的步
长因子的范围要比普通的 LMS 算法大,而 BLMS
算法的步长因子的范围比普通的 LMS 算法小。
2N
2. 并行 LMS 算法 .BLMS 算法 .
87
减小步长因子可以减小自适应滤波的稳态失调噪声。提高算法的收敛精度。然而步长因子的减小将降低算法的收敛速度和跟踪速度。因此固定步长的自适应算法在收敛速度,时变系统跟踪速度与收敛精度方面对算法调整步长因子的要求是相互矛盾的。为了克服这个矛盾,人们提出了许多变步长自适应滤波算法。
3. 变步长 LMS 算法
88
1>.步长因子随迭代次数 N 的增加而逐渐减小。2>.步长因子正比于误差信号 的大小。3>. 在初始时间段或未知系统参数发生变化时,步长应比较大,以便有较快的收敛速度和对时变系统的跟踪速度;而在算法收敛后,不管主输入端干扰信号有多大,都应保持很小的调整步长。以达到很小的稳态失调噪声。
)(ne
89
变换域的自适应LMS 滤波器
90
思想:将输入向量
)(nx正交变换w )(nv 自适应滤波
这里 具有较小的动态谱范围。 nv
)(nv )(nB )(ny
)()()( nBnvny T
用复域 LMS 算法递推的修正变换域全向量。
91
)()(2)()1( 1 nvnenBnB
为自适应步长。 为 对角阵。其第 个元素等于 的功率估计 。 为控制自适应步长。功能上等价于将角变换分量的功率在加权前规范化(归一化)为1。这于对输入信号预自化,减小特征值分散度具有相同的作用。从而使得权向量更快的收敛。
NN ii, )(nvi)]([ 2 nvE i
1
92
当输入的自相关矩阵 正定时,矩阵 的逆 存在。 的收敛速度取决于特征值的分散度。
优点: 通过对输入信号进行某种形式的正交变换,
可以减小输入自相关矩阵特征值的分散度,从而得到比时域算法 更好的收敛性能。
DFT, DCT 域滤波是广泛应用的变换域自适应滤波方式。
xxR )(nB
vvR 1
93
小波变换域中的自适应滤波
94
对于输入信号的时变特征,正弦的加权和 (DFT
或 DCT) 形式往往不能很好的重现。 这一问题可以通过离散小波变换 (DWT) 得到解决。在 DWT 中,信号通过一个小波的膨胀和平移的加权和重构,在时域空间同时具有局部化特征,而且分辨分 析提供了构造 空间的小波正交基的方法。
)(2 RL
95
这些小波基可根据不同的尺度参数归类于互不相交的子集,以生成合适的正交子空间。从而能在不同分辨水平上重现信号。
小波变换用于自适应滤波类似于 DFT
域的自适应滤波。但却具有所有小波分析优于 Fourier 分析的优点。
96
变换域自适应滤波比时域 TDL 滤波器具有较快的收敛速率,而 DWT 域自适应滤波的收敛性能最好,因此 DWT 域自适应滤波方法具有广阔的应用前景,是未来自适应滤波发展的方向。
97
1>. 不同形式的小波滤波器的滤波效果的研究。2>.DWT 自适应滤波器在时变信号滤波方面的
应用方法研究。
研究课题
98
3>.目前大多数 DWT域 LMS 算法都是基于 DWT
域自相关矩阵是近似对角的假设,而这一假设一般很难满足。因此这些算法的性能与基于近似对角化自相关矩阵的其他变换域 LMS 算法性能相似。为了获得更好的收敛性能。必须突破这一添设研究更具鲁棒性的 DWT 域自适应滤波算法。
研究课题