2 1 第2章-信源的数学模型和分类
TRANSCRIPT
1
HUST FurongWang --- Information and Coding Theory
第第 22 章 信源熵章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理
2
HUST FurongWang --- Information and Coding Theory
信源的数学模型及其分类 通信的根本问题是将信源的输出在接收端尽可能精
确地复现出来,所以需要讨论如何描述信源的输出如何描述信源的输出,即如何计算信源产生的信息量如何计算信源产生的信息量。
信源的数学模型 信源概念、数学模型 离散信源和连续信源
信源的分类 记忆性:有记忆和无记忆信源 有记忆信源:马尔可夫信源
3
HUST FurongWang --- Information and Coding Theory
信源的概念 信源-信息的发源地,如人、生物、机器等等。 由于信息是十分抽象的东西,所以要通过信息载荷
者,即消息来研究信源,这样信源的具体输出称作消息。
消息的形式可以是离散消息(如汉字、符号、字母)或连续消息(如图像、语音)
信源消息中的信息是一个时变的不可预知的函数,因此,描述信源消息或对信源建模,随机过程是一个有效的工具,随机过程的特性依赖于信源的特性。
4
HUST FurongWang --- Information and Coding Theory
信源输出的描述 信源发出消息,消息载荷信息,具有不确定性,所
以可用随机变量随机变量或随机序列(矢量)随机序列(矢量)来描述信源输出的消息,或者说用概率空间来描述信源。
离散信源:信源输出的消息常常是以一个个符号的形式出现,例如文字、字母等,这些符号的取值是有限的或可数的。 离散信源只涉及一个随机事件,称为单符号离散信源,
可用离散随机变量来描述; 若离散信源涉及多个随机事件,称为多符号离散信源,
可用离散随机矢量来描述。 连续信源:输出连续消息的信源。
5
HUST FurongWang --- Information and Coding Theory
离散信源和连续信源
信源的输出被抽象为一个随机变量序列(随机过程)。 连续信源:如果信源输出的随机变量取值于某一连
续区间,为连续信号,消息的个数是无穷值,就叫做连续信源。 比如人发出的语音信号 X(t) 、模拟的电信号等等
离散信源:如果信源输出的随机变量取值于某一离散符号集合,消息在时间和幅值上均是离散的,就叫做离散信源。 比如平面图像 X(x , y) 和电报、书信、文稿等等
信源 X1, X2, X3, ……
A 为 {a1, a2, a3, …am} 或 (a,b)
6
HUST FurongWang --- Information and Coding Theory
信源的数学模型 可以用随机变量或随机矢量来描述信源的输
出消息,用概率空间来描述信源,即信源就是一个概率场,其数学模型可表示为:
1 2
1 2
1
...
( ) ( ) ... ( )
p( ) 0 1 2 ...
( ) 1
n
n
i
n
ii
x x xX
p x p x p xP
x i
p x
其中, ,,,n
即信源的概率空间是完备的。
7
HUST FurongWang --- Information and Coding Theory
信源的数学模型
1 2
1 2
1
b
a
...X
( ) ( ) ... ( )
( ) ( ) 1,2,...,
( ) 0, ( ) 1
X ( , )
( )
( ) X
( , ) X ( ) 0 ( ) 1
n
n
i i
n
i ii
x x x
p x p x p xP
p x P X x i n
p x p x
a b
P p x
p x
a b p x p x dx
其中
且
其中 为连续随机变量 的概率密度函数,
为 的存在域,且
离散信源的数学模型:
连续信源 模型:
,
的数学
8
HUST FurongWang --- Information and Coding Theory
单 / 多符号信源 单符号信源:信源输出的是单个消息符号,用一维
离散或连续随机变量 X 及其概率分布 P 来描述。 多符号信源:信源输出的是多个消息符号,用 N 维
随机矢量, N 重离散概率空间的数学模型来描述。 如自然语言信源就是把人类的语言作为信源,以汉字为
例,就是随机地发出一串汉字序列。 我们可以把这样信源输出的消息视为时间上或空间上离
散的随机变量序列,即随机矢量。 于是,信源的输出可用 N 维随机矢量 (Xk,k=1,2,...,N) 来
描述, N 一般为有限正整数。
9
HUST FurongWang --- Information and Coding Theory
多符号信源的数学模型— N 重离散概率空间
1 2
1 2
1
1 2
N1 2
2
...
( ) ( ) ... ( )
, ,..., 1, 2,...,
( , ,..., ) 1,2,...,
, 1, 2,..., ; 1, 2,
{ ,
..
1, 2,3,
.,
..., }
, ,.. , 1.,
N
N
k
n
n
k n
Ni
k
i i iN
Ni
jN
a a a
p a p a p aP
X A x x x k N
a x x x A i n
A x i n k N
X
aX j
k N
X X
X
X x
X
其中 为随机序列
=
可见,随机序列 的取值
N
N
, 2,...,
, 1, 2,...,i
n
N
A x i n
的个数n ,取决于序列长度 和符号集 的符号个数n。
10
HUST FurongWang --- Information and Coding Theory
信源的分类对信源的分类主要基于两方面的考虑: 一是信源消息取值的集合以及消息取值时刻的集合
由此可分为离散信源、连续信源 或 数字信源、模拟信源(波形信源)
二是信源消息的统计特性 由此可分为无记忆信源、有记忆信源、 平稳信源、非平稳信源、 高斯信源、马尔可夫信源等。
实际中经常是它们的组合 如离散无记忆信源等。
11
HUST FurongWang --- Information and Coding Theory
信源的分类—离散平稳信源
如果随机序列中各个变量具有相同的概率分布,则称为离散离散平稳信源平稳信源。
如果离散平稳信源的输出序列中各个变量是相互独立的,即前一个符号的出现不影响以后任何一个符号出现的概率,则称为离散无记忆平稳信源离散无记忆平稳信源,否则称为离散有记忆平稳信源离散有记忆平稳信源
信源 X1, X2, X3, ……
A 为 {a1, a2, a3, …am} 或 (a,b)
12
HUST FurongWang --- Information and Coding Theory
信源的分类—无记忆信源 如果信源发出的消息符号间彼此是统计独立的,并且它们具有
相同的概率分布,且 N 维随机矢量的联合概率分布为:
我们称之为离散无记忆信源离散无记忆信源。 同样,若 N 维随机矢量中 X 每个变量 Xk 是连续随机变量,且相
互独立,则 X 的联合概率密度函数
为 ,这种信源叫连续型无记忆信源连续型无记忆信源
1 1
( ) ( )
1,2,..., 1, 2,...,
k k
N N
k i ik k
p X p X a p
i n k N
N
k
kpXp1
)(
13
HUST FurongWang --- Information and Coding Theory
信源的分类—有记忆信源 通常情况下,信源发出的符号间是彼此相互
依存和关联的(如小说文字),是有记忆信源。通常用联合概率或条件概率来描述这种关联性。
按记忆长度划分有: 有限记忆信源(马尔可夫信源)
有限状态马尔可夫链 无限记忆信源
14
HUST FurongWang --- Information and Coding Theory
混合信源 按信源输出时间和取值划分: 时间连续,取值连续或随机的,称之为随机
波形信源,表示为 X(t) 。 输出既有连续分量又有离散分量,称之为混
合信源。
重点研究离散信源产生消息的不确定性,不研究信源的内部结构和消息的如何产生
15
HUST FurongWang --- Information and Coding Theory
信源的分类
( , )
( )
X a b
P p x
随机过程 {x(t)}:随机波形信源信源输出的消息是时间(或空间)上
和取值上都是连续的函数
离散无记忆信源的N次扩展信源:输出的平稳随机序列 X中各随机变量统计独立。
每个随机变量 xi 取值于同一概率空间。每N个符号构成一组,等效为一个新的信源
随机变量
离散信源:可能输出的消息数有限
连续信源:可能输出的消息数是无限的或不可数的
非平稳信源
平稳信源
连续连续平稳信源
离散离散平稳信源:输出的随机序列 X中每个随机变量取值是离散离散的,并且随机矢量 X的各维概率分布不随时间平移而改变
有限记忆信源:输出的平稳随机序列X中各随机变量之间有
依赖关系,但记忆长度有限
马尔可夫信源:输出的随机序列 X中各随机变量之间有依赖关系,但记忆长度有限,并满足马尔可夫链的条件式
随机序列
1 2
1 2
...
( ) ( ) ... ( )q
q
x x xX
p x p x p xP
16
HUST FurongWang --- Information and Coding Theory
第第 22 章 信源熵章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理
17
HUST FurongWang --- Information and Coding Theory
第 2 章 信源熵 2.1 单符号离散信源
2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 2.1.6 各种熵之间的关系
18
HUST FurongWang --- Information and Coding Theory
2.1.1 单符号离散信源的数学模型 定义:单符号离散信源的数学模型
1 2
n
1
1 2
1 2
( , ,... )
( ) 0 1,2,...,
( ) 1, ( ) 0 1,2,...,
...
( ) ( ) ... ( )
n
i
i ii
n
n
X x x x x
p x i n
p x p x i n
X
x x xX
p x p x p xP
设信源 输出符号集 ,n为消息符号个数,
每个符号发生的概率为 ,
消息符号彼此互不相关,且有
则称 为离散无记忆信源,可用下面的概率场来描述
19
HUST FurongWang --- Information and Coding Theory
第 2 章 信源熵 2.1 单符号离散信源
2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵
一、信息量一、信息量 11 、自信息量;、自信息量; 22 、联合自信息量;、联合自信息量; 33 、条件自信息量、条件自信息量
二、互信息量和条件互信息量 1 、互信息量; 2 、互信息的性质; 3 、条件互信息量
三、信源熵 1 、信源熵; 2 、条件熵; 3 、联合熵
2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 2.1.6 各种熵之间的关系
20
HUST FurongWang --- Information and Coding Theory
不确定性、惊讶度与信息量 在事件发生前有不确定性 在事件发生时有惊讶度 在事件发生后有信息量
当一个概率很低的随机事件发生,我们就会感到非常惊讶,并得到很大的信息量。 如: 9.11 事件,美国纽约世贸大厦被炸
21
HUST FurongWang --- Information and Coding Theory
从信息源获取信息的过程就是其不确定性缩减的过程
随机事件包含的信息与其不确定性紧密相关 在统计分析中,使用概率作为衡量不确定性
的一种指标。 可以推论出:随机事件包含信息的度量应是
其概率的函数。
自信息量
22
HUST FurongWang --- Information and Coding Theory
概率倒数的对数 例如,有一本 n页书,每页 200 字,作者使用的词汇有 1000
个字。那么, 1000 个字每次取 200 个字构成一页,其总排列组合数也就是一页书总的状态数共有 1000200=N1 ,对于 n页书,则不同状态数将增加到 N1
n ,即 Nn= N1n =[(1000)200] n = 1000200
n 假定每种状态是等概的,则 n页书中对应每一种状态的概率为
Pn=1/ Nn=1/ N1n = 1/1000200n
用概率倒数的对数来度量其不确定度,用概率倒数的对数来度量其不确定度,则为 log(1/Pn)= log(Nn)=nlog(N1)
记 1页( n页)书每种状态的不确定度为 H1 ( Hn) 则 Hn = log(1/Pn)= log(Nn)=nlog(N1)= nH1 = Hn 也就是说 nn 页书包含的信息量是页书包含的信息量是 11 页书包含信息量的页书包含信息量的 nn 倍倍。
23
HUST FurongWang --- Information and Coding Theory
自信息量定义 定义 2.1.1 任意随机事件的自信息量定义
为该事件发生概率的对数的负值。
自信息量的单位取决于对数选取的底。 单位:比特 bit、奈特 nat、哈特 Hart。
当对数的底取 2 时,单位为比特 bit 当以自然数 e为底时,单位为奈特 nat 当以 10 为底时,单位为哈特 hart
)(log)(
1log)( i
ii xp
xpxI
24
HUST FurongWang --- Information and Coding Theory
自信息量的单位 在现代数字通信系统中,一般采用二进制的
记数方式。在信息量的计算中也多采用以 2为底的方式,一般默认以 2 为底
三个信息单位比特 bit、奈特 nat、哈特 Hart之间的转换关系如下:
Hart 0.301bit 1bit 3.32210logHart 1
nat 0.693bit 1 bit 1.433elognat 1
2
2
111 110, 101, 100, 011, 010, 001, 000, :bits 3
83log2 2 sbsbs b ,则如:
25
HUST FurongWang --- Information and Coding Theory
对数及常用公式
b
xx
xx
xpx
yx
yxxy
c
cb
p
yx
log
log)(log
log)/1log(
0)1log(
log)log(
loglog)log(
loglog)log(
xy 10log
x 10y
xy blog
x by
Examples:
log2 32
log3 27
log5125
log10100
26
HUST FurongWang --- Information and Coding Theory
自信息量的性质是非负值,单调递减。自信息 )(log)( ii xpxI
2log x
0 1 x 0 1
)( ixI
ix
27
HUST FurongWang --- Information and Coding Theory
自信息量的性质
值得注意的是:
1 ( ) 1 ( ) 0
2 ( ) 0 ( )
( ) ( )
i i
i i
i i
p x I x
p x I x
I x p x
、当 时,、当 时,
3、 非负,是 的单调递减函数
它没有确定的值。随机变量,所以自信息量也是一个
的函数,是是一个随机量,而 iii xxIx )(
28
HUST FurongWang --- Information and Coding Theory
例 2.1.1 :自信息量 某地二月份天气的概率分布统计如下:
这四种气候的自信息量分别为:
可见不同天气情况具有不同的自信息量, 说明自信息量具有随机变量的性质
8
1 ,
8
1 ,
4
1 ,
2
1)( ),( ),( ),(
)(
4321 雪雨阴晴 xxxx
XP
X
. 3)( 3)( 2)( 1)( 4321 bitxIbitxIbitxIbitxI ,,,
29
HUST FurongWang --- Information and Coding Theory
联合自信息量 定义 2.1.2 二维联合集 XY上的元素( )
的联合自信息量定义为
式中 为积事件; 为元素 的二维联合概率。
当 X 和 Y相互独立时,
ji yx
)(log)( jiji yxpyxI )( ji yxpji yx ji yx
息量之和。自独立发生得到的自信等于这两个随机事件各的自信息量,独立时,同时发生得到说明两个随机事件相互
)()()(log)(log)(
)]()(log[)(log)(
jijiji
jijiji
yIxIypxpyxI
ypxpyxpyxI
30
HUST FurongWang --- Information and Coding Theory
条件自信息量 定义 2.1.3 联合集 XY中,对事件 和 ,事
件 在事件 给定的条件下的条件自信息量定义为
由于每个随机事件的条件概率都处于 0~ 1范围内,所以条件自信息量均为非负值。
)|(log)|( jiji yxpyxI
ixix jy
jy
31
HUST FurongWang --- Information and Coding Theory
几种自信息量之间的关系 自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性
三者都是随机变量,其值随着变量 xi, yj的变化而变化。
三者之间有如下关系式:
)|()( )|()(log)(
)|()( )|()(log)(
jijjijij
ijiijiji
yxIyIyxpypxyI
xyIxIxypxpyxI
32
HUST FurongWang --- Information and Coding Theory
例 2.1.2 :联合自信息量 设在一正方形棋盘上共有 64 个方格,如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置: 将方格按顺序编号,令乙猜测棋子所在方格的顺序号;
解:
比特
的自信息量为上的元素在二维联合集
,故二维概率分布函数为布。的位置为二维等概率分因此棋子在棋盘中所处格内,意地放在棋盘中某一方由于甲是将一粒棋子随
。将方格顺序编号:
,其中描述元素上的”置 可用联合集“如图所示棋子所在 位
62log64
1log)(log)(
64/1)(
64;...2;1
8,...,2,1,;8,...,2,1,,)(
6222
882111
jiji
ji
ji
jiji
yxpyxI
yxXY
yxp
yxyxyx
jyixyx
XY
x
y
33
HUST FurongWang --- Information and Coding Theory
例 2.1.3 :条件自信息量 设在一正方形棋盘上共有 64 个方格,如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置: 将方格按行和列编号,甲将棋子所在方格的行(或列)编号告诉乙之后,再令乙猜测棋子所在列(或行)的位置。
解:
比特同样,
比特
的条件自信息量为相对上,元素在二维联合集
,故函数同时,有二维概率分布
,,一维概率分布函数维等概率分布。的行(或列)位置为一因此棋子在棋盘中所处格内,意地放在棋盘中某一方由于甲是将一粒棋子随
。其中描述元素上的”置 可用联合集“如图所示棋子所在 位
3)|(log)|(
38/1
64/1log
)(
)(log)|(log)|(
64/1)(
8/1)(8/1)(
8,...,2,1,;8,...,2,1,,)(
2
222
ijij
j
jijiji
ji
ji
ji
jiji
xypxyI
yp
yxpyxpyxI
yxXY
yxp
ypxp
jyixyx
XY
x
y
34
HUST FurongWang --- Information and Coding Theory
第 2 章 信源熵 2.1 单符号离散信源
2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵
一、信息量 1 、自信息量; 2 、联合自信息量; 3 、条件自信息量
二、互信息量和条件互信息量二、互信息量和条件互信息量 11 、互信息量;、互信息量; 22 、互信息的性质;、互信息的性质; 33 、条件互信息量、条件互信息量
三、信源熵 1 、信源熵; 2 、条件熵; 3 、联合熵
2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 2.1.6 各种熵之间的关系
35
HUST FurongWang --- Information and Coding Theory
互信息量 设有两个离散的符号消息集合 X Y,
X 表示信源发出的符号消息集合 Y表示信宿接收的符号消息集合
每个符号消息相当于一个随机事件 信源发出符号消息通过信道传递给信宿
X 信道的输入消息; Y信道的输出消息
信源 信道 信宿X Y
简化的通信系统模型
36
HUST FurongWang --- Information and Coding Theory
集合 X Y的概率空间 信源 X 的概率空间为:
这里p(xi) ( i=1,2,3 等)是集合 X 中各个消息 x1 , x2 ,x3 …的概率分布,它又称为先验概率。
信源 Y的概率空间为:
这里p(yj) ( j=1,2,3 等)是集合 Y中各个消息 y1 , y2 ,y3 …出现的概率。
),(,),(),(
, , , ,
)(
21
21
i
i
xpxpxp
xxx
XP
X
),(,),(),(
,y , ,y ,
)(
21
21
j
j
ypypyp
y
YP
Y
37
HUST FurongWang --- Information and Coding Theory
收信者获得的信息量 当信宿接到集合 Y中的一个消息符号 后,
接收者重新估计关于信源的各个消息 发生的概率就变成条件概率 ,这种条件概率又称为后验概率。
收信者收到一个消息后,所获得的信息量等于收到消息前后不确定程度的减少量。
不确定程度减少的原因,是由于收到消息前后概率空间的概率分布改变所致。
jy
ix )( ji yxp
38
HUST FurongWang --- Information and Coding Theory
不确定程度的减少量 当接收到 yj后,重新估计 xi的发生。收信者从不确定到比较
确定或完全确定,依赖于所获得的信息量。可以直观地将它定义为: I( 信息量 )= 不确定程度的减少量
那么,当接收者收到 yj后,所获得的信息量为
收信者所获得的信息量随先验概率的增加而减小,随后验概率的增加而增加。
先验概率后验概率
后验概率先验概率
或写成
log1
log1
log
)(
1log
)(
1log
j
jii
j
I
yxpxpI
39
HUST FurongWang --- Information and Coding Theory
从通信系统总体观察 在通信前,可以认为输入随机变量 X 和输出随机变量 Y
之间没有任何关联关系,即 X 、 Y统计独立。根据概率的性质
在通信后,输入随机变量 X 和输出随机变量 Y之间由信道的统计特性相联系。
)()(
1log)(
)()()(
jiji
jijiji
ypxpyxI
ypxpyxpyx
有先验不确定度
,”的概率和输出端出现“输入端出现
)(
1log)(
)()()()()(
jiji
jijijiji
ji
yxpyxI
yxpypxypxpyxp
yx
有后验概率
”的联合概率和输出端出现“输入端出现
有后验不确定度
40
HUST FurongWang --- Information and Coding Theory
从通信系统总体观察 这样,通信后流经信道的信息量,等于通信
前后不确定度的差( ; ) ( ) ( )
1 1log log
( ) ( ) ( )
( ) ( / )=log log
( ) ( ) ( )
1 1 1=log log log
( ) ( ) ( )
( ; ) ( ) ( ) ( )
1,2, , ; 1, 2, ,
i j i j i j
i j i j
i j i j
i j i
i j i j
i j i j i j
I x y I x y I x y
p x p y p x y
p x y p x y
p x p y p x
p x p y p x y
I x y I x I y I x y
i n j m
其中
41
HUST FurongWang --- Information and Coding Theory
互信息量等于自信息量减去条件自信息量。
互信息为两个不确定度之差,是不确定度被消除的部分,代表已经确定的东西。实际是从 yj得到的关于 xi的信息量。即等于先验的不确定性减去尚存在的不确定性
同样道理,可定义 xi对 yj的互信息量为
),,2,1;,,2,1(
)( )()(
)(log);(
mjni
xyIyIyp
xypxyI ijj
j
ijij
互信息量:消除不确定性度量
)()()(log)(log);(
)(
1log
)(
1log);(
jiijiiji
jiiji
yxIxIyxpxpyxI
yxpxpyxI
42
HUST FurongWang --- Information and Coding Theory
互信息量 定义 2.1.4 对两个离散随机事件 X 和 Y,事
件 yj的出现给出关于事件 xi的信息量,定义为互信息量。其定义式为
互信息量的单位与自信息量的单位一样取决于对数的底。当对数底为 2 时,互信息量的单位为比特 bit。
)(
)(log);(
i
jiji xp
yxpyxI
43
HUST FurongWang --- Information and Coding Theory
例 2.1.4 :互信息量 继续讨论第一节的例题 2.1.1 ,即某地二月份天气构成的信源为
某一天有人告诉你:“今天不是晴天。”
8
1 ,
8
1 ,
4
1 ,
2
1)( ),( ),( ),(
)(
4321 雪雨阴晴 xxxx
XP
X
息量。与各种天气之间的互信可算出
。
成后验概率了。其中各种天气发生的概率变后,,当收到息把这句话当作收到的消
1
14131211
11
4
1)(,
4
1)(,
2
1)(,0)(
y
yxpyxpyxpyxp
yy
44
HUST FurongWang --- Information and Coding Theory
例 2.1.4 互信息量(续)
。的不确定度各减少了、、使也可以理解为消息
的信息量。各、、分别得到了这表明从。的互信息量、对同理可计算出
可计算出对天气
之间的互信息量。与不必再考虑,,因对天气
bitxxxy
bitxxxy
bityxIyxI
xxy
bitxp
yxpyxI
x
yx
yxIyxpx
1
1
)(1);();(
)(141
21log
)(
)(log);(
,0);(0)(
4321
4321
1413
431
22
12
2
12
2
11
11111
45
HUST FurongWang --- Information and Coding Theory
互信息量的性质 1. 互信息量的互易性 2. 互信息量可为零 3. 互信息量可正可负 4. 任何两个事件之间的互信息量不可能大于
其中的任一事件的自信息量
46
HUST FurongWang --- Information and Coding Theory
互信息量的性质: 1 、互易性 互信息量的互易性可表示为:此性质的意义是: 事件 提供的有关于事件 的信息量等于由事件 提供的关于事件 信息量
证明:
);();( ijji xyIyxI
jyixixjy
);()(
)|(log
)(
)(/)(log
)()(
)()|(log
)(
)|(log);(
ijj
ij
j
iji
ji
jji
i
jiji
xyIyp
xyp
yp
xpyxp
ypxp
ypyxp
xp
yxpyxI
由互信息的定义:
47
HUST FurongWang --- Information and Coding Theory
互信息量的性质: 2 、可为零 当事件 , 统计独立时,互信息量为零。
这表示不能从观测 获得关于另一个事件 的任何信息。反之亦然。
证明
此性质的意义是:当两个事件统计独立时,其相互信息量为零,这也就是说不能从观测一个事件中获得有关另一个事件的任何信息。
jy ix
ix jy0);( ji yxI
01log)()(
)(log
)(
)|(log);(
)()()(,
ji
ji
i
jiji
jijiji
ypxp
yxp
xp
yxpyxI
ypxpyxpyx
于是:
统计独立,故有由于
48
HUST FurongWang --- Information and Coding Theory
互信息量的性质: 3 、可正可负 在给定观测数据 的条件下,事件 出现的概率
称为后验概率 当后验概率 大于先验概率 时,互信息量
大于零,为正值; 互信息量为正,意味着事件 的出现有助于肯定事件
的出现; 当后验概率小于先验概率时,互信息量为负值。
互信息量为负是不利的。造成不利的原因是由于信道干扰引起的。由于干扰,使估计变得更加困难,即,不确定性增加了。
);( ji yxIjy
ix
)( ji yxp
jy
ix
)( ixp
)( ji yxp
49
HUST FurongWang --- Information and Coding Theory
互信息量的性质: 4 性质 4 :任何两个事件之间的互信息量不可
能大于其中的任一事件的自信息量
的最大信息量。件所能提供的关于事件息量,也是任何其它事的出现所必须提供的信是为了确定事件这说明自信息量
,故 同理,因
,所以 一般,
量为 证明: 由于互信息
i
ii
jj
ijij
ii
jiji
i
jiji
x
xxI
yIyp
xyIxyp
xIxp
yxIyxp
xp
yxpyxI
)(
)()(
1log);(1)|(
)()(
1log);(1)|(
)(
)|(log);(
50
HUST FurongWang --- Information and Coding Theory
条件互信息量 定义 2.1.5 联合集 XYZ中,在给定 的条件下, 与 之间的互信息量定义为条件互信息量。其定义为
联合集 XYZ上还存在 与 之间的互信息量,其定义式为
kz
)(
)(log);(
ki
kjikji zxp
zyxpzyxI
ix
jy
kj zy
ix
)(
)(log);(
i
kjikji xp
zyxpzyxI
51
HUST FurongWang --- Information and Coding Theory
条件互信息量 可进一步表示为:
上式表明,一对事件 yjzk 出现后所提供的有关 xi的信息量 I(xi; yjzk) 等于事件 yj出现后所提供的有关 xi的信息量 I(xi; yj)加上在给定事件 yj的条件下再出现事件 zk 所提供的有关 xi的信息量。
);();();(
)(
)(log
)(
)(log
)(
)(.
)(
)(log);(
jkijikji
ji
kji
i
ji
ji
ji
i
kjikji
yzxIyxIzyxI
yxp
zyxp
xp
yxp
yxp
yxp
xp
zyxpzyxI
52
HUST FurongWang --- Information and Coding Theory
例 2.1.5 某人 A预先知道他的三位朋友B、 C、 D中必定
将有一人晚上到他家来,并且这三人来的可能性均相同 其先验概率为: p(B)=p(C)=p(D)=1/3
但是上午 A接到D的电话不能来了 把这次电话作为事件 E,那么有后验概率 p(D/E)=0,p(B/E)=p(C/E)=1/2
下午 A又接到C的电话,说晚上开会不能来 把这次电话作为事件 F,那么有后验概率 p(C/EF)=p(D/EF)=0,p(B/EF)=1
53
HUST FurongWang --- Information and Coding Theory
例 2.1.5 :互信息 事件 E(上午的电话)发生后, A获得关于 B,C,D的互信息
为:
事件 EF(两次电话)发生后, A获得关于 B,C,D的互信息为:
由此例可以看出,由于 I(B;EF)=1.585bit,I(B;E)=0.585bit,因此事件 EF的出现有助于肯定事件 B的出现。
事件之间的互信息量。事件与所以,无须考虑事件,发生的条件下不会出现,即在事件因为
ED
DEEDp
bitEBIECI
bitBp
EBpEBI
0)(
585.0);();(
585.03/1
2/1log
)(
)(log);(
事件之间的互信息量。事件与所以,不必考虑均为零,因为其它两个条件概率
EFDC
FEDpFECp
bitBp
FEBpFEBI
,
)(),(
585.13/1
1log
)(
)(log);(
54
HUST FurongWang --- Information and Coding Theory
续例 2.1.5 :条件互信息 在事件 E(上午的电话)发生的条件下,计算条件互信息量
表明,事件 EF出现后所提供的有关B的信息量 I(B;EF) 等于事件 E出现后所提供的有关B的信息量 I(B;E)加上在给定事件 E的条件下,再出现事件 F所提供的有关B的信息量。
)/;();();(
585.0);(;585.1);(
12/1
1log
)/(
)(log)/;(
EFBIEBIFEBI
bitEBIbitFEBI
bitEBp
FEBpEFBI
可见前面已算出
55
HUST FurongWang --- Information and Coding Theory
几种互信息量之间的关系 互信息量、联合事件互信息量、条件互信息
量三者都是随机变量,其值随着变量 xi, yj ,zk 的变化而变化。
三者之间有如下关系式:);();();( jkijikji yzxIyxIzyxI
56
HUST FurongWang --- Information and Coding Theory
总结 自信息量←→不确定度 互信息量←→不确定度的减少量 自信息量和互信息量的定义和性质 自信息量和条件自信息量的关系 互信息量和条件互信息量的关系 自信息量和互信息量,具有随机变量的性质,均为
随机变量。 自信息量只表示单个随机事件的不确定度,不能表
示信源总体的不确定度。