第 1 章 概率基础 probability base
DESCRIPTION
第 1 章 概率基础 Probability Base. 数理统计课题组. 本章大纲. 1.1 概率分布与分布的特征 1.2 常见的统计分布 1.3 样本与抽样分布. 1.1 概率分布与分布的特征 (Probability distributions and distribution characteristics). 1.1.1 联合分布 1.1.2 随机变量函数的分布 1.1.3 条件数学期望 1.1.4 矩母函数. 1.1 概率分布与分布的特征 1.1.1 联合分布 (Joint Distribution). - PowerPoint PPT PresentationTRANSCRIPT
第第 11 章 章 概率基础概率基础
第第 11 章 概率基础章 概率基础Probability BaseProbability Base
数理统计课题组
第第 11 章 章 概率基础概率基础
本章大纲本章大纲
1.1 概率分布与分布的特征1.2 常见的统计分布1.3 样本与抽样分布
第第 11 章 章 概率基础概率基础 1.1 概率分布与分布的特征
(Probability distributions and distribution characteristics)
1.1.1 联合分布1.1.2 随机变量函数的分布1.1.3 条件数学期望1.1.4 矩母函数
第第 11 章 章 概率基础概率基础 1.1 概率分布与分布的特征
1.1.1 联合分布 (Joint Distribution)
联合分布函数:设 X1, X2,…, Xn 是 n 个随机变量, 对给定的 n 个实数 x1, x2,…, xn , 称
F(x1, x2,…, xn)=P (X1≤ x1, X2≤ x2,…, Xn ≤ xn)
为其联合分布函数。
第第 11 章 章 概率基础概率基础 1.1 概率分布与分布的特征
1.1.1 联合分布 (Joint Distribution)
离散型:联合概率函数 p(x1, x2,…, xn)=P (X1= x1, X2=x2,…, Xn = xn)
1
d,,d),,,(),,,( 12121
x x
nnn
n
uuuuufxxxF
则称 f (x1, x2,…, xn ) 为其联合概率密度函数
连续型:联合概率密度函数如果存在 n 维非负可积函数 f (x1, x2,…, xn ) ,使得
第第 11 章 章 概率基础概率基础 1.1 概率分布与分布的特征
1.1.1 联合分布 (Joint Distribution)
边缘分布函数:设 X1, X2,…, Xn 是 n 个随机变量,F(X1, X2,…, Xn) 为其 n 维联合分布函数,对正整数1 ≤k ≤ n ,称 F 1,2,…,k(X1, X2, …, Xk)
=F(x1, x2, …, xk,+∞,…,+∞)
=P (X1≤ x1, X2≤ x2,…, Xk ≤ xk , Xk+1 ≤ +∞,…, Xn ≤ + ∞ )
为 k 维边缘分布,这样的边缘分布有 个。knC
第第 11 章 章 概率基础概率基础 1.1.1 联合分布 (Joint Distribution)
【例 1.1 】 多项分布( Multinomial Distribution)
一个随机现象共有 r 种可能的结果,第 i 种结果出现的概率为pi 。做 n 次独立重复实验,以 Ni 记第 i 种结果出现的次数,则对给定的 r 个非负整数 n1,n2, … ,nr(n1+n2+…+nr =n), 有
rnr
nn
r
rr
r
pppnnn
n
nNnNnNP
nnnp
2121
21
2211
21
!!!
!
),,,,(
),,,(
称为多项分布( r 项分布)
第第 11 章 章 概率基础概率基础 1.1.1 联合分布 (Joint Distribution)
【例 1.1 】 多项分布( Multinomial Distribution)
由于 N1+N2+…+Nr =n, 所以 r 项分布实际是 r-1 维的,可以改记为
rnr
nn
r
rr
r
pppnnn
n
nNnNnNP
nnnp
2121
21
112211
121
!!!
!
),,,,(
),,,(
显然二项分布是多项分布的边缘分布
第第 11 章 章 概率基础概率基础 1.1.1 联合分布 (Joint Distribution)
【例 1.2 】 Farlie-Morgenstern Family (P77-79)
设 F(x) 和 G(x) 都是一维连续型分布函数( cdf ) ,可以证明,对任意 -1≤≤1 ,
H(x,y)=F(x)G(y){1+ [1-F(x)][1-G(y)]}
是二维连续型分布函数。 H(x,∞)=F(x) , H(∞,y)=G(y)
取 F(x) 和 G(x) 都是 [0 , 1] 区间的均匀分布,此时 F(x)= x , 1≤x≤1 ; G(y)= y , 1≤y≤1 ;
第第 11 章 章 概率基础概率基础 1.1.1 联合分布 (Joint Distribution)
【例 1.2 】 Farlie-Morgenstern Family (P77-79)
对 =-1
H(x,y)=xy[1-(1-x)(1-y)]
二维密度函数为
10,10,422
),(),(2
yxxyyx
yxHyx
yxh
注:当 F(x) 和 G(x) 都是 [0 , 1] 区间的均匀分布时,此时联合分布函数 H(x,y) 称为 copula, 可改记为 C(x,y) 。
第第 11 章 章 概率基础概率基础 1.1.1 联合分布 (Joint Distribution)
【例 1.2 】 Farlie-Morgenstern Family (P77-79)
第第 11 章 章 概率基础概率基础 1.1 概率分布与分布的特征
1.1.2 随机变量的函数的分布
设 X1, X2,…, Xn 是 n 个随机变量, fX1, X2,…, Xn (x1, x2,…, xn )是其联合密度函数。若
Y1=g1(X1, X2,…, Xn) ,… , Yn=gn(X1, X2,…, Xn)
是( X1, X2,…, Xn )与( Y1, Y2,…, Yn )的一一对应变换,其反变换
X1=h1(y1, y2,…, yn) ,… , Xn=hn(y1, y2,…, yn)
具有连续的一阶偏导数,则 Y1, Y2,…, Yn 的联合密度函数为fy1, y2,…, yn (y1, y2,…, yn)= fX1, X2,…, Xn (x1, x2,…, xn)| Jg
-1 (x1, x2,…, xn)|
其中 x1=h1(y1, y2,…, yn) ,… , xn=hn(y1, y2,…, yn)
第第 11 章 章 概率基础概率基础 1.1 概率分布与分布的特征
1.1.2 随机变量的函数的分布
n
nn
n
ng
x
g
x
g
x
g
x
g
xxJ
1
1
1
1
1 ),,(是雅可比( Jacobian )行列式
记
n
nn
n
nh
y
h
y
h
y
h
y
h
yyJ
1
1
1
1
1 ),,(
fy1, y2,…, yn (y1, y2,…, yn)= fX1, X2,…, Xn (x1, x2,…, xn)| Jh(y1, y2,…, yn)|
其中 x1=h1(y1, y2,…, yn) ,… , xn=hn(y1, y2,…, yn)
则
第第 11 章 章 概率基础概率基础 1.1.2 随机变量的函数的分布
例 1.3 (P99-102)
)2
exp(2
1),(
22 yxyxf XY
22,tan, 122
X
YYXR
)sin(),cos( RYRX
设 X , Y 是独立的 N(0 , 1) 随机变量,其联合密度为
做变换逆变换
ryxyx
x
yx
y
yx
y
yx
x
y
g
x
g
y
g
x
g
J g
1122
2222
2222
11
11
rr
fR )2
exp(2
1 2
第第 11 章 章 概率基础概率基础 1.1.2 随机变量的函数的分布
例 1.3 (P99-102)
rrrh
r
h
h
r
h
J h
cossin
sincos
11
11
rr
fR )2
exp(2
1 2
或由
fy1, y2,…, yn (y1, y2,…, yn)= fX1, X2,…, Xn (x1, x2,…, xn)| Jh(y1, y2,…, yn)|
其中 x1=h1(y1, y2,…, yn) ,… , xn=hn(y1, y2,…, yn)
第第 11 章 章 概率基础概率基础 1.1 概率分布与分布的特征
1.1.3 条件数学期望( Conditional Expection )
y
XY xyypxXYE )|()|( |
设给定 X=x 时 Y 的条件分布为 FY|X(y|x), 则称E(Y| X=x)=∫yd FY|X(y|x)
为给定 X=x 时 Y 的条件期望。如果 X 的取值没有事先给定,则 E(Y| X) 也是随机变量, 是 X 的函数。
离散型
连续型
Y 的函数 h(Y) 的条件期望为 E[h(Y)| X=x]=∫h(y)d FY|X(y|x)
yxyyfxXYE XY d)|()|( |
第第 11 章 章 概率基础概率基础 1.1.3 条件数学期望( Conditional Expectio
n ) 例 1.4 P147
)!(
])1[(
!
)(),(
)1(
xn
ep
x
epnxp
pxnpx
XN
一个 [0 , 1] 区间的 Possion 过程平均发生次数为,记N 是 [0 , 1] 区间发生的总次数,对 p <1 ,记 X 是 [0 , p]
区间发生的次数,求给定 N = n 时 X 的条件分布和条件期望。
解
所以 Y 的条件期望为 np 。
xnx
N
XNNX pp
xnx
n
np
nxpnxp
)1(
)!(!
!
)(
),()|(|
第第 11 章 章 概率基础概率基础 1.1.3 条件数学期望( Conditional Expectio
n ) 例 1.5 P148
)1(
)(
2
1exp
)1(2
1)|(
22
2
2|
Y
Xx
yY
y
XY
xy
xyf
)( Xx
yY x
设 X , Y 是二维联合正态分布,由于
所以给定 X=x 时 Y 的条件期望为
问题 是什么)1( 22 Y
第第 11 章 章 概率基础概率基础 1.1.3 条件数学期望( Conditional Expectatio
n ) 全期望公式( Law of total expectation) P149
)]|([)( XYEEYE
x
X xPxXYEYE )()|()(离散型为
证:
)()(
)()|(
)()|(
)()|(
|
|
YEyyP
xPxyPy
xPxyyP
xPxXYE
yy
y xXXY
x yXXY
xX
第第 11 章 章 概率基础概率基础 1.1.3 条件数学期望( Conditional Expectio
n ) 随机和 (Random Sums) P150
N
iiXT
1
)()(
)]([)]|([)(
XENE
XNEENTEETE
其中 N 是与 Xi 相互独立的随机变量, Xi 有相同的期望 E(X), 则
2
2
1
)]()[()()(
)]()[()]([
)}({)]|([
)]|([)]|([)(
XENVARXVARNE
XENVARXVARNE
XENVARNXVARE
NTEVARNTVARETVARN
ii
设 Xi 有相同的方差 VAR(X), 则
第第 11 章 章 概率基础概率基础 1.1.3 条件数学期望( Conditional Expectio
n ) 方差公式 P151
)]|([)]|([)( XYVarEXYEVarYVar
证:
)]|([)]|([
)]}|([{})]|({[})]|({[)]|([
)]}|([{)]|([
)]([)()(
2222
22
22
XYVarEXYEVar
XYEEXYEEXYEEXYEE
XYEEXYEE
YEYEYVar
第第 11 章 章 概率基础概率基础 1.1 概率分布与分布的特征
1.1.4 矩母函数( Moment-generating function) P155
)(d)()( xFeeEtM txtX
如果一个分布函数 F(x) 的矩母函数 M(t) 在包含 0 的一个开区间内存在,则两者是相互惟一确定的。
xxfetM
xpetM
tx
x
tx
d)()(
)()(
连续型:
离散型:
第第 11 章 章 概率基础概率基础 1.1 概率分布与分布的特征
1.1.4 矩母函数( mgf, Moment-generating function) P155
)()0()( rr XEM
性质 A 如果一个分布函数 F(x) 的矩母函数 M(t) 在包含 0 的一个开区间内存在,则两者是相互惟一确定的。
性质 B 如果一个矩母函数 M(t) 在包含 0 的一个开区间内存在,则
第第 11 章 章 概率基础概率基础 1.1 概率分布与分布的特征
1.1.4 矩母函数( Moment-generating function) P155
)()( btMetM Xat
Y 则
性质 C 设 Y=a+bX
性质 D 设 X 和 Y 是独立随机变量 , Z=X+Y, 则
)()()( tMtMtM YXZ 则
第第 11 章 章 概率基础概率基础 1.1 概率分布与分布的特征
1.1.4 矩母函数( Moment-generating function) P155
常见分布的矩母函数
分布名称 概率密度函数 矩母函数
二项分布 1)1(
xx ppx
n
ntpep )1(
泊松分布 ex
x
! )1( tee
正态分布 22
)(2
1
2
1
x
e 2/22ttee
伽玛分布
tex x ,)(
1
t
第第 11 章 章 概率基础概率基础
1.2 常见的统计分布
1.2.1 分布1.2.2 分布1.2.3 2 分布1.2.3 t 分布1.2.4 F 分布
第第 11 章 章 概率基础概率基础 1.2 常见的统计分布
1.2.1 分布和 2 分布 P53 P192
伽伽分布的概率密度为
0,)(
)( 1
xexxg x
其中参数 >0 称为形状参数
( shape prameter )
参数 >0 称为规模参数
( scale prameter )
第第 11 章 章 概率基础概率基础 1.2 常见的统计分布
1.2.1 分布和 2 分布
0
1 d)( tet t伽伽是函数
性质 1 :
)5.0(;1)0()1(
;!)1();()1( nn
2)(;)(
)2)(1(
)(
)()(
XVarXE
kkkXE
kkk
第第 11 章 章 概率基础概率基础 1.2 常见的统计分布
1.2.1 分布和 2 分布
性质 2 :分布的矩母函数为
ttM 1)(
性质 3 :可加性。若 Xi~ (i), i=1,2,…,n, 且相互独立,则
n
i
n
iiiX
1 1
),(~
第第 11 章 章 概率基础概率基础 1.2 常见的统计分布
1.2.1 分布和 2 分布
2
1,
2 n
2~ nX
0,)2(2
1);( 212
2
xex
nnxf xn
n
性质 4 :若 X~ (), 则 X~ ();
反之,若 Y~ (1), 则 X/~ ()
性质 5 :当 =1 时,分布就是指数分布e()性质 6 : 时的分布称为自由度为 n 的卡方分布,
记做
第第 11 章 章 概率基础概率基础 1.2 常见的统计分布
1.2.1 分布和 2 分布
n
ii nX
1
22 )(~
性质 7 :若 X1, X2,…, Xn iid~N(0,1), 则
证明:只须证明 )2
1,
2
1(~2 iX 再根据可加性即得
iid 表示独立同分布( independent identical distribution )
第第 11 章 章 概率基础概率基础 1.2 常见的统计分布
1.2.2 分布 P58
分布的概率密度为
10,)1()()(
)()( 11
xxxba
baxf ba
其中 a>0 , b>0 是参数,当 a=b=1 时就是分布就是 U (0 ,1)
第第 11 章 章 概率基础概率基础 1.2 常见的统计分布
1.2.2 分布
1
0
11 d)1()(
)()(),( ttt
ba
baba ba 是函数
性质 1 :
)1()()(;)(
)1()1)((
)1()1(
)()(
)()()(
2
baba
abXVar
ba
aXE
kbababa
kaaa
kbaa
bakaXE k
性质 2 :伽 X~ (a), X~ (b), 相互独立,则
),(~ baBYX
XZ
第第 11 章 章 概率基础概率基础 1.2 常见的统计分布
1.2.3 2 分布 P193
)2
1,
2()(2 n
n
)(~ 2 nYn
0,)2(2
1);( 212
2
xex
nnxf xn
n
n
iin XY
1
2
性质:当 n =1 时
若 X1, X2,…, Xn iid~N(0,1), 则称 为自由度为 n 的卡方分布,
记做
于是得 2(n) 的密度函数
)2
1,
2
1(~2
1 X
再根据可加性即得
iid 表示独立同分布( independent identical distribution )
第第 11 章 章 概率基础概率基础
由阿贝 (Abbe) 于 1863 年首先给出,后来由海尔墨特 (Hermert) 和卡 · 皮尔逊 (K·Pearson) 分别于 1875 年和 1900 年推导出来
期望为: E(2(n))=n ,方差为: Var(2(n))=2n
1.2 常见的统计分布 1.2.3 2 分布
不同自由度的卡方分布
n=1
n=4n=4n=10n=10
n=20n=20
第第 11 章 章 概率基础概率基础 1.2 常见的统计分布
1.2.4 t 分布 P193
设 Z~N(0,1),U~2(n) ,则
nU
ZT
/
0
0. 190100716
0. 380201432
0. 570302147
- 4 - 3 - 2 - 1 0 1 2 3 4
N(0, 1)t(1)t(5)t(30)t(100)
称为自由度为 n 的 t 分布,
记为 T~t(n)
2,2
)(
1,0)(
nn
nTVar
nTE
第第 11 章 章 概率基础概率基础
1. 由统计学家费舍 (R.A.Fisher) 提出的,以其姓氏的第一个字母来命名则
2. 设若 U 为服从自由度为 n1 的 2 分布,即 U~2(n1) ,
V 为服从自由度为 n2 的 2 分布,即 V~2(n2),
且 U 和 V 相互独立,则称
为服从自由度 n1 和 n2 的 F 分布,记为
1.2 常见的统计分布1.2.5 F 分布 P194
2
1
nV
nUF
2
1
nV
nUF
),(~ 21 nnFF ),(~ 21 nnFF
第第 11 章 章 概率基础概率基础 1.2 常见的统计分布
1.2.5 F 分布
不同自由度的 F 分布FFFF
( 1,10)(5,10)(5,10)
(10,10)(10,10)
3. F 分布的期望为
2,2
)( 22
2
nn
nFE
4. 若 F~F(n1,n2) ,
则 1/F~F(n2,n1)
5. 若 T~t(n) ,则 T2~F(1,n)
第第 11 章 章 概率基础概率基础
1.3 样本与抽样分布
1.3.1 伽伽伽伽伽伽伽伽伽
1.3.2 伽伽伽伽伽伽
1.3.3 伽伽伽伽伽伽伽伽伽
第第 11 章 章 概率基础概率基础 1.3.1 样本均值的抽样分布
( 例题分析 )
2
1
2 )(1
1XX
nS
n
ii
若 X1, X2,…, Xn iid~N(,), 则称 X1, X2,…, Xn
为正态分布 N(,) 一个容量为 n 的简单随机样本 ,
简称为样本。
样本均值 sample mean
n
iiX
nX
1
1
样本方差 sample variance
第第 11 章 章 概率基础概率基础 1.3.1 样本均值的抽样分布
( 例题分析 )
4
1
5.24
1)(
i
iXE
【例】设总体 X 的分布为
P(X=1)=P(X=2)=P(X=3)=P(X=4)=1/4
1 42 30.1
.2
.3
总体均值
方差
4
1
22 25.14
1)5.2(
i
i
第第 11 章 章 概率基础概率基础 1.3.1 样本均值的抽样分布
( 例题分析 )
现从总体中抽取 n = 2 的简单随机样本,在重复抽样条件下,共有 42=16 个样本。所有样本的结果为
3,43,33,23,13
2,42,32,22,12
4,44,34,24,14
1,4
4
1,3
321
1,21,11
第二个观察值第一个观察值
所有可能的 n = 2 的样本(共 16 个)
第第 11 章 章 概率基础概率基础 1.3.1 样本均值的抽样分布
( 例题分析 )
计算出各样本的均值,如下表。并给出样本均值的抽样分布
3.53.02.52.03
3.02.52.01.52
4.03.53.02.54
2.5
4
2.0
321
1.51.01
第二个观察值第一个观察值
16 个样本的均值( x )
XX样本均值的抽样分布样本均值的抽样分布
1.0
0
.1
.2
.3 P P ((X X ))
1.5 3.0 4.03.52.0 2.5
第第 11 章 章 概率基础概率基础 1.3.1 样本均值的抽样分布
( 例题分析 )
= 2.5 σ2 =1.25
总体分布
1 42 3
0
.1
.2
.3
抽样分布P P ( ( X X ))
1.0
0
.1
.2
.3
1.5 3.0 4.03.52.0 2.5XX
5.2X
5.2X
625.02
X 625.02
X
第第 11 章 章 概率基础概率基础 1.3.1 样本均值的抽样分布
正态总体
样本均值 样本均值 XX 的抽样分布的抽样分布
当总体分布为当总体分布为正态分布正态分布 N N ( (μμ,,σσ2 2 ) ) 时,则样本均值时,则样本均值 XX
服从正态分布服从正态分布 NN((μμ,,σσ22//nn) ) ,其均值 仍为,其均值 仍为 μμ ,方差为,方差为 σσ22//nn
nx x / 的标准差
第第 11 章 章 概率基础概率基础
1.3.2 中心极限定理
中心极限定理中心极限定理
当总体分布不为当总体分布不为正态分布或未知 时,但其均值正态分布或未知 时,但其均值 μμ 和方差和方差σσ22 都存在,则当都存在,则当 nn 相当大时,样本均值相当大时,样本均值 XX 近似服从正态分布近似服从正态分布NN((μμ,,σσ22//nn) ) ,其均值 仍为,其均值 仍为 μμ ,方差为,方差为 σσ22//nn 。。
nx x / 的标准差
第第 11 章 章 概率基础概率基础
1.3.2 中心极限定理
第第 11 章 章 概率基础概率基础
定理A 设 X1, X2,…, Xn 为正态分布 N(,) 一个样本,则 与随机向量 相互独立。
1.3.3 样本方差的抽样分布正态总体
X ),,,( 21 XXXXXX n
证
n
ii
n
iiii
n
iX
i
n
ii
nnn
ttsn
s
ttn
stt
n
stt
n
sM
Xttn
sE
XXtXXtXsEttsM
i
1
22
22
1
22
1
1
111
)(2
exp2
exp
)]([2
)]([exp)]([
)]([{exp
)]}()({exp[),,,(
第第 11 章 章 概率基础概率基础
推论 设 X1, X2,…, Xn 为正态分布 N(,) 一个样本,则 与 S2 相互独立。
1.3.3 样本方差的抽样分布正态总体
X
21
22 ~/)1( nSn
2
1
22
1
22
)/
()(1
)(1
n
XXXX
n
ii
n
ii
定理B
首先
再由
记做 W = U+ V
2
1
2
1
22
~)()(1
n
n
i
in
ii
XX
第第 11 章 章 概率基础概率基础 1.3.3 样本方差的抽样分布
正态总体)()()( tMtMtM VUW
2/)1(2/1
2/
)21()21(
)21(
)(
)()(
nn
V
WU
tt
t
tM
tMtM
由
得
21
1
22
~)(1
n
n
ii XXU
第第 11 章 章 概率基础概率基础 1.3.3 样本方差的抽样分布
正态总体
1~/
ntnS
X
推论 对于正态总体的样本有
证 22 /
/~
/
S
nS
X
nS
X