1

TOÁN CHUYÊN ĐỀPhần I

Probability and ComputingRandomized Algorithm and Probabilistic Analysis(Xác suất và kỹ thuật tính – Giải thuật ngẫu nhiên hóa

và Phân tích xác suất)Dr. Nguyễn Khanh Văn, M. Lê Quốc

Phần IIProbability, Statistic and Stochastic Processes(Xác suất thống kê và quá trình ngẫu nhiên)

Prof. Nguyễn T. Hoàng Lan, Dr Nguyễn Linh Giang

2

TOÁN CHUYÊN ĐỀ

Phần II: Xác suất thống kê

Nội dung • Lecture 1: Random Variables, Distribution and Probability Density Function (Bài 1: Biến ngẫu nhiên, hàm phân phối xác suất, Hàm mật độ xác suất, các dạng phân phối xác suất)

• Lecture 2: Mean, Variance, Moments and Characteristic Functions (Bài 2: Các đặc trưng của biến ngẫu nhiên: Trung bình, phương sai, mô men và các hàm đặc tính)

• Lecture 3: Function of a Random Variable (Bài 3: Hàm của biếnngẫu nhiên)

3

Nội dung• Lecture 4: Two Random Variables. One Function of Two

Random Variables (Bài 4: Hai biến ngẫu nhiên. Hàm của hai biếnngẫu nhiên)

• Lecture 5: Joint Moments and Joint Characteristic Functions, Conditional Density Functions (Bài 5: Các mô men và đặc trưngđồng thời, hàm mật độ xác suất có điều kiện)

• Lecture 6: Principles of Parameter Estimation (Bài 6: Nguyên tắcước lượng tham số)

Tài liệu tham khảo chính• Papoulis. A "Probability, Random Variables and Stochastic

Processes " McGraw Hill 1991, 2002• Tống Đình Quỳ, “Giáo trình xác suất thống kê”, NXB Giáo dục

4

Bài 1: Biến ngẫu nhiênCác khái niệm cơ bản

• Biến ngẫu nhiên (Random Variable - r.v) X: Định nghĩa 1: Một biến ngẫu nhiên được định nghĩanhư một hàm có giá trị thực xác định trên khoảngkhông gian các sự kiện ánh xạ tập tất cả các thựcnghiệm thành tập các số thực R sao cho nghịch ảnh củakhoảng số x trong R là một sự kiện

• Thể hiện của biến ngẫu nhiên: Ký hiệu X, Y là cácbiến ngẫu nhiên, và x, y là các giá trị của biến ngẫunhiên, còn gọi là thể hiện của biến ngẫu nhiên, là cácgiá trị cụ thể quan sát được

• Các loại biến : Biến ngẫu nhiên rời rạc, tập giá trị làhữu hạn và đếm được. Biến liên tục, tập giá trị số thực

5

Random Variables

Let (Ω, F, P) be a probability model for an experiment, and X a function that maps every to a unique point the set of real numbers. Since the outcome is not certain, so is the value Thus if B is some subset of R, we may want to determine the probability of “ ”. To determine this probability, we can look at the set that contains all that maps into B under the function X.

,Ω∈ξ,Rx∈ ξ

.)( xX =ξ

BX ∈)(ξ

Ω∈= − )(1 BXA Ω∈ξΩ

ξ

R)(ξX

x

A

B

Fig. 1.1

6

Obviously, if the set also belongs to the associated field F, then it is an event and the probability of A is well defined; in that case we can say

However, may not always belong to F for all B, thus creating difficulties. The notion of random variable (r.v) makes sure that the inverse mapping always results in an event so that we are able to determine the probability for any

Random Variable (r.v): A finite single valued function that maps the set of all experimental outcomes into the set of real numbers R is said to be a r.v, if the set is an event for every x in R.

)(1 BXA −=

)).((" )("event theofy Probabilit 1 BXPBX −=∈ξ (1-1)

)(1 BX −

.RB ∈

) ( ⋅XΩ

)(| xX ≤ξξ)( F∈

7

Thus, is an event for every n. Consequently

is also an event. All events have well defined probability. Thus the probability of the event must depend on x. Denote

The role of the subscript X in (1-4) is only to identify the actual r.v. is said to the Probability Distribution Function (PDF) associated with the r.v X.

⎭⎬⎫

⎩⎨⎧ ≤<− 1 aX

na

I∞

=

==⎭⎬⎫

⎩⎨⎧ ≤<−

1

1 n

aXaXn

a

)(| xX ≤ξξ

.0)( )(| ≥=≤ xFxXP Xξξ (1-3)

)(xFX

(1-2)

8

Hàm phân phối xác suất

• Định nghĩa 2: Hàm phân phối xác suất của biếnngẫu nhiên X, ký hiệu F(x), được xác định như sau:

F(x) = P(X< x), x (1-4)

• Trường hợp biến rời rạc:

• Một số tính chất của hàm phân phối

R∈

)()( ∑<

=xx

ii

xpxF

9

Distribution Function: Note that a distribution function g(x) is nondecreasing, right-continuous and satisfies

i.e., if g(x) is a distribution function, then

(i)

(ii) if then

and

(iii) for all x.

We need to show that defined in (1-4) satisfies all properties in (1-6). In fact, for any r.v X,

,0)( ,1)( =−∞=+∞ gg

,0)( ,1)( =−∞=+∞ gg

,21 xx < ),()( 21 xgxg ≤

),()( xgxg =+

(1-6)

)(xFX

(1-5)

10

1)( )(| )( =Ω=+∞≤=+∞ PXPFX ξξ

.0)( )(| )( ==−∞≤=−∞ φξξ PXPFX

(i)

and

(ii) If then the subset Consequently the event since implies As a result

implying that the probability distribution function is nonnegative and monotone nondecreasing.(iii) Let and consider the event

since

,21 xx < ).,(),( 21 xx −∞⊂−∞

, )(| )(| 21 xXxX ≤⊂≤ ξξξξ

1)( xX ≤ξ .)( 2xX ≤ξ

( ) ( ) ),()()()( 2211 xFxXPxXPxF XX =≤≤≤= ξξ (1-9)∆ ∆

(1-7)

(1-8)

,121 xxxxx nn <<<<< − L

.)(| kk xXxA ≤<= ξξ (1-10)

, )( )( )( kk xXxXxXx ≤=≤∪≤< ξξξ (1-11)

11

using mutually exclusive property of events we get

But and hence

Thus

But the right limit of x, and hence

i.e., is right-continuous, justifying all properties of a distribution function.

( ) ).()()()( xFxFxXxPAP XkXkk −=≤<= ξ (1-12)

,11 LL −+ ⊂⊂ kkk AAA

.0)(lim hence and lim1

===∞→

∞

=∞→ kk

kkkk

APAA φI (1-13)

.0)()(lim)(lim =−=∞→∞→

xFxFAP XkXkkk

),()( xFxF XX =+

)(xFX

(1-14)

,lim +

∞→= xxkk

12

Additional Properties of a PDF

(iv) If for some then

This follows, since implies is the null set, and for any will be a subset of the null set.

(v)

We have and since the two events are mutually exclusive, (16) follows.

(vi)

The events and are mutually exclusive and their union represents the event

0)( 0 =xFX ,0x . ,0)( 0xxxFX ≤= (1-15)

( ) 0)()( 00 =≤= xXPxFX ξ 0)( xX ≤ξ

)( ,0 xXxx ≤≤ ξ

).(1 )( xFxXP X−=>ξ (1-16)

, )( )( Ω=>∪≤ xXxX ξξ

. ),()( )( 121221 xxxFxFxXxP XX >−=≤< ξ (1-17)

)( 21 xXx ≤< ξ )( 1xX ≤ξ

. )( 2xX ≤ξ

13

(vii)

Let and From (1-17)

or

According to (1-14), the limit of as from the right always exists and equals However the left limit value need not equal Thus need not be continuous from the left. At a discontinuity point of the distribution, the left and right limits are different, and from (1-20)

( ) ).()()( −−== xFxFxXP XXξ (1-18)

,0 ,1 >−= εεxx .2 xx =

),(lim)( )( lim00

εξεεε

−−=≤<−→→

xFxFxXxP XX (1-19)

).()( )( −−== xFxFxXP XXξ (1-20)

),( 0+xFX )(xFX 0xx →

).( 0xFX

)( 0−xFX ).( 0xFX )(xFX

.0)()( )( 000 >−== −xFxFxXP XXξ (1-21)

14

Thus the only discontinuities of a distribution function are of the jump type, and occur at points where (1-21) is satisfied. These points can always be enumerated as a sequence, and moreover they are at most countable in number. Example 1.1: X is a r.v such that Find Solution: For so that and for so that (Fig.1.2)

Example 1.2: Toss a coin. Suppose the r.v X is such that Find

)( xFX

0x

. ,)( Ω∈= ξξ cX ).(xFX

, )( , φξ =≤< xXcx ,0)( =xFX

.,TH=Ω.1)( ,0)( == HXTX

)(xFX

xc

1

Fig. 1.2

).(xFX

.1)( =xFX ,)( , Ω=≤> xXcx ξ

15

Hàm mật độ xác suấtĐịnh nghĩa 3. Hàm mật độ xác suất của biến ngẫu nhiên X, ký hiệu f(x), có hàm phân phối F(x) khả vi,được định nghĩa:

Probability density function (p.d.f)

The derivative of the distribution function is called the probability density function of the r.v X. Thus

Since

from the monotone-nondecreasing nature of

)(xFX

)( xf X

.

)()(dx

xdFxf XX =

,0)()(lim

)(0

≥∆

−∆+=

→∆ xxFxxF

dxxdF XX

x

X

(1-23)

(1-24)

),( xFX

∆

16

it follows that for all x. will be a continuous function, if X is a continuous type r.v. However, if X is a discrete type r.v as in (1-22), then its p.d.f has the general form (Fig. 1.5)

where represent the jump-discontinuity points in As Fig. 1.5 shows represents a collection of positive discrete masses, and it is known as the probability mass function (p.m.f ) in the discrete case. From (1-23), we also obtain by integration

Since (1-26) yields

0)( ≥xf X )( xf X

,)()( ∑ −=i

iiX xxpxf δ

).(xFX

(1-25)

.)()( duufxFx

xX ∫ ∞−= (1-26)

,1)( =+∞XF

,1)( =∫+∞

∞−dxxf x

(1-27)

ix

)(xfX

xix

ip

Fig. 1.5

)( xf X

17

which justifies its name as the density function. Further, from (1-26), we also get (Fig. 1.6b)

Thus the area under in the interval represents the probability in (1-28).

Often, r.vs are referred by their specific density functions -both in the continuous and discrete cases - and in what follows we shall list a number of them in each category.

.)()()( )( 2

11221 dxxfxFxFxXxP

x

x XXX ∫=−=≤< ξ (1-28)

Fig. 1.6

)( xf X ),( 21 xx

)(xfX

(b)

x1x 2x

)(xFX

x

1

(a)1x 2x

18

Một số hàm phân phối củabiến ngẫu nhiên liên tục

• Phân phối chuẩn (phân phối Gaussian)• Phân phối đều• Phân phối theo hàm mũ• Phân phối Gamma• Phân phối Beta• Phân phối Cauchy• Phân phối Laplace• Phân phối F - Fisher

19

Continuous-type random variables

1. Normal (Gaussian): X is said to be normal or Gaussian r.v, if

This is a bell shaped curve, symmetric around the parameter and its distribution function is given by

where is often tabulated. Since depends on two parameters and the notation ∼will be used to represent (1-29).

.2

1)(22 2/)(

2

σµ

πσ−−= x

X exf (1-29)

,µ

,2

1)(22 2/)(

2∫ ∞−

−− ⎟⎠⎞

⎜⎝⎛ −

==x y

XxGdyexFσµ

πσσµ (1-30)

dyexG yx 2/2

21)( −

∞−∫=π

),( 2σµNX)(xfX

xµFig. 1.7

∆

)(xfX

µ ,2σ

20

2. Uniform: ∼ if (Fig. 1.8), ),,( babaUX <

⎪⎩

⎪⎨⎧ ≤≤

−=otherwise. 0,

, ,1)( bxa

abxf X(1.31)

)(xfX

xa b

ab −1

Fig. 1.8

3. Exponential: ∼ if (Fig. 1.9))( λεX

⎪⎩

⎪⎨⎧ ≥=

−

otherwise. 0,

,0 ,1)(

/ xexfx

X

λ

λ (1-32)

)(xfX

x

Fig. 1.9

21

4. Gamma: ∼ if (Fig. 1.10)

If an integer

5. Beta: ∼ if (Fig. 1.11)

where the Beta function is defined as

),( βαGX )0 ,0( >> βα

⎪⎩

⎪⎨⎧

≥Γ=

−−

otherwise. 0,

,0 ,)()(

/1

xexxf

x

X

βα

α

βα (1-33)

n=α )!.1()( −=Γ nn

),( baX β )0 ,0( >> ba

⎪⎩

⎪⎨⎧ <<−

=−−

otherwise. 0,

,10 ,)1(),(

1)(

11 xxxbaxf

ba

X β (1-34)

),( baβ

∫ −− −=1

0

11 .)1(),( duuuba baβ (1-35)

x

)( xf X

x

Fig. 1.1110

)( xf X

Fig. 1.10

22

6. Chi-Square: ∼ if (Fig. 1.12)

Note that is the same as Gamma

7. Rayleigh: ∼ if (Fig. 1.13)

8. Nakagami – m distribution:

),( 2 nX χ

)(2 nχ ).2 ,2/(n

⎪⎩

⎪⎨⎧ ≥=

−

otherwise. 0,

,0 ,)(22 2/

2 xexxf

x

X

σ

σ

(1-36)

(1-37)

,)( 2σRX

x

)( xf X

Fig. 1.12

)( xf X

xFig. 1.13

⎪⎩

⎪⎨⎧ ≥

Γ=−−

otherwise. 0,

,0 ,)2/(2

1)(

2/12/2/ xex

nxfxn

nX

22 1 /2 , 0( ) ( )

0 otherwiseX

mm mxm x e x

f x m− − Ω⎧ ⎛ ⎞ ≥⎪ ⎜ ⎟= Γ Ω⎝ ⎠⎨

⎪⎩(1-38)

23

9. Cauchy: ∼ if (Fig. 1.14)

10. Laplace: (Fig. 1.15)

11. Student’s t-distribution with n degrees of freedom (Fig 1.16)

( ) . ,1)2/(

2/)1()(2/)1(2

+∞<<∞−⎟⎟⎠

⎞⎜⎜⎝

⎛+

Γ+Γ

=+−

tnt

nnntf

n

T π

,),( µαCX

. ,)(

/)( 22 +∞<<∞−−+

= xx

xf X µαπα

. ,21)( /|| +∞<<∞−= − xexf x

Xλ

λ

)( xf X

x

Fig. 1.14µ

(1-41)

(1-40)

(1-39)

x

)( xf X

Fig. 1.15t

( )Tf t

Fig. 1.16

24

12. Fisher’s F-distribution/ 2 / 2 / 2 1

( ) / 2

( ) / 2 , 0( ) ( / 2) ( / 2) ( )

0 otherwise

m n m

m nz

m n m n z zf z m n n mz

−

+

⎧Γ +≥⎪= Γ Γ +⎨

⎪⎩(1-42)

25

Một số hàm phân phối củabiến ngẫu nhiên rời rạc

• Phân phối Bernoulli• Phân phối nhị thức• Phân phối Poison• Phân phối siêu hình học• Phân phối hình học• Phân phối nhị thức âm• Phân phối đều rời rạc

26

Discrete-type random variables

1. Bernoulli: X takes the values (0,1), and

2. Binomial: ∼ if (Fig. 1.17)

1. Poisson: ∼ if (Fig. 1.18)

.)1( ,)0( pXPqXP ==== (1-43)

),,( pnBX

.,,2,1,0 ,)( nkqpkn

kXP knk L=⎟⎟⎠

⎞⎜⎜⎝

⎛== − (1-44)

, )( λPX

.,,2,1,0 ,!

)( ∞=== − Lkk

ekXPkλλ (1-45)

k

)( kXP =

Fig. 1.171 2 n

)( kXP =

Fig. 1.18

27

4. Hypergeometric:

5. Geometric: ∼ if

6. Negative Binomial: ~ if

7. Discrete-Uniform:

(1-49)

(1-48)

(1-47)

.,,2,1 ,1)( NkN

kXP L===

),,( prNBX1

( ) , , 1, .1

r k rkP X k p q k r r

r−−⎛ ⎞

= = = +⎜ ⎟−⎝ ⎠L

.1 ,,,2,1,0 ,)( pqkpqkXP k −=∞=== L

)( pgX

, max(0, ) min( , )( )

m N mk n k

Nn

m n N k m nP X k

⎛ ⎞⎛ ⎞⎜ ⎟⎜ ⎟

⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎛ ⎞⎜ ⎟⎜ ⎟⎝ ⎠

−−

+ − ≤ ≤= = (1-46)

28

Các đặc trưng của biến ngẫu nhiên(tóm tắt)

• Xác xuất của biến ngẫu nhiên, hàmphân phối xác suất F(x):

• Hàm mật độ xác xuất: f(x) = F’(x)• Các phân phối xác suất• Các đặc trưng của biến ngẫu nhiên:

– - Kỳ vọng, ký hiệu E[X], EX, EX– (trung bình của biến ngẫu nhiên)– - Phýõng sai (Variance)– độ lệch chuẩn– - Mô men cấp k, mô men trung tâm,

mô men gốc

RxxXPxF ∈<= ),()(

∫=≤≤β

α

βα dxxfXP )()(

[ ]

⎥⎦⎤

⎢⎣⎡=

⎥⎦⎤

⎢⎣⎡=

=

−

−

∫∞

∞−

)(

)()(

)(

)(

][22

α

σX

XEX

XE

k

k EX

EX

dxxxf

v0=α