Probability & Statistics

2301520 Fundamentals of AMCS

2

“ ”ความแน่�น่อน่คอความไม�แน่�น่อน่ ทฤษฎี�ความน่�าจะเป็�น่ เป็�น่การน่�าคณิ�ตศาสตร�มาใช้ ใน่การอธิ�บายความไม�แน่�น่อน่◦ Sample Space

the set of all outcomes of an experiment◦ Event

a subset of of the sample space ต$วอย�าง 1 ผลท�(ได้ จากการโยน่ล+กเต,าหน่.(งล+ก (discrete) ต$วอย�าง 2 ช้�วงเวลาท�(หลอด้ไฟจะใช้ งาน่ได้ จน่กว�าจะเส�ย

(continuous)

Probability Theory (ทฤษฎี�ความน่�าจะเป็�น่)

3

ให S เป็�น่ Sample space สมม0ต�ว�าเซต B เป็�น่เซตของส$บเซต( หรอ Event) ของ S ท�(ม�สมบ$ต�ต�อไป็น่�3

1. ∈B2. ถ้ า A∈B แล ว Ac∈B 3. ถ้ า แล ว( เร�ยก B ว�าเป็�น่ sigma algebra ของ S)

ฟ5งก�ช้$น่ความน่�าจะเป็�น่ P คอฟ5งก�ช้$น่ท�(ม�โด้เมน่เป็�น่ B และสอด้คล องก$บสมบ$ต�ต�อไป็น่�3

4. P:B→ [0,1]5. P(S)=16. ถ้ าเหต0การณิ� เป็�น่เหต0การณิ�ไม�เก�ด้ร�วม

จะได้ ว�า

Probability Function

1 2, ,A A B1

ii

A B

1 2, ,A A B

11

i iii

P A P A

4

หากม�การทด้ลองท�าซ�3าเพื่(อหาผลอะไรส$กอย�างเป็�น่ระยะเวลา น่าน่ๆ

P(A) บอกถ้.งส$ด้ส�วน่ของเหต0การณิ� A ท�(จะเก�ด้ข.3น่เท�ยบก$บผลท�(เก�ด้ข.3น่ท$3งหมด้

Probability Function

5

ต$วแป็รส0�ม (Random Variable) เป็�น่ต$วแป็รท�(ใช้ แทน่ค�า ของเหต0การณิ�ท�(เก�ด้ข.3น่ โด้ยต องม�ค�าเป็�น่ต$วเลข (ซ.(งอาจ

เป็�น่ต$วเลขท�(เป็�น่ผลของเหต0การณิ�โด้ยตรง หรอ ผลของเหต0การณิ�สามารถ้แทน่ความหมายด้ วยต$วเลขได้ )

ต$วอย�าง 1 X เป็�น่ต$วแป็รส0�มท�(ใช้ แทน่หน่ าท�(เก�ด้จากการโยน่ล+กเต,าหน่.(งล+ก

ต$วอย�าง 2 X เป็�น่ต$วแป็รส0�มท�(ใช้ แทน่หน่ าท�(เก�ด้จากการโยน่เหร�ยญหน่.(งเหร�ยญ

ต$วอย�าง 3 X เป็�น่ต$วแป็รส0�มท�(ใช้ แทน่ช้�วงเวลาท�(หลอด้ไฟ จะใช้ งาน่ได้ จน่กว�าจะเส�ย

Random Variables

6

ฟ5งก�ช้$น่ความหน่าแน่�น่ของความน่�าจะเป็�น่ ถ้ า X เป็�น่ต$วแป็รส0�ม discrete จะเร�ยกว�า probability

mass function (pmf) ซ.(งหมายถ้.ง p(x) = P(X = x)

ถ้ า X เป็�น่ต$วแป็รส0�ม continuous pdf คอฟ5งก�ช้$น่ f(x)≥0 ท�(ม�สมบ$ต�ว�า ต$วอย�างต$วแป็รส0�มจากหน่ าท�( 5

Probability Density Function (pdf)

( ) 1f x dx

7

ฟ5งก�ช้$น่การแจกแจงสะสม ถ้ า X เป็�น่ต$วแป็รส0�ม discrete และม� p(x) เป็�น่ pdf แล ว cdf คอ

ถ้ า X เป็�น่ต$วแป็รส0�ม continuous และม� f(x) เป็�น่ pdf แล ว

cdf คอ

ต$วอย�างต$วแป็รส0�มจากหน่ าท�( 5

Cumulative Distribution Function (cdf)

( ) ( )x

F x f u du

( ) ( )u x

F x p u

8

ค�าคาด้หมาย (Expected Value) ของต$วแป็รส0�ม X แทน่ด้ วย E[X]

ถ้ า X เป็�น่ต$วแป็รส0�ม discrete และม� p(x) เป็�น่ pdf แล ว

ถ้ า X เป็�น่ต$วแป็รส0�ม continuous และม� f(x) เป็�น่ pdf แล ว

ต$วอย�างต$วแป็รส0�มจากหน่ าท�( 5

Expectation

[ ] ( )E X xf x dx

[ ] ( )x

E X xp x

9

ความแป็รป็รวน่ (Variance) ของต$วแป็รส0�ม X แทน่ด้ วยVar(X) น่�ยามเป็�น่

ใน่ทางป็ฏิ�บ$ต� ค�าน่วณิจากส+ตรต�อไป็น่�3จะง�ายกว�า

ต$วอย�างต$วแป็รส0�มจากหน่ าท�( 5

Variance

22( ) [ ] [ ]Var X E X E X

2( ) [ [ ]]Var X E X E X

10

Bernoulli: ต$วแป็รส0�ม X ม�ค�าสองค�าคอ 0 (Failure) และ 1(Success)

parameter: p ( ความน่�าจะเป็�น่ P(X=1)) pmf:

ต$วอย�าง: ให X แทน่ผลล$พื่ธิ�ของการโยน่เหร�ยญ 1 เหร�ยญ โด้ย X=1 หมายถ้.งออกห$ว X=0 หมายถ้.งออกก อย ให

ความน่�าจะเป็�น่ของการออกห$วเป็�น่ 1/3 ด้$งน่$3น่ เราจะได้ p(1) = , p(0) = , E[X]= , Var(X)=

Pmf/pdf ท��ใช้�บ่�อย

1( ) (1 ) , 0,1x xP X x p p x

11

Discrete Uniform ต$วแป็รส0�ม X คอผลจากการทด้ลองท�(ม�ท$3งหมด้ N แบบโด้ยท�(ม�ความน่�าจะเป็�น่ใน่การเก�ด้แต�ละแบบเท�าๆก$น่

parameter: N pmf:

ต$วอย�าง: ให X แทน่หน่ าท�(เก�ด้จากการโยน่ล+กเต,าเท�(ยงตรง1 ล+ก

p(x) = , ส�าหร$บ x=1,2,…,6

Pmf/pdf ท��ใช้�บ่�อย

1( ) , 1,2, ,P X x x N

N

12

Binomial Distribution ต$วแป็รส0�ม X คอจ�าน่วน่ของการทด้ลองท�(ส�าเร:จจากการท�าการทด้ลองซ�3า

ท$3งหมด้ n คร$3ง parameters: n จ�าน่วน่ของการทด้ลองท�าซ�3าท$ 3งหมด้

p ความน่�าจะเป็�น่ท�(การทด้ลองหน่.(งคร$3งส�าเร:จ pmf :

ต$วอย�าง: สมม0ต�ว�าเราโยน่เหร�ยญ 1 เหร�ยญท$3งหมด้ 10 คร$3ง ให X แทน่จ�าน่วน่การโยน่ท�(ให ผลล$พื่ธิ�เป็�น่" “ ห$ว ให ความน่�าจะเป็�น่ของการออกห$วของ

เหร�ยญด้$งกล�าวเป็�น่ 1/3 จงหาความน่�าจะเป็�น่ท�(จะออกห$ว 1) 5 คร$3งพื่อด้�2) ไม�เก�น่ 2 คร$3ง

Pmf/pdf ท��ใช้�บ่�อย

( ) (1 ) , 0,1, ,x n xn

P X x p p x nx

13

Geometric Distribution ต$วแป็รส0�ม X คอจ�าน่วน่ของการทด้ลองท�(ท�าซ�3าจน่กว�าจะส�าเร:จ parameters:

p ความน่�าจะเป็�น่ท�(การทด้ลองหน่.(งคร$3งส�าเร:จ pmf : ต$วอย�าง: ให X แทน่จ�าน่วน่การโยน่การโยน่เหร�ยญ 1 เหร�ยญจน่กระท$(งได้ ผลล$พื่ธิ�เป็�น่" “ ห$ว ให ความน่�าจะเป็�น่ของการออก

ห$วของเหร�ยญด้$งกล�าวเป็�น่ 1/3 จงหาความน่�าจะเป็�น่ท�(จะต องโยน่ท$3งหมด้

1) 5 คร$3งพื่อด้� 2) ไม�เก�น่ 2 คร$3ง

Pmf/pdf ท��ใช้�บ่�อย

1( ) (1 ) , 1,2,xP X x p p x

14

Uniform ต$วแป็รส0�ม X น่�ยมใช้ แทน่ค�าจ�าน่วน่จร�งท�(อย+�ระหว�างช้�วง

[a,b] parameters:

a,b ค�าขอบล�างและบน่ของช้�วง [a,b]

pdf :

Pmf/pdf ท��ใช้�บ่�อย

1( ) ,f x a x b

b a

15

Normal Distribution ต$วแป็รส0�ม X น่�ยมใช้ อธิ�บายป็รากฏิการณิ�หลายอย�างใน่ช้�ว�ตป็ระจ�าว$น่

parameters:μ ค�าเฉล�(ย (mean)

σ คอค�าเบ�(ยงเบน่มาตรฐาน่ (standard deviation) pdf :

ถ้ า μ=0, σ=1 เร�ยกการแจกแจงน่�3ว�าเป็�น่การแจกแจงแบบป็กต� มาตรฐาน่ (Standard Normal Distribution) ค�า pdf ม$กจะ

ใช้ ส$ญล$กษณิ� น่$(น่คอ และค�า cdf ใช้

Pmf/pdf ท��ใช้�บ่�อย

2

2

( )

21( ) ,

2

x

f x e x

( )x2

21( ) ,

2

x

x e x

( )x

16

พื่�จารณิาล�าด้$บของต$วแป็รส0�มท�(เป็�น่อ�สระต�อก$น่และม�การ แจกแจงเหมอน่ก$น่ (independent and identically

distributed หรอ iid) โด้ยการแจกแจงด้$งกล�าวม�ค�า เฉล�(ยและความแป็รป็รวน่เป็�น่ค�าจ�าก$ด้ ผลรวมของต$วแป็ร

ส0�มเหล�าน่$3น่ใน่จ�าน่วน่ท�(มากพื่อ จะม�การแจกแจงเข าใกล การแจกแจงแบบป็กต�

Central Limit Theorem (CLT)

17

Tools for organizing and analyzing data. Two branches

◦ Descriptive Statistics “describe” data, e.g. mean, mode, median,

frequency◦ Inferential Statistics

make predictions or comparisons about a population using information from a smaller group (sample)

Statistics

18

ให N แทน่ขน่าด้ของป็ระช้ากร และ xi แทน่ค�าเช้�งต$วเลข ของป็ระช้ากรท�( i

Population Mean:

Population Variance:

Population

1

1 N

ii

xN

22

1

1 N

ii

xN

19

ให n แทน่ขน่าด้ของกล0�มต$วอย�าง และ yi แทน่ค�าเช้�งต$วเลขของ ต$วอย�างท�( i

Sample Mean:

Sample Variance:

ท$3งค+�เป็�น่ unbiased estimators ของ mean และ variance ของป็ระช้ากร

Sample

1

1 n

ii

y yn

22

1

11

n

ii

s y yn

20

ช้�วงความเช้(อม$(น่ (Confidence Interval) ของ μ ท�(ม�ระด้$บความเช้(อม$(น่ เป็อร�เซ:น่ต� หมายถ้.งว�า

ความน่�าจะเป็�น่ท�( μ จะอย+�ใน่ช้�วงด้$งกล�าวคอป็ระมาณิ จาก Central Limit Theorem ถ้ าขน่าด้ของกล0�มต$วอย�างใหญ�พื่อช้�วงด้$งกล�าวค�าน่วณิได้ จาก

Confidence Interval

100(1 )1

2

12

sy z

n