中級計量経済学統計学の復習1 - keio...

11

中級計量経済学統計学の復習1

担当：長倉大輔

（ながくらだいすけ）

22

離散型確率変数

確率変数とは？

ある現象が確率的に起こったときにその現象に対応する数値の事を確率変数という。

株価収益率などは数値そのものだが、お天気などの場合にも、晴れの時には「1」、曇りの時には「2」などのようにそれぞれの現象に数値を対応させる事ができる。

そのような変数を考えれば、それは確率変数である。

33


確率変数の種類

(離散型確率変数)

サイコロの目や、晴れの時には「1」、曇りの時には「2」のように離散的に値をとる確率変数を離散型確率変数という。

(連続型確率変数)

株価収益率、身長、体重などのように連続的に値をとる確率変数を連続型確率変数という。

44


確率関数

離散型確率変数 Xは m個の実数 xi , i =1,…, mを実現値として取り、それぞれの実現値の確率は pi , i =1,…,

m であるとしよう。この時、この離散型確率変数 Xの確率関数 pX (.) は

pX (xi) = pi, 0 < pi < 1,

を満たし、また y ≠ xiに対しては

pX (y) = 0

を満たす関数である(慣例として大文字 X で確率変数、小文字 x で確率変数 Xが取りうる値を表す)。

55


つまり確率関数とは離散型確率変数の取りうる値にその確率を対応させる関数の事である。

pi , i =1,.., mは確率であるから

を満たす。

1...11 mmi i ppp

66


(例1) コイン投げ確率変数 Xはコインを投げて表が出たら X = 1、裏が出たら X = 0 という実現値を取るとしよう。

表が出る確率も裏が出る確率も 1/2 とする。この時、X

の確率関数 pX (x) は

pX (1) = 1/2, pX (0) = 1/2, pX (y) = 0 for y ≠ 1, 0

となる。

77


(例2) サイコロの目サイコロの目を離散型確率変数とみなし、それを X

としよう。X の取りうる値は X = 1, 2, 3, 4, 5, 6 である。

全ての目は同じ確率で出るとすると、この Xの確率関数 pX(x) は

pX (1) =1/6, pX (2) =1/6, pX (3) =1/6,

pX (4) =1/6, pX (5) =1/6, pX (6) =1/6,

pX (x) = 0 for x ≠ 1, 2, 3, 4, 5, 6

となる。

88


累積分布関数

ある実数 x に対して確率変数 X が x 以下の値である確率 Pr (X ≤ x )を対応させる関数を累積分布関数という。

この定義は連続型確率変数に対してもあてはまる。

99


離散型確率変数の場合、具体的には以下のようになる。

ある離散型確率変数 X が m 個の実数: x1 < x2 < … < xm

を取るとしよう。この時、X の累積分布関数 FX (x)は

FX (x) = Pr(X ≤ x) =

と定義される。ここで pX (x) は X の確率関数、xjはx1,…, xmのうち x 以下で最も大きい数である。

j

i iX xp1

)(

1010


(例3) サイコロの目先ほどのサイコロの例では

となる。

x

x

x

x

x

x

x

xXxF

6,1

65,6/5

54,6/4

43,6/3

32,6/2

21,6/1

1,0

)Pr()(

1111


(サイコロの目の分布関数のグラフ)

1 2 3 4 5 6

1/6

2/6

5/6

3/6

4/6

1

1212


例題 1

コイン投げの例に出てきた確率変数 Xの累積分布関数を求め、そのグラフを書け。

1313


平均と分散

データを要約する際に標本平均と標本分散を計算した。

同様に、確率分布を要約するために確率分布に対しても平均と分散を定義する。

離散型確率変数の平均と分散は以下のように定義される。

確率変数の平均は期待値とも呼ばれる。今後はこの2つの単語を併用する。

1414


離散型確率変数 Xが m個の実数 x1,…, xmを取り、その確率関数を pX (xi) としよう。この時、Xの平均は

分散は

と定義される。E(X) と var(X) はそれぞれ平均と分散を表す(英語の Expectation (期待値) と Variance (分散)の略)。

m

i iXi

mXmX

xpx

xpxxpxXE

1

11

)(

)(...)()(

m

i iXi xpxX1

2 )()()var(

1515


標本数 nの標本平均はそれぞれの観測値に 1/n という重みを付けた加重平均であるのに対して、確率分布の平均は取りえる値のそれぞれをその値の確率で重みをつけた加重平均である。

確率分布の平均と分散についても、平均は分布の中心、分散(およびその平方根をとった標準偏差)は分布のばらつき具合を表すという解釈は標本平均、標本分散の場合と同じである。

1616


平均と分散の性質

標本平均や標本分散で成り立つ性質は確率分布の平均や分散でもそのまま成り立つ。以下は代表的なものである。

(平均)

(1) 定数 cについて E(c) = c,

(2) E(X – μ) = 0,

(3) E(aX + b) = aμ +b,

(4) E(X + Y) = E(X) + E(Y)

(分散)

(1) var(X) = E(X 2) – μ2,

(2) var(aX + b) = a2var(X),

1717


ベルヌーイ分布

コインを投げて表か裏が出るような、

(1) 起こりうる出来事(根元事象)の数が 2 つしかなく、(2) 表が出れば X = 1、裏が出れば X = 0 のようにそれぞれの起こりうる出来事に 0 と 1 が対応し、

(3) それぞれの確率が

Pr(X = 1) = p, Pr (X = 0) =1 – p, 0 < p < 1

で与えられる確率変数 X の分布をベルヌーイ分布という。

1818


例題 2 (ベルヌーイ分布の期待値と分散)

ベルヌーイ分布の期待値と分散が

E(X) = p, var(X) = (1 – p) p

となる事を示しなさい。

1919


2 項分布 (Binomial distribution)

n個の独立なベルヌーイ確率変数 X1, X2,…, Xnを考えるXi (i =1,…,n) は全て同じベルヌーイ分布 Pr(Xi = 1) = p,

Pr(Xi = 0) =1 – p に従うとする。この時

Y =X1 + X2 + … + Xn

を 2 項確率変数と呼び、その確率分布を 2 項分布と呼ぶ。確率変数 Y が上のような 2 項分布に従っているとき、

Y～B(n, p)

と書く。Bは Binomial の頭文字、～はその右側の分布に従っているという意味である。

2020


2 項分布の意味

2 項分布は成功確率 pの試行を n 回行った時の成功した回数と見なす事ができる。

「成功」したら Xi =1、「失敗」したら Xi = 0 とすると

試行 X1, X2, X2, X3, …… , Xn

結果 0, 1, 1, 0, …… , 1

→ Y = X1 + X2 +… + Xn は成功した回数と等しい。

2121


2 項分布の確率、期待値、分散

2項分布において、Y = k となる確率は

Pr(Y = k) = nCk pk (1 – p)n–k

で与えられる。ここでnCkは

で与えられる。 n!は n の階乗と呼ばれ、

と定義される。特に n が 0 の場合は 0! = 1 と定義される。 1 の階乗も 1 である事に注意 ( 1 ! = 1 )。

)!(!

!

knk

nCkn

　

123)...2()1(! nnnn

2222


2 項分布の確率、期待値、分散

2項分布の期待値と分散は

E(Y) = pn, var(Y) = np (1– p)

で与えられる。これは宿題で確認する。

2323


例題 3 (2 項確率の計算)

ある子供が5 匹の金魚をすくったとする。個々の金魚が1 週間以内に死ぬ確率は0.9だとしよう。また個々の金魚の生死は独立だとしよう。一週間後(1) 少なくとも一匹生き残る確率を求めなさい。(2) 多くとも一匹しか生き残れない確率を求めなさい(3) 何匹生き残る事が期待できるか？

(期待値を求める)

2424

演習問題

1.サイコロを10回振った時の1の目が出る回数の期待値を求めなさい。

2. あるクイズ問題は合計で10問あるとする。この1問につき正解すると4点、失敗すると –1点になるとしよう。あなたの正答率を Pr(正答する) =1/3とすると、合計点が 0点以上となる確率はいくらになるか。

3. 上の問題において得点の期待値を求めなさい。

2525


同時確率と周辺確率

表が出る確率も裏が出る確率も共に1/2 の 2 枚のコインをそれぞれコイン1, コイン2 とし、Xi をコイン i (i =1, 2)

の目に対応する確率変数とする。

Xi はコインiを投げて、表が出たとき 1 を取り、裏が出たときに 0を取るとする。この時、X1, X2が共に 1 を取るような確率、すなわち

Pr(X1 = 1, X2 = 1)

のような確率を X1 と X2の同時確率という。

2626


同時確率に対して

Pr(Xi = 1) = 1/2 , Pr(Xi = 0) = 1/2, i =1, 2

を周辺確率とよぶ。

2727


独立

2 つの(離散型)確率変数 X1 と X2 に対して、その同時確率がそれぞれの周辺確率の積と等しいとき、すなわち

Pr(X1 = k, X2 = j ) = Pr(X1 = k) Pr(X2 = j) ,

(k, jは X1, X2が取りうる値) が成り立つとき、この 2 つの(離散型)確率変数は独立であるという。

2828


同時確率と周辺確率の関係

さきほどのコインの例で同時確率と周辺確率には

Pr(X1=1) = Pr(X1=1, X2=1) + Pr(X1=1, X2= 0)

のような関係がある事がわかる。これは、根元事象が

{コイン1, コイン2} = {表表}, {表裏}, {裏表}, {裏裏}

の4つであり、これらは互いに排反であるので、

Pr(X1=1) = Pr({表表, 表裏})

= Pr({表表}) + Pr({表裏})

= Pr(X1=1, X2=1) + Pr(X1=1, X2= 0),

となる事よりわかる。

2929


同時確率関数と周辺確率関数

先ほどの例において、例えば X1 と X2 がそれぞれ k

と jになる確率を与える関数

p12(k, j) = Pr (X1 = k, X2 = j )

をこの2つの確率変数の同時確率関数という。

またこの時、X1の確率関数 p1(x)は周辺確率関数と呼ばれる。

X1 と X2 が独立であれば、p12(k, j) = p1(k) p2(j) となる。

3030


一般の場合

2 つの確率変数 X と Yがあり、X は x1, x2, …, xmの m個の値を正の確率で取り、Y は y1, y2, …, ynの n個の値を正の確率で取るとする。この時、X と Y の同時確率関数は

pXY (xi, yj) = Pr(X = xi, Y = yj), i =1, 2, …, m, j = 1, 2,… n,

であり、その周辺確率関数は同時確率関数の和と等しく

を満たす。

njyxpyYyp

miyxpxXxp

m

i jiXYjjY

n

j jiXYiiX

...,,2,1,),()Pr()(

...,,2,1,),()Pr()(

1

1

3131


同時確率関数は、定義より

を満たす

1),(1 1

m

i

n

j jiXY yxp

3232


条件付確率関数

条件付確率に対しては条件付確率関数が定義される。

条件付確率関数の値を求めるには同時確率関数の値を周辺確率関数の値でわってやればよい。先ほどのコインの例では、例えば X1 = 1 という条件付の X2 = 0

の条件付確率関数 p2|1(0| 1) の値は

p2|1( 0 | 1) = Pr (X2 = 0 | X1= 1 )

となる。X1と X2 は独立なのでこれは p2(0)に等しい。

2

1

2/1

4/1

)1(

)0,1(

)1(

)0,1Pr(

1

12

1

21

p

p

XP

XX

3333


条件付平均と条件付分散

離散型確率変数 Xは x1,…, xmの m個の値を取り X=xi

の Y = yjという条件付確率関数の値は pX|Y (xi | yj) = pi | j

で与えられているとする。この時 X の条件付平均と条件付分散は

(条件付平均)

(条件付分散)

のように定義される。

m

i jiiyYXj pxyYXEj 1 ||)|(

m

i jiyYXij pxyYXj1 |

2

| )()|var(

3434


共分散

離散型確率変数 X と Y の共分散 cov( X, Y) は

によって定義される( covは英語の covariance (共分散)

の略)。ここで μX と μYはそれぞれ X と Y の平均であり、pij は pij = pXY( xi, yi) = Pr(X = xi, Y = yj) である。

定義より cov(X, X) = var(X) となることに注意。

m

i

n

j YjXiij

YX

yxp

YXEYX

1 1))((

)})({(),cov(

3535


共分散の性質

(1) cov(X, Y) = E(XY) – μX μY

ここで μX = E(X), μY = E(Y), および

である。

(2) 2つの確率変数 X と Yが独立であれば、

cov(X, Y) = 0,

(3) var(X + Y ) = var(X) + var(Y) + 2cov(X, Y)

(4) cov(aX, bY) = ab cov(X, Y)

m

i

n

j ijji

mnnm

pyx

pyxpyxpyxXYE

1 1

12211111 ...)(

3636


相関係数

確率変数 X と確率変数 Y の相関係数は

によって定義される。標本相関係数の場合と同様、

であり、単位の変化に影響されず線形関係の強さを測るものである。

)var()var(

),cov(

YX

YXXY

11 XY

3737


相関係数の定義より ρXY = 0 となるのは cov(X, Y) =

0 となる時、およびその時に限る。

相関係数は X と Yの間の線形関係の強さを測るものである。よってもし X と Yが独立 (つまり何の関係もない)であれば ρXY = 0 (つまり cov(X, Y) = 0) である。しかしながら、cov(X, Y) = 0 であっても X と Y

は独立とは言えない事に注意が必要である( Y = X2

のようは非線形の関係があるかもしれない）。

3838

宿題 (提出する必要はありません)

1. 離散型確率変数, X, Y, Zについて

(1) var(X) = cov(X, X)

(2) cov(X + Y, Z) = cov(X, Z) + cov(Y, Z)

を示しなさい。

2. m個の独立な確率変数 X1 , …, Xmに関して、

var(X1 + X2 + … + Xm )

= var(X1) + var(X2)+ … + var(Xm)

となる事を共分散の性質(2)と上記の問題 1の(1)と(2)を用いて示しなさい。

3939

宿題 (提出する必要はありません)

3． 2 項分布の期待値と分散が

E(Y) = pn, var(Y) = np (1– p)

となる事を、期待値については平均の性質(4)を用いることによって、また分散については Yが独立な確率変数の和である事に注意して、上記問題2の結果を用いて示せ。

40

連続型確率変数


株価収益率、身長、体重、などのように連続的に値をとる確率変数を連続型確率変数という。

連続的に値をとるとは、どんなに短い区間にも無限に取りうる値があるという事である。例えば 0.5 と 0.51 の間には 0.501が、0.501 と 0.502の間には 0.5011が…というように取りうる値がびっしりと詰まっている。

連続型確率変数に対しては離散型確率変数のように 1

つ 1 つの値に確率を付与するという事ができない。よって点ではなく幅に対して確率を定義する。

40

41


密度関数

離散型確率変数の確率関数に対応するものとして、連続型確率変数に対して、密度関数を定義する。

連続型確率変数 Xに対しては X が区間[a , b] の中の値を取る確率： Pr(a≤ X ≤b) を考える。この確率が

のようにある関数 f (x) の積分で与えられる時、このf (x) をこの確率変数 X の密度関数という。

b

adxxfbXa )()Pr(

41

42


密度関数の性質

密度関数は以下の性質を持つ。

(1) .

(2) 実現値として取りうる xに対して f (x) > 0 .

ある連続型確率分布の特徴は全て密度関数の形状によって決まる。密度関数が同じであれば同じ分布である。

1)Pr()(

xdxxf

42

43


密度関数の図形的意味

確率変数 Xに対して Pr ( a ≤ X ≤ b ) は密度関数 f (x)

の区間 [a, b] での積分、で与えられる。図形的

には下図の黒い部分の面積の値の事である。

b

axxf d)(

a b x

f (x)f (x)

43

b

adxxf )(

44


1 点の確率

連続型確率変数 X に対してPr ( X = a)の確率はどのような値をとるだろうか？

連続型確率変数の確率は上のように面積で定義されるが、Pr (X = a) は線であり面積を持たない。つまり

連続型確率変数が 1 点を取る確率は 0 である

と考えるのである ( Pr (X = a) = 0 )。

44

45


連続型確率変数のこの性質より

Pr ( a ≤ X) = Pr ( a < X ) + Pr (X = a) = Pr ( a < X ),

であり、また同様に

Pr ( a ≤ X ≤ b) = Pr ( a < X < b)

となる。

45

46


累積分布関数

連続型確率変数 Xの累積分布関数も離散型の時と同様に

F(x) = Pr (X ≤ x)

で定義される。連続型確率変数の場合はこれは

のように区間 (– ∞, x] の積分で与えられる。

x

dzzf

xXxXxF

)(

)Pr()Pr()(

46

47


連続型確率変数の分布関数の形状

x

F(x)

1

47

48


連続型確率変数の平均と分散

連続型確率変数の期待値と分散は密度関数を用いて、以下のように定義される。

(平均)

(分散)

連続型確率変数の平均と分散も離散型確率変数のスライドで述べられた性質を全て満たす。

dxxfxXE )()(

dxxfxXEX )()(])[()var( 22

48

49


連続型確率変数の共分散

連続型確率変数 X, Y の共分散は

と定義される。ここで fXY(x, y) は同時密度関数と呼ばれるもので

(1) ,

(2) 実現値として取りうる x, yに対して fXY(x, y) > 0 ,

(3)

を満たすx, yの2変量関数である。

yxyxfyxYX XYYX dd),())((),(cov

49

,dd),(),Pr( d

c

b

aXY yxyxfdYcbXa

1dd),(

yxyxf XY

50


連続型確率変数の共分散も離散型確率変数のスライドで述べられた性質を全て満たす。ただし性質(1) におけるE(XY) は

で置き換えられる。

50

yxyxfxyXYE XY dd),()(

51


連続型確率変数の相関係数

離散型の場合と同じように

と定義される。| ρXY | ≤ 1 を満たす。

)var()var(

),cov(

YX

YXXY

51

52


連続型確率変数の独立性

連続型確率変数 X と Y が独立であるとは同時密度関数がX と Y の密度関数の積として表せる事である。すなわち

fXY (x, y) = fX (x) fY (y)

となる事である。この時 fX (x)と fY (y)を特に周辺密度関数と呼ぶ事もある。

52

53


条件付密度関数

連続型確率変数 X, Yについて Xの Y = y という条件付の密度関数は

と定義される。

同時密度関数の分解

上の定義式の両辺に fY(y) をかけると同時密度関数は

と条件付密度関数と周辺密度関数の積として表す事ができる。

)(

),()|(|

yf

yxfyxf

Y

XYYX

),()()|(| yxfyfyxf XYYYX

53

54


条件付期待値、分散

連続型確率変数 X, Yについて Xの Y = y という条件付期待値と分散はそれぞれ

および

と定義される。周辺密度関数が条件付き密度関数に置き換わっただけである。

dxyxfxyxE YXYX )|()|( ||

dxyxfxyx YXYXYX )|()()|var( |

2

|

2

|

54

55


一様分布(uniform distribution)

確率変数 Xが aから bまで一様に分布している時、その確率変数の分布は一様分布と呼ばれる。その密度関数と分布関数は

となる。

その他0

1

)(bxa

abxf X

xb

bxaab

ax

ax

xFX

1

0

)(

55


一様分布の密度関数

ずうっとつづいている

ba

1

b – a

p q

)Pr( qXp

x

fX(x)

56


一様分布の分布関数

ずうっとつづいている

ba

1

)Pr()( qXqF

q

F(x)

57

58


一様分布の期待値、分散

(期待値) a と bの中間の (b + a)/2 である。

(分散) (b – a)2/12である。

58

59


(補足)一様分布の期待値、分散

一様分布の期待値と分散は、期待値と分散の定義より求められる。

(期待値)

(分散)

より

と計算すればよい。

3

1)(

2222 aabb

dxab

xXEb

a

2)(22

11)(

222 ab

ab

abx

abdx

abxXE

b

a

b

aX

12

)()()var(

222 ab

XEX X

59

60


(0, 1) の一様分布

一様分布で最もよく使われるのは a = 0, b = 1 の場合である。これは(0, 1) の一様分布と呼ばれる。この時

(密度関数) fX(x) = 1, (分布関数) FX(x) = Pr(X ≤ x) = x

(期待値) 1/2 (分散) 1/12

となる。重要な特徴は上記分布関数からもわかるように

「 Xが x 以下になる確率は x である」

という事である。この性質はいろいろな問題を考えるうえで非常に重要になる。

60

61


一様分布の表記

確率変数 Xが( a, b)上の一様分布に従っている時、

X ~ U (a, b)

と表記する。X ~ U (0, 1) であれば X は(0, 1)の一様分布に従っているという事である。

61

62


例題4

確率変数 Xが X ~U (0, 1)の時(a) 確率変数 Z = 5Xの分布関数、および密度関数を求めなさい。

(b) 確率変数W = X 2の分布関数を求めなさい。

62

63


正規分布 (normal distribution)

確率変数 Xが – ∞ から ∞ までの間の実数を取り、その密度関数が

で与えられている時、確率変数 X は正規分布に従っているという。ここで exp[ a ] は eaを、 eは自然対数の底( e = 2.7182818… )を表している。

,2

)(exp

2

1)(

2

2

2

xxf X x

63

64


正規分布の期待値と分散

正規分布の期待値と分散は以下の積分を計算する事によって与えられる。(この計算は難しいので略する)。(期待値)

(分散)

密度関数の中の μ と σ2が期待と分散になっている。

dx

xxdxxxfXE X 2

2

2 2

)(exp

2

1)()(

2

2

2

2

2

2

2

)(exp

2

1)(

)()()var(

dxx

x

dzzfxX X

64

65


正規分布の表記

確率変数 Xが平均 μ , 分散 σ2の正規分布に従っているとき、

X ～N( μ, σ2)

と表記する。

65

66


正規分布の密度関数

正規分布の密度関数は以下の形状をしている(平均 μで左右対称になっている)。

b

adxxf )(

a b

x

f (x)

μ66

67


正規分布の密度関数と平均 μ の関係

分散 σ2 を一定にしたまま平均が μ1 から μ2 に変化すると

密度関数の形状は同じまま平行に移動する。

μ1 μ2

67

68


正規分布の密度関数と分散 σ2の関係

平均 μを一定にしたまま分散ががからに変化すると…

位置は変わらないが、密度関数の広がりが大きくなる。

μ

21

68

)( 21

22

21

22

69


正規分布の性質

正規分布には以下の重要な性質がある

(1) (線形変換しても正規分布) X ~ N (μX, σX2) とすると

Y = aX + b も正規分布に従い

Y ~ N ( aμX + b, a2 σX2)

である。

(2) (和の分布も正規分布) X ~ N (μX, σX2) および Y ~ N

(μY, σY2) である時、 Z = X + Y も正規分布に従い。

Z ~ N (μX + μY, σX2 + σY

2 + 2σXY)

である。ここで σXY = cov(X, Y) である。

69

70


正規分布の性質

(2) の性質を繰り返して用いれば、一般に、 n個の正規分布に従う確率変数の和もやはり正規分布に従う事がわかる。

(2)の性質は任意の確率変数に対して、一般的には成り立たない。

例えば、それぞれが一様分布に従う 2 つの独立な確率変数の和の分布はもはや一様分布ではない。

X1 と X2 は独立で X1 ~ U (0, 1), X2 ~ U (0, 1)とすると、Y = X1 +X2の密度関数は (次ページ)

70

71


一様分布の和の密度関数

(Y の密度関数)

となる(証明は結構難しい)。明らかに一様分布ではない

1

1 2

71

72


標準正規分布

正規分布において期待値 μを μ = 0, 分散 σ2を σ2 = 1 としたものには特に標準正規分布という特別な名前が与えられており、その密度関数は

となる。期待値 μ分散 σ2の正規分布に従う確率変数 X

に対して、新しく確率変数 Z を

Z = (X – μ)/σ

と定義すると、正規分布の性質より、Zは標準正規分布に従うことを示すことができる。

,2

exp2

1)(

2

xxf X

x

72

73


正規分布の分布関数

正規分布の分布関数は明示的には得られない。

(つまり分布関数のという積分が明示的に解けない)。

しかしながら、非常に高精度の近似式がたくさんあり、応用上はそれで十分である。

例えば Excel であれば「 NORMDIST( )」というExcel関数が正規分布の関数を計算してくれる。

x

XX dzzfxF )()(

73

74

演習問題

問題4 確率変数 Xが X ~U (0, 1)の時 Z = a + (b – a) X

はどのような分布になるか答えなさい。ただし、 b > a とする。

問題5 X ~ N (0, σ2 ), Y = X 2とする。cov(X, Y) を求めなさい(ヒント: この時 E(X 3) = 0 である)。

74

中級計量経済学 統計学の復習1 - keio...

Documents

中級計量経済学統計学の復習1 - keio...