11

統計学パラメーターの推定

担当： 長倉 大輔

（ながくらだいすけ）

22

パラメーターの推定

◼ パラメーターとは ?

パラメーターとは母集団の分布を特徴付ける値の事である。

例えば、N (μ, σ2) の正規分布では μ と σ2がパラメーターと見なされる。

U (a, b) の一様分布であれば a と bがパラメーターと見なされる。

B(n, p) の2項分布であれば n と p がパラメーターと見なされる。

33

パラメーターの推定

◼ パラメーターとは ?

確率分布が未知の時には、平均 μや、分散 σ2をパラメーターと見なす事ができる。

通常、パラメーターは未知であるので(これを未知パラメーターと呼ぶ)、標本よりこれらを推定する事を未知パラメーターを推定するという。

44

パラメーターの推定

◼ 推定量とは ?

ある統計量が未知パラメーターを推定する目的で使われた場合に、推定量と呼ばれる。（例: 標本平均は母平均 μ の推定量である）。

統計量は確率変数であるので、推定量も確率変数。

◼ 推定値とは?

推定量に標本の実現値が与えられると推定値になる。

55

パラメーターの推定

◼ 推定の種類

パラメーターの推定には点推定と区間推定がある。

点推定とはパラメーターの値そのものの推定。区間推定とはパラメータがある確率で入る区間の推定。

以下では標本平均を例に取り上げて説明する。

66

パラメーターの推定

◼ 母平均 μの点推定

大きさ nの i.i.d. 標本 {X1, …, Xn}が与えられたとしよう。

分布が未知の場合、母平均 μ の点推定に最もよく使われる推定量は標本平均：

である。

=

=n

i

iXn

X1

1

77

パラメーターの推定

◼ 区間推定

ある確率を設定して、その確率でパラメーターが含まれるような区間を推定する事を区間推定という。推定された区間を信頼区間という。

例えば95%信頼区間を推定するというと、その方法で推定された区間は95%の確率で真のパラメーターの値を含むということである。この95%というのを信頼係数と言う。

88

パラメーターの推定

◼ 区間推定の意味

例えば、なんらかの方法でパラメーター μ の90%

信頼区間が [a, b] と推定されたとする。

この時この90%信頼区間 [a, b] の意味は：(仮に)何度も何度も母集団から標本を抽出して来て、その推定方法で、区間推定をしたとしたら、90% の確率で(100回のうち90回くらい) 推定された区間 [a, b] は真の値 μを含むという事である。

99

パラメーターの推定

◼ 区間推定の注意点

区間推定で誤解しやすいところは、区間が確率変数であって、真のパラメーターの値自体は確率変数ではない定数だというところである。

1010

パラメーターの推定

◼ 信頼区間の推定のイメージ

(矢印は何度も区間推定した時の実現しうる信頼区間)

信頼区間は確率変数である(実際には上の信頼区間のどれか1つだけが実現値である)。

μ

1111

パラメーターの推定

◼ 母平均 μの区間推定

標本平均と中心極限定理を利用して母平均 μの95%信頼区間を推定してみよう。

母分散 σ2 が既知の場合と未知の場合の 2 つの場合に分けて考えてみよう。

1212

パラメーターの推定

◼ 母平均 μ の区間推定(母分散 σ2 が既知の場合)

中心極限定理により、標本平均を標準化したものは漸近的に( n が大きいときに) 標準正規分布に従う(正確にはよく近似できる)、つまり

であるとみなす事ができる。

)1,0(~)(

NXn

Z

−=

1313

パラメーターの推定

ここで、標準正規分布の分布表より

Pr ( – c < Z < c) = 0.95

となるような定数 cを求めると、c = 1.96 である。つまり

Pr(–1.96 < Z < 1.96) = 0.95

である。

1414

パラメーターの推定

これより

となる。

( )

+−=

+−−−−=

−−=

−=

−−=

nX

nX

Xn

Xn

X

nnX

n

XnZ

Xn

96.196.1Pr

96.196.1Pr

96.196.1Pr

)(96.1

)(96.1Pr95.0

を引く

をかける　

より

1515

パラメーターの推定

これは母平均 μ (ある定数)が 2つの確率変数

と に挟まれる確率が95%である

事を示している。

よって μの95%信頼区間の推定値は

となる。このようにして求めた信頼区間は(正規分布が左右対称なので)信頼区間の上限の外側に μがくる確率と下側の外側に μがくる確率が同じになっている。

+−

nX

nX

96.1,96.1

nX

96.1−

nX

96.1+

1616

パラメーターの推定

◼ 区間推定の方法(母分散 σ2が未知の場合)

未知バラメーター σをその推定値で置き換える。よく用いられるのは標本分散の平方根である。

これを先ほどの95%信頼区間に代入すると

となる。

=

−−

==n

i

i XXn

s1

2)(1

1

+−

nX

nX

ˆ96.1,

ˆ96.1

1717

パラメーターの推定

◼ 中心極限定理による信頼区間の公式

中心極限定理による正規近似と標本平均を用いて、母平均の信頼区間を導出する場合、

とかける。ここで は母標準偏差の一致推定量(一致推定量については後述。 としてよく用いられるのは s )、c

は信頼係数の値に依存して決まる定数で、例えば

90%信頼区間 → c =1.64

95%信頼区間 → c =1.96

99%信頼区間 → c =2.58

である。

+−

ncX

ncX

ˆ,

ˆ

1818

パラメーターの推定

◼ 信頼区間の性質

上の例でも見たとおり信頼区間は

(1) 信頼係数が高いほど広い(2) nが大きいほど狭い

という性質を持つ。

(1)は「真の値を含む確率を大きくすれば区間も大きくなる」という事であり、(2)は「標本数が増えれば同じ信頼係数でも信頼区間はより狭くなる」という事である。

1919

パラメーターの推定

例題1 (区間推定1)

ある医薬品会社がガンに効くと思われる新薬を発明した。100 人のガン患者へこの新薬を投与したところ、投与後の腫瘍の大きさの変化の標本平均は –5mm であった( つまり平均的に5mm小さくなったという事)。また、その(標本) 標準偏差は10mm であった。

この新薬の効果の母平均 μの90%、95% および99%信頼区間を求めなさい。

2020

パラメーターの推定

例題2 (区間推定2)

在庫中のある銅線 64巻の各々の破断強度を調べたところ、標本平均576.3、標本標準偏差 8 であった。この破断強度の母平均の90%、95%および99%信頼区間を求めよ。

例題3 (区間推定3)

ある山林からの材木の平均の大きさを知りたいとする。材木144本の標本の高さの平均と標準偏差はそれぞれ20m と3m であった。山の木の高さの母平均の90%、95% および99%信頼区間を求めよ。

2121

パラメーターの推定

例題4 (区間推定4)

例題3において、61%信頼区間を求めなさい。ただし信頼区間の上限より μ が大きくなる確率と下限より μ が小さくなる確率は同じになるように構築する。

2222

宿題1 (提出する必要はありません)

ある新聞社が内閣支持率を調査しようとしている。有権者は確率 pで内閣を支持するとする(この p が真の内閣支持率)。標本平均 を用いて pを推定するとする。この新聞社は推定誤差が±0.05 以内に収まる確率が95%以上となるように nを選びたいと考えている。この時nはいくつ以上必要か? p = 0.5 と仮定して答えよ。

ヒント: 真の内閣支持率を p とすると との差が

となるように nを選ぶという事。この nは真の値 pに依存した形で出てくる。

np

95.0)05.0ˆ05.0Pr()05.0|ˆ|Pr( −−=− pppp nn

np

2323

パラメーターの推定

◼ 推定量の評価

大きさ n の標本 {X1, …, Xn} が与えられた時に母平均の推定量としてどのようなものが考えられるだろうか?

まず真っ先に標本平均 があげられる。さらに分布が左右対称であればメディアンも母平均の推定量として使える(この時母メディアンと母平均は等しいので)。

さらに適当な Xi (例えば X5 ) を持ってきて、これを母平均の推定量という事もできる。

さらにさらに適当な定数 aを持ってきてこれを母平均の推定量という事もできる。

X

2424

パラメーターの推定

◼ 推定量の評価

このように推定量は無数に考える事ができる。

無数の推定量の中から、どのような推定量を選べばよいのだろうか？何かを比較し選択する場合には何らかの基準がいる。推定量の比較については次の3つの基準が代表的なものである。

1.一致性2．不偏性3．効率性(有効性)

2525

パラメーターの推定

◼ 一致性

1つ目の推定量の比較の基準に一致性がある。

これは言葉でいうならば、推定量がパラメーターの真の値から離れる確率が標本が大きくなるにつれて、どんどん小さくなるという事を意味している。正確には Tn が一致性を持つとは、ある ε > 0に対して

という事である。これを Tn が μに確率収束するという。これは

と書く。

0)||Pr(lim =−→

nn

T

=→

nn

Tplim

2626

パラメーターの推定

◼ 一致推定量

一致性のある推定量を一致推定量という。

一致性は推定量が推定量として意味があるために最低限満たさないといけない性質といってよいだろう。

2727

パラメーターの推定

◼ 一致推定量の分布

μ

T150の分布

T30の分布

T50の分布

T100の分布

2828

パラメーターの推定

◼ 不偏性

2 つめの基準は不偏性と呼ばれるものである。例えば母平均 μの推定量 Tn = T (X1,…, Xn) が不偏性を持っているとは

E(Tn) = μ

となる事である(推定量は確率変数である事に注意)。

つまり、「推定量の期待値が推定したい未知パラメーターと等しい」という事である。このような推定量を不偏推定量という。

2929

パラメーターの推定

◼ 一致性と不偏性の関係

一般的に一致推定量は必ずしも不偏推定量ではなく、また逆に不偏推定量も必ずしも一致推定量ではない。

(例：不偏推定量だが一致推定量ではないもの)

例えば母平均 μの推定量 Tn として Tn = X5 (標本の中の5番目の値)とすると、E(X5) = μであるので Tnは不偏推定量であるが、一致推定量ではない。

ただし、もちろん不偏推定量であり、一致推定量でもある推定量は存在する。例えば標本平均 は母平均 μ

の不偏推定量であり、一致推定量でもある。X

3030

パラメーターの推定

◼ 推定量の不偏性

μ

不偏推定量の分布

不偏でない推定量の分布

3131

パラメーターの推定

◼ 効率性(有効性)

推定量を選ぶ 3 つ目の基準に効率性(有効性)がある。

2 つの不偏推定量 Tn , Lnがあった時に、推定量 Tn の方が効率的であるとは Tnの方が分散が小さい、つまり

var(Tn) < var (Ln)

という事である。

3232

パラメーターの推定

◼ 効率性の比較

μ

Tnの分布

Lnの分布

var(Tn) < var(Ln)

3333

パラメーターの推定

◼ 効率性の比較

先ほどの例では不偏推定量どうしの分散を比べた。

これは、不偏推定量ではない場合、分散が小さいというだけでは、必ずしもよい推定量とは言えないからである。これは次の例を見ればわかる。

3434

パラメーターの推定

◼ 効率性の比較

(例：分散が 0 の推定量)

母平均 μの推定量として、適当な定数 aに対して、推定量 Tn を Tn = a とすれば、この推定量の分散は

var(Tn) = var(a) = 0 (定数の分散は0)

であるので0 である。

このような推定量は、しかしながら、偶然 a = μ とでもならない限りはよい推定量でないのは明らかであろう。この推定量はもちろん一致性もない。

3535

パラメーターの推定

◼ 不偏でない推定量の効率性の比較

推定量の良さを見る基準として「不偏性」と「効率性」を見てきたが、不偏性を満たさない推定量どうしを比較しないといけない場合もある。例えば 、未知パラメーター μの推定量として 2 つの不偏でない推定量 Tn と Ln があり、

| E（Tn) – μ | < | E(Ln) – μ |

(推定量の期待値は Tnの方がμ に近い)、かつ

var(Tn) > var(Ln)

(推定量の分散は Lnの方が小さい)

のような場合、どちらがよい推定量といえるだろうか？

3636

パラメーターの推定

◼ 不偏でない推定量の効率性の比較

μ

Tnの分布 Lnの分布

E(Tn) E(Ln)

3737

パラメーターの推定

◼ バイアスと分散

Tnは、推定量の期待値がパラメータ μにより近いが、分散が大きいので、離れた値をとる確率も大きい。

Ln は推定量の期待値はパラメータ μ から離れているが、分散が小さいので、μから離れた値をとる確率は小さい。

推定量の期待値とパラメーターの差をバイアスという。Tn のバイアス : E(Tn) – μ

3838

パラメーターの推定

◼ 平均二乗誤差 (Mean Squared Error)

バイアスと分散の両方をバランスよく考えるひとつの基準として平均二乗誤差と呼ばれるものがある。以下のように定義される。

(未知パラメーター μの推定量 Tn の平均2乗誤差)

MSE(Tn) = E [( Tn – μ )2]

Mean Squared Error なので略してMSE と呼ばれる。

3939

パラメーターの推定

◼ 平均 2乗誤差 (Mean Squared Error)

MSEは以下のようにバイアスと分散に分解できる。μn = E(Tn) とおこう(これは確率変数ではない事に注意)。

MSE(Tn) = E [( Tn – μ )2]

= E [( Tn – μn + μn – μ )2 ]

= E [(Tn – μn)2 + 2(Tn – μn) (μn – μ ) + (μn – μ )2]

= E [(Tn – μn)2] + 2 (μn – μ )E(Tn – μn) + E [(μn – μ )2]

= var (Tn) + (μn – μ )2

第 2 項は Tnのバイアスの2乗である。MSEが小さいということは分散とバイアスの両方が小さいということである。

4040

宿題2 (提出する必要はありません)

パラメーター μの推定量として Tnを考える。標本の大きさ nが大きくなるにつれて、TnのMSE が 0 に収束するならば、Tn は μの一致推定量であることを証明しなさい。

ヒント: 以下のマルコフの不等式において X = (Tn – μ)2 とおいたものを用いる。(マルコフの不等式)

確率変数 X と任意の定数 c > 0 に対して

が成り立つ。

c

XEcX

)||()||Pr(

4141

演習問題

問題1

調査会社があるテレビ番組の視聴率を調査したところ、1600世帯のうち320世帯で当該番組を視聴していた。

各世帯は確率 pでこの番組を見るとする(このp を真の視聴率とする)。このテレビ番組の視聴率の90%, 95%,

および 99％信頼区間を推定をしなさい。

母集団の標準偏差の推定値は pの推定値 を用いて

で推定しなさい。

p

)ˆ1(ˆˆ pp −=

4242

演習問題

問題2

母平均 μ 、母分散 σ2を持つ分布から、大きさ nの iid標本 {X1 , …, Xn} が得られたとする。μ の推定量として

という推定量を考えよう。(a) この推定量は不偏推定量か?

(b) この推定量のMSE を求めなさい。(c) n > 1 の時、(b) で求めたMSE と標本平均 のMSEではどちらが小さいか?

ヒント および

=

+=

n

i

iXinn

1)1(

2~

X

2

)1(

1

+=

=

nni

n

i6

)12)(1(

1

2 ++=

=

nnni

n

i