2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...normal...

33
2.確率分布 2.1 確率変数と確率分布 2.1.1 確率密度分布と累積分布関数 Probability Density Function / Cumulative Distribution Function 2.1.2 ベクトル量の確率密度分布 PDF of vector variables 2.2 重要な確率分布 2.2.1 離散的確率分布と連続的確率分布 Discrete / continuous PDF 二項分布 Binominal distribution ポアソン分布 Poisson distribution 正規分布 Normal distribution 正規化・標準化 Normalization/standardization 中心極限定理 Central Limit theorem その他の確率密度分布 Other distributions 2.2.2 統計量の分布 Statistical distributions χ 2 分布 χ 2 distribution Student’s-t分布 Student’s-t distribution

Upload: others

Post on 24-Jul-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

2.確率分布

• 2.1 確率変数と確率分布–

2.1.1 確率密度分布と累積分布関数

Probability Density Function /

Cumulative Distribution Function

2.1.2 ベクトル量の確率密度分布

PDF of vector variables

• 2.2 重要な確率分布–

2.2.1 離散的確率分布と連続的確率分布

Discrete / continuous PDF

二項分布

Binominal distribution

ポアソン分布

Poisson distribution

正規分布

Normal distribution–

正規化・標準化

Normalization/standardization–

中心極限定理

Central Limit theorem

その他の確率密度分布

Other distributions

2.2.2 統計量の分布

Statistical distributions

• χ2分布

χ2 distribution

• Student’s-t分布

Student’s-t distribution

Page 2: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

Probability density function for a random variable

大気海洋変数の確率密度分布(1)

度数分布Histogram

確率変数と確率分布2.1 確率変数と確率分布

Page 3: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

札幌の日平均気温の時系列と度数分布(1976-1997)

度数分布

大気海洋変数の確率密度分布(2)

サインカーブとランダム分布の重ね合わせ

連続的確率密度分布

Probability density function for a random variable+sin

Daily mean temperature at Sapporo

Page 4: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

Probability density function for a sinosoidal oscillation

大気海洋変数の確率分布(3)

Page 5: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

-5 0 50

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

PDF (normalized aao index)

-5 0 50

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

CDF (normalized aao index)

確率密度関数

累積分布関数Probability Density Function Cumulative Distribution Function

1

確率

Probability

Page 6: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

ベクトル量の確率密度分布

Wind roses (風配図)

Probability distribution of vectors

Page 7: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

ベクトル量の確率密度分布

Wind roses (風配図)

Probability distribution of vectors

Page 8: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

二項分布 Binominal distribution2.2 重要な確率分布

離散的確率分布

E(B)=npV(B)=np(1-p)

Page 9: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

例題

Cayuga Lakeの凍結

p=0.045, n=10, x=1

次の10年間の間に一度だけ凍結する確率は?

10

C1

・0.045 1

・(1-0.045) 10-1

= 0.30

Page 10: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

ポアソン分布 Poisson distribution

E(P)=μV(P)=μ

2.2 重要な確率分布

連続的確率分布

μ=10

x

p(x)

μ=6μ=5

μ=4μ=3

μ=2

μ=1

Page 11: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

実例実例

オホーツク海での海氷厚の頻度分布Example: Sea ice thickness distribution in the Okhotsk

Sea

Page 12: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

氷厚の分布

Page 13: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

氷厚の頻度分布

Page 14: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

乗りあげラフティング

Page 15: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布
Page 16: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

μ:

平均乗り上げ回数m⊿H:氷厚m: 乗り上げ回数

氷厚m⊿Hの海氷のPDF

⊿Hの厚さを持つ氷盤の多数回の乗り上げで説明できる

Page 17: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

モデルの検証(1999年の例)実況:

船舶観測(実線)と係留氷厚計

(破線)による氷厚分布モデル:

Hm=19.7cm,ΔH=5cmに対応

するポアッソン分布(一点鎖線)

Raftingの確率過程モデルN

ラフティング回数

p

積み重ね領域率

μ=3.9 (Hm=20)

Nが大きくpが小さいときにはポアソン分布!

pの分が乗り上げ

乗り上げのない1-pにpの分が乗り上げ

平均乗り上げ4回

Page 18: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

正規分布 Normal distribution(Gaussian)

0.95

0.90

μ-2σ μ-σ μ μ+σ μ+2σ

連続的確率分布

この位置は?

0.68

E(N)=

μ

V(N)= σ2

2.2 重要な確率分布

Page 19: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

1.65

1.96

0.025x2=0.05

0.05x2=0.10

正規分布の確率分布

上側⇔両側Upper tail ⇔Two tail

Page 20: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

Z=

X -μσ

Standardized anomaly

平均

標準偏差

ZはN(0,1)分布に従う

正規化・標準化Normalization/Standardization

Page 21: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

南方振動指数。太線は5か月移動平均値を示す。

http://www.data.kishou.go.jp/climate/elnino/faq/qa/sstsoi.html

SO index

タヒチ海面気圧標準化[A] ダーウィン海面気圧標準化[B]

[A]-[B]を標準化

A strongly negative

SOI for several months indicates an El Nino

event;a strongly positive

SOI for several months indicates a La Nina

実例実例

南方振動指数

ダーウィン

タヒチ

Page 22: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

-5 -4 -3 -2 -1 0 1 2 3 4 50

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

Normalized aao index-5 -4 -3 -2 -1 0 1 2 3 4 50

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

Normalized so index

SO index AAO index

Page 23: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

例題 月平均気温の分布

マイアミの1月の平均気温は、平均値 19℃、標準偏差1.7℃の正規分布に従う。

1月の気温が15℃より低くなる確率を求 めよ。

1月の気温で、上位1パーセントに入る 気温は何℃になるか?

Page 24: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

0.00939約0.9%

2.33X1.7 + 19 =22.9

下側でも同じ

(15-19)/1.7=-2.35

Page 25: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

X1

,X2

,…XN

が独立に同一の分布

E(Xi)=μ, V(Xi)=σ2

に従うとき、

十分おおきなnに対して

X= ∑Xi

/n

は正規分布

N(μ,σ2/n)

に近似的に従う。

中心極限定理

Central Limit Theorem

E,Vさえあえば分布の形はなんでもよい!

Page 26: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

Z=

X

-μσ/√n

標準誤差

標本平均

母平均

としたZの分布は、nを大きくするとともに正規分布N(0,12)に近づく。

中心極限定理(Central Limit Theorem)

Page 27: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

中心極限定理(Central Limit Theorem)

2.69/sqrt(15)=0.69

2.69/sqrt(5)=1.20

2.69/sqrt(10)=0.85

Page 28: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

松山・谷本2005

その他の確率密度分布

対数正規分布?

Page 29: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

χ2分布

のちにスペクトル推定で

自由度nに応じて形が異なる→30以上で正規分布

平均

n分散

2n

2

degrees of freedom

2.2.2

統計量の分布

n

n

Page 30: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布
Page 31: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

Student’s-t分布

のちにコンポジット・回帰で

自由度nに応じて形が異なる→30以上で正規分布

平均

0分散

n/(n-2)

標準誤差で割ったもの

n

n

Page 32: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布
Page 33: 2.確率分布 - 北海道大学climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/...Normal distribution (Gaussian) 0.95 0.90 μ-2 σμ-σμ μ+ σμ+2σ 連続的確率分布

まとめ

目的とする変数が従う確率密度分布を把握す る。

二項分布は分布関数の基礎である。•

正規分布は最も重要な分布関数である。標準

化を行うと取り扱いが容易である。•

中心極限定理により、すべての一様分布の標

本平均の分布は正規分布に帰着する。•

正規分布からχ2分布、Student’s t分布が導

かれる。これらの分布は統計的検定に利用さ れる。