Лекция 2. Статистики первого типа. Точеченые оценки и их свойства
Грауэр Л.В., Архипова О.А.
CS center
Санкт-Петербург, 2016
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 1 / 49
Cодержание
Содержание
1 Статистики первого типаСтатистики первого типаТеоремы непрерывностиПредельное распределение статистик первого типа
2 Точечные оценкиСвойства точечных оценокНесмещенностьСостоятельностьЭффективностьАсимптотическая нормальность
3 Методы построения точечных оценокНеравенство Рао-Крамера
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 2 / 49
Статистики первого типа Статистики первого типа
Статистики
Рассмотрим генеральную совокупность ξ и выборку X[n]
Определение 1
Статистикой будем называть любую борелевскую функцию, заданную на выборочномпространстве, S(X[n]).
Примеры
X =1
n
n∑i=1
Xi
S(X[n]) = supx|F (x)− F ∗n (x)|
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 3 / 49
Статистики первого типа Статистики первого типа
Статистики первого типа
Рассмотрим функционал G (F ), заданный на множестве функций распределения:
G (F ) = h
∞∫−∞
g(x)dF (x)
,
где g : R→ Rm — заданная борелевская функция,h : Rm → Rl некоторая борелевская функция, непрерывная в точкеa =
∫∞−∞ g(x)dFξ(x) ∈ Rm.
Назовем статистику S(X[n]) = G (F ∗n ) статистикой первого типа.Таким образом,
S(X[n]) = G (F ∗n ) = h
(∫ ∞−∞
g(x)dF ∗n (x)
)= h
(1
n
n∑i=1
g(Xi )
).
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 4 / 49
Статистики первого типа Статистики первого типа
Примеры
a∗k =1
n
n∑i=1
X ki
h(t) ≡ t, g(x) = xk , G (F ∗n ) = a∗k
s2 =1
n
n∑i=1
(Xi − X )2
s2 =1
n
n∑i=1
X 2i − X 2
h(t1, t2) ≡ t2 − t21 , g(x) = (g1(x), g2(x)) = (x , x2)
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 5 / 49
Статистики первого типа Статистики первого типа
Теорема 1
Пусть S(X[n]) = G (F ∗n ) — статистика первого типа, тогда имеет место сходимость:
S(X[n])п.н.−−−→
n→∞h(a) = G (Fξ).
Пусть у ξ существует ak = Eξk ∈ R , тогда
a∗kп.н.−−−→
n→∞ak .
Пусть у ξ существует a0k = E (ξ − Eξ)k ∈ R , тогда
a0∗k
п.н.−−−→n→∞
a0k .
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 6 / 49
Статистики первого типа Статистики первого типа
Рассмотрим случайный вектор ξ = (ξ1, . . . , ξm)T с m компонентами. Пусть имеетсявыборка:
(X1,X2, . . . ,Xn) =
X11 X12 . . . X1n
X21 X22 . . . X2n
. . . . . . . . . . . .Xm1 Xm2 . . . Xnm
.
Рассмотрим компоненты ξk и ξl , им соответствуют элементы выборки: Xk1, . . . ,Xkn иXl1, . . . ,Xln.
1
n
n∑i=1
XkiXliп.н.−−−→
n→∞E (ξkξl), Xk Xl
п.н.−−−→n→∞
EξkEξl ,
тогда имеет место сходимость почти наверное для выборочного коэффициентакорреляции:
%(ξkξl) =cov(ξk , ξl)√
s2k s
2l
п.н.−−−→n→∞
%(ξkξl).
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 7 / 49
Статистики первого типа Теоремы непрерывности
Теоремы непрерывности
Теорема 2
Пусть η — случайная величина, заданная на вероятностном пространстве (Ω,F ,P),последовательность случайных величин ηn также задана на (Ω,F ,P). Пустьборелевская функция H : R −→ R непрерывна на борелевском множестве B ∈ B(R),Pη ∈ B = 1, тогда справедливы утверждения:
1 Если ηnп.н.−−−→
n→∞η, тогда H(ηn)
п.н.−−−→n→∞
H(η).
2 Если ηnp−−−−→
n−→∞η, тогда H(ηn)
p−−−−→n−→∞
H(η).
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 8 / 49
Статистики первого типа Теоремы непрерывности
Теорема 3
Пусть борелевская функция H : Rm → Rk непрерывна на B ∈ B(Rm) и Pη ∈ B = 1.Пусть ηTn = (η1n, . . . , ηmn)
d−−−→n→∞
η, тогда H(ηn)d−−−→
n→∞H(η).
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 9 / 49
Статистики первого типа Теоремы непрерывности
Теорема 4
Пусть последовательность случайных величин ηn сходится по распределению к случайнойвеличине η, ηn
d−−−−→n−→∞
η. Пусть функция H : R→ R — борелевская функция. Числоваяпоследовательность bn −−−→
n→∞0, причем bn 6= 0 для любого n. Тогда справедливы
утверждения:1 Если функция H дифференцируема в точке a ∈ R, то
H(a + bnηn)− H(a)
bn
d−−−−→n−→∞
H ′(a)η.
2 Если функция H дифференцируема в некоторой окрестности точки a, H ′(a) = 0, исуществует H ′′(a), то
H(a + bnηn)− H(a)
b2n
d−−−−→n−→∞
1
2H ′′(a)η2.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 10 / 49
Статистики первого типа Предельное распределение статистик первого типа
Предельное распределение статистик первого типа
Теорема 5
Пусть имеется выборка X[n] из ξ с функцией распределения Fξ и
S(X[n]) = h
(1n
n∑i=1
g(Xi )
)— статистика I типа, борелевские функции h : R −→ R,
g : R −→ R, тогда справедливы утверждения:1 Если существует h′(a), то
√n(S(X[n])− h(a)
) d−−−−→n−→∞
h′(a)ζ,
где ζ ∼ N(0,√
Dg(ξ)).2 Если h′(a) = 0 и существует h′′(a), то
n(S(X[n])− h(a)
) d−−−−→n−→∞
1
2h′′(a)ζ2.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 11 / 49
Статистики первого типа Предельное распределение статистик первого типа
Теорема 6
Пусть задана статистика I типа S(X[n]) = h
(1n
n∑i=1
g(Xi )
)и борелевские функции
h : Rm → R, g : R→ Rm, тогда справедливы утверждения:
1 Если существует h′(a) =(∂h∂t1, . . . , ∂h∂tm
)∣∣∣t=a
, где a = Eg(ξ) = (Eg1(ξ), . . . ,Egm(ξ)), то
√n(S(X[n])− h(a)
) d−−−→n→∞
h′(a)ζT ,
где случайный вектор ζ = (ζ1, . . . , ζm) подчиняется многомерному нормальномураспределению с параметрами (0,Dg(ξ)), ζ ∼ N(0,
√Dg(ξ)).
2 Если h′(a) = 0 и существует h′′(a), то
n(S(X[n])− h(a)
) d−−−−→n−→∞
1
2ζh′′(a)ζT .
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 12 / 49
Статистики первого типа Предельное распределение статистик первого типа
Пример
Рассмотрим ξ, для которой Eξ = α > 0, Dξ = σ2.Рассмотрим статистику 1/X .Покажем, что 1/X — статистика первого типа.
h(t) = 1/t, g(x) = x , 1/X = h
(1
n
n∑i=1
g(Xi )
).
a =
+∞∫−∞
g(x)dFξ(x) = Eg(ξ) = Eξ = α,
Тогда 1/X = h( 1n
∑ni=1 g(xi )) является статистикой первого типа.
Из теоремы 5 следует, что
√n
(1
X− 1
α
)d−−−→
n→∞ζ
(−1
α2
)= −ζ 1
α2, где ζ ∼ N(0, σ).
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 13 / 49
Точечные оценки Свойства точечных оценок
Точечные оценки
ξ — генеральная совокупность c ф.р. Fξ(x ; θ)θ = (θ1, . . . , θm) — неизвестные параметрыX[n] = (X1, . . . ,Xn) — выборка из ξ
По имеющейся выборке X[n] = (X1, . . . ,Xn) необходимо построить оценку для этихпараметров.
Определение 2
Пусть θ ∈ Θ ⊂ R. Точечной оценкой неизвестного параметра или числовойхарактеристики θ распределения называется статистика θ(X[n]), приближенно равная θ.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 14 / 49
Точечные оценки Свойства точечных оценок
Пример
ξ ∼ N(a, σ), a неизвестно Возможные оценки параметра aX[n] = (X1, . . . ,Xn) — выборка из ξ
X =1
n
n∑i=1
Xi
X0.1 =1
[0.9n]
[0.95n]∑i=[0.05n]+1
X (i)
x∗med =
X(k+1), n = 2k + 1X(k)+X(k+1)
2 , n = 2k
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 15 / 49
Точечные оценки Свойства точечных оценок
Свойства точечных оценок
Несмещенность
Состоятельность
Эффективность
Асимптотическая нормальность
Робастность
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 16 / 49
Точечные оценки Несмещенность
Несмещенность.
Определение 3
Пусть параметр θ ∈ Θ ⊂ R. Говорят, что оценка θ(X[n]) является несмещенной оценкойпараметра θ, если
E θ(X[n]) = θ (1)для любого θ ∈ Θ.
Определение 4
Говорят, что оценка θ(X[n]) является асимптотически несмещенной оценкой параметра θ,если
E θ(X[n]) −−−→n→∞
θ (2)
для любого θ ∈ Θ.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 17 / 49
Точечные оценки Несмещенность
Свойство несмещенности позволяет агрегировать информацию, накопленную вразличных научных центрах.Пусть θ1 — несмещенная оценка параметра θ, полученная в некотором научном центре, θ2
— несмещенная оценка того же параметра, полученная в другом научном центре.Предполагая, что техническая оснащенность научных центров одинаковая, будем считать,что дисперсии оценок одинаковы:
D(θi ) = E (θi − θ)2 = σ2(θ),
E (θi ) = θ, i = 1, 2.
Рассмотрим новую оценку:
θ =θ1 + θ2
2, E θ =
E θ1 + E θ2
2= θ,
тогда имеют место равенства:
D θ = E (θ − θ)2 =1
4E(θ1 − θ) + (θ2 − θ)2 =
σ2(θ)
2.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 18 / 49
Точечные оценки Несмещенность
Примеры
Рассмотрим выборочную дисперсию, проверим, выполнено ли свойствонесмещенности:
Es2 = E
1
n
n∑k=1
(Xk − a1 −
1
n
n∑i=1
(Xi − a1)
)2
=
= E
1
n
n∑k=1
(Xk − a1)2 −
(1
n
n∑k=1
(Xk − a1)
)2 =
=1
n
n∑k=1
E (Xk − a1)2 − 1
n2
n∑k=1
σ2 = σ2 − 1
nσ2 =
n − 1
nσ2
Cледовательно, s2 — смещенная оценка, однако она является асимптотическинесмещенной оценкой: Es2 −−−→
n→∞σ2.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 19 / 49
Точечные оценки Несмещенность
Рассмотрим исправленную оценку дисперсии:
s2 =n
n − 1s2 =
1
n − 1
n∑k=1
(Xk − X )2,
что доказывает, что s2 — несмещенная оценка дисперсии.
Выборочное среднее является несмещенной оценкой для математического ожидания:
EX = E
1
n
n∑k=1
Xk
=
1
n
n∑k=1
EXk = Eξ = a1.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 20 / 49
Точечные оценки Состоятельность
Состоятельность
Определение 5
Пусть параметр θ ∈ Θ ⊂ R. Говорят, что оценка θ(X[n]) состоятельна, если
θ(X[n])p−−−→
n→∞θ (3)
для любого θ ∈ Θ.
Определение 6
Оценка θ(X[n]) называется сильно состоятельной оценкой параметра θ, если
θ(X[n])п.н.−−−→
n→∞θ (4)
для любого θ ∈ Θ.Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 21 / 49
Точечные оценки Состоятельность
Пусть существует Eξk , тогда a∗k — статистика первого рода, где a∗k — эмпирическиймомент порядка k . Тогда a∗k → ak = Eξk , то есть, a∗k является сильно состоятельнойоценкой.
Пусть существует E (ξ − Eξ)k , тогда a0∗k =
1
n
n∑i=1
(Xi − X )k — сильно состоятельная оценка
для теоретического момента, то есть:
a0∗k
п.н.−−−→n→∞
a0k = E (ξ − Eξ)k .
Xп.н−−−→
n→∞a1 = Eξ,
s2 =1
n
n∑k=1
(xk − X )2 п.н−−−→n→∞
a02 = Dξ.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 22 / 49
Точечные оценки Эффективность
Эффективность
Рассмотрим некоторый класс оценок K = θ(X[n]) параметра θ.
Определение 7
Говорят, что оценка θ∗(X[n]) ∈ K является эффективной оценкой параметра θ в классе K ,если для любой другой оценки θ ∈ K имеет место неравенство:
E (θ∗ − θ)2 6 E (θ − θ)2 (5)
для любого θ ∈ Θ.
Класс несмещенных оценок обозначим через
K0 =θ(X[n]) : E θ = θ,∀θ ∈ Θ
.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 23 / 49
Точечные оценки Эффективность
Рассмотрим случай, когда m > 1, то есть, θ = (θ1, . . . , θm).Для любого y ∈ Rm определим αy = (θ, y) = θ1y1 + . . .+ θmym.Тогда α∗y = (θ∗, y) — оценка параметра αy .
Определение 8
Будем говорить, что оценка θ∗ ∈ K является эффективной оценкой параметраθ = (θ1, . . . , θm) в классе K , если для любой другой оценки θ ∈ K и любого y ∈ Rm прилюбом допустимом значении θ ∈ Θ имеет место неравенство:
E (α∗y − αy )2 6 E (αy − αy )2, (6)
где αy = (θ, y).
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 24 / 49
Точечные оценки Эффективность
Теорема 7
Пусть несмещенные оценки θ1 и θ2 параметра θ ∈ Θ ⊂ R являются эффективными, тогдаоценки θ1 и θ2 почти наверное совпадают.
Определение 9
Оценка θ эффективна в классе K0, или просто эффективна, если D θ − D θ 0(неотрицательно определенная матрица), где θ ∈ K0 для любого θ ∈ Θ ⊂ Rk .
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 25 / 49
Точечные оценки Эффективность
Асимптотическая эффективность.
Определение 10
Оценка θ называется асимптотически эффективной в классе K оценок параметраθ ∈ Θ ⊂ R, если
limn→∞
E (θ − θ)2
E (θ − θ)26 1
для любого параметра θ ∈ Θ ⊂ R и любой оценки θ ∈ K .
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 26 / 49
Точечные оценки Асимптотическая нормальность
Асимптотическая нормальность
Определение 11
Пусть оценивается параметр θ ∈ Θ ⊂ R. Оценка θ называется асимптотическинормальной оценкой параметра θ с коэффициентом рассеивания σ2(θ), если
√n(θ − θ)
d−−−→n→∞
ζ ∼ N(0, σ(θ)). (7)
Из этого определения следует, что для любого x ∈ R имеет место сходимость:
P√
n(θ − θ) 6 x−−−−→n−→∞
1√2πσ(θ)
x∫−∞
e− y2
2σ2(θ) dy .
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 27 / 49
Точечные оценки Асимптотическая нормальность
Определение 12
Пусть оценивается параметр θ ∈ Θ ⊂ Rm. Оценка θ = (θ1, . . . , θm) называетсяасимптотически нормальной с матрицей рассеивания Σ(θ), если имеет место сходимостьпо распределению:
√n(θ − θ)
d−−−→n→∞
η ∼ N(0,Σ(θ)).
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 28 / 49
Методы построения точечных оценок
Методы построения точечных оценок
Метод подстановкиМетод моментовМетод максимального правдоподобия
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 29 / 49
Методы построения точечных оценок
Метод подстановки
В качестве точечной оценки неизвестного параметра берем его выборочный аналог.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 30 / 49
Методы построения точечных оценок
Метод моментов
Пусть требуется оценить параметр θ ∈ Θ ⊂ R по имеющейся выборке X[n] = (X1, . . . ,Xn).Рассмотрим борелевскую функцию g(x) : R→ R и определим функцию
m(θ) =∞∫−∞
g(x)dFξ(x ; θ).
Далее положим, что∞∫−∞
g(x)dF ∗n (x) =1
n
n∑i=1
g(Xi ) = g . (8)
Получим уравнение
m(θ) = g =1
n
n∑i=1
g(Xi ). (9)
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 31 / 49
Методы построения точечных оценок
Предположим, что уравнение (9) имеет единственное решение θ(X[n]), тогда будем эторешение называть оценкой θ неизвестного параметра θ, полученной по методу моментов:
θ(X[n]) = m−1
(1
n
n∑i=1
g(Xi )
).
Метод моментов легко обобщить на многомерный случай, при этом,g(x) = (g1(x), . . . , gk(x)), где k — число неизвестных параметров, то есть,θ = (θ1, . . . , θk)T ∈ Θ ⊂ Rk .
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 32 / 49
Методы построения точечных оценок
Свойства оценок, построенных по методу моментов:1 Если функция m−1(y) непрерывна на всей области определения, то оценка по методу
моментов сильно состоятельна.2 Если m′(θ) 6= 0 для всех θ ∈ Θ, тогда оценка по методу моментов асимптотически
нормальна с коэффициентом рассеяния Dg(ξ)(m′(θ))2 , где θ — истинное значение
параметра.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 33 / 49
Методы построения точечных оценок
Пример
Пусть ξ ∼ N(a, σ), тогда θ = (a, σ2)T ∈ Θ = R× R+. Выберем g(x) = (x , x2), тогда
Eg(ξ) =
(EξEξ2
)=
(a
σ2 + a2
),
Нетрудно показать, что
g =
1n
n∑k=1
Xk
1n
n∑k=1
X 2k
=
(X
s2 + X 2
),
Следовательно, оценки по методу моментов имеют следующий вид:a = X ,σ2 = s2.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 34 / 49
Методы построения точечных оценок
Пример
Рассмотрим равномерно распределенную случайную величину ξ с плотностьюраспределения:
fξ(x) =
1θ , x ∈ [0, θ];0, x /∈ [0, θ].
Так как неизвестный параметр один, то g(x) = x . Вычислим математическое ожидание:
Eg(ξ) = Eξ =
θ∫0
x1
θdx =
1
2θx2 =
θ
2.
Уравнение имеет вид:θ
2= X ,
откуда получаем оценку:
θ = 2X = 21
n
n∑k=1
Xi .
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 35 / 49
Методы построения точечных оценок
Метод максимального правдоподобия
Пусть ξ — непрерывная случайная величина с плотностью распределения fξ(x , θ).
Совместная плотность распределения выборки имеет вид:
fX[n](X[n]|θ) =
n∏i=1
fξ(Xi ; θ), где θ = (θ1, . . . , θm) ∈ Θ.
Пусть ξ — дискретная случайная величина с распределением вероятностей pξ(z , θ).Совместное вероятностное распределение выборки имеет вид:
pX[n](X[n]|θ) =
n∏i=1
pξ(Xi ; θ) где θ = (θ1, . . . , θm) ∈ Θ.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 36 / 49
Методы построения точечных оценок
Определение 13
Если генеральная совокупность имеет плотность распределения fξ, то функциейправдоподобия выборки X[n] будем называть функцию
L(X[n], θ) =n∏
i=1
fξ(Xi ; θ).
Определение 14
Если генеральная совокупность ξ — дискретная случайная величина с возможнымизначениями zi и соответствующими вероятностями pξ(zi ; θ), то функциейправдоподобия выборки X[n] будем называть функцию
L(X[n], θ) =n∏
i=1
pξ(Xi ; θ).
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 37 / 49
Методы построения точечных оценок
Для нахождения оценки параметра θ решаем задачу:
maxθ∈Θ
L(X[n], θ).
Определение 15
Оценкой максимального правдоподобия параметра θ называется оценка
θ(X[n]) = arg maxθ∈Θ
L(X[n], θ), (10)
если решение задачи максимизации существует и единственно.
Часто вместо функции L(X[n], θ) рассматривают функцию ln L(X[n], θ), поскольку функцияln(t) является строго возрастающей функцией своего аргумента t, и данный переходправомерен.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 38 / 49
Методы построения точечных оценок
Свойства оценок максимального правдоподобия:
Если функция правдоподобия непрерывно дифференцируема, и выполнены некоторыеусловия гладкости, то можно доказать, что оценки метода максимального правдоподобия—
сильно состоятельны,асимптотически эффективны иасимптотически нормальны.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 39 / 49
Методы построения точечных оценок
Пример
Рассмотрим случайную величину ξ ∼ N(a, σ) с плотностью распределения
fξ(x) =1√2πσ
e−(x−a)2
2σ2 .
Функция правдоподобия имеет вид:
L(X[n], a, σ2) =
n∏i=1
fξ(Xi ; a, σ2) =
1
(2π)n2σn
e
−n∑
i=1(Xi−a)2
2σ2 .
Тогда
ln L = ln1
((2π)12σ)n
−
n∑i=1
(Xi − a)2
2σ2,
продифференцируем по a: ∂ ln L/∂a = 0, или∑n
i=1 Xi − an = 0, откуда a = X .Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 40 / 49
Методы построения точечных оценок
Продифференцируем по σ:
∂ ln L
∂σ= −n
σ+
n∑i=1
(Xi − a)2
σ3= 0,
nσ2 =n∑
i=1
(xi − a)2,
откуда находим решение:
σ2 =1
n
n∑i=1
(Xi − a)2 =1
n
n∑i=1
(Xi − X )2 = s2.
Нетрудно проверить, что X и s2 доставляют максимум функции правдоподобия.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 41 / 49
Методы построения точечных оценок
Пример
Пусть случайная величина ξ подчиняется равномерному распределению с плотностью:
f (x , θ) =
1θ , x ∈ [0, θ];0, x 6∈ [0, θ].
Запишем функцию правдоподобия:
L(X[n], θ) =n∏
i=1
f (Xi ; θ) =
1θn , если для ∀i : Xi ∈ [0, θ];0, если ∃i : Xi 6∈ [0, θ].
Построим вариационный ряд X(1) ≤ . . . ≤ X(n). Таким образом, получаем:
L(X[n], θ) =
1θn , X(n) ∈ [0, θ];0, ∃k : X(k) 6∈ [0, θ].
Очевидно, что оценка максимального правдоподобия θ(X[n]) = X(n).Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 42 / 49
Методы построения точечных оценок Неравенство Рао-Крамера
Неравенство Рао-Крамера
Пусть имеется выборка X[n] из генеральной совокупности ξ с функцией распределенияFξ(x ; θ) и плотностью распределения fξ(x ; θ), где θ ∈ Θ ⊂ R — неизвестный параметр.Функция правдоподобия имеет вид:
L(X[n], θ) =n∏
i=1
fξ(Xi ; θ),
совместная плотность выборки имеет вид:
fX[n](x , θ) = L(x , θ) =
n∏i=1
fξ(xi ; θ).
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 43 / 49
Методы построения точечных оценок Неравенство Рао-Крамера
Имеет место следующее равенство: ∫Rn
L(x , θ)dx = 1. (11)
Пусть имеется оценка θ(X[n]) неизвестного параметра θ, и справедливо следующееравенство:
E θ =
∫Rn
θ(x1, . . . , xn)L(x , θ)dx = h(θ). (12)
Обозначим через In(θ) математическое ожидание:
In(θ) = E
(∂ ln L(X(n), θ)
∂θ
)2
=
∫Rn
(∂ ln L(x , θ)
∂θ
)2
L(x , θ)dx .
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 44 / 49
Методы построения точечных оценок Неравенство Рао-Крамера
Определение 16
Величина In(θ), если математическое ожидание существует и конечно, называетсяинформационным количеством Фишера (соответствующим выборке объема n).
Будем предполагать, что выполнены условия регулярности:Для информационного количества Фишера выполнено неравенство 0 < In(θ) <∞для любого θ ∈ Θ.Равенства (11) и (12) можно продифференцировать и получить следующиеуравнения: ∫
Rn
∂L(x , θ)
∂θdx = 0, (13)
∫Rn
θ(x1, . . . , xn)∂L(x , θ)
∂θdx = h′(θ). (14)
Множество N = x ∈ Rn : L(x , θ) = 0 не зависит от θ.Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 45 / 49
Методы построения точечных оценок Неравенство Рао-Крамера
Теорема 8 (Неравенство Рао-Крамера)
Пусть имеется генеральная совокупность ξ c функцией распределения Fξ(y , θ), гдеθ ∈ Θ ⊂ R. Задана выборка X[n] из генеральной совокупности ξ, и выполнены условиярегулярности, тогда имеет место неравенство:
D θ >(h′(θ))2
In(θ). (15)
Если E θ = θ для любого θ ∈ Θ (то есть, оценка — несмещенная), то справедливонеравенство:
D θ ≥ 1
In(θ).
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 46 / 49
Методы построения точечных оценок Неравенство Рао-Крамера
По определению In(θ) = E(∂ ln L∂θ
)2.
In(θ) = nI1(θ),
где I1(θ) — информационное количество Фишера, соответствующее одному наблюдению.Как видим, наблюдается линейный рост информации.
Из неравенства Рао-Крамера можно сделать вывод, что в регулярном случаедисперсия не может убывать быстрее чем 1/n.Для «хороших» оценок дисперсия должна убывать, разброс должен становитьсяменьше с ростом n.Для несмещенных оценок при выполнении условий регулярности оценка эффективна,если неравенство Рао-Крамера выполнено как равенство.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 47 / 49
Методы построения точечных оценок Неравенство Рао-Крамера
Пример
Пусть ξ ∼ N(a, σ2), методы максимального правдоподобия и моментов дали оценкуa = X , которая является сильно состоятельной, несмещенной, асимптотическинормальной оценкой. Выясним, обращается ли неравенство Рао-Крамера в равенство.Действительно, можно заметить, что
∂ ln L
∂a=
n∑i=1
(Xi − a)
σ2=
n
σ2(X − a),
где
L(X[n], a) =1
(2π)n2σn
e−
n∑i=1
(Xi−a)2
2σ2 .
Случайные величины X и nσ2 (X − a) пропорциональны, следовательно, X — эффективная
оценка.Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 48 / 49
Методы построения точечных оценок Неравенство Рао-Крамера
Биллингсли П.Сходимость вероятностных мер. — М.: Изд. Наука, 1977.
Боровков А.А.Теория вероятностей. — М.: Изд. Наука, 1986.
Боровков А.А.Математическая статистика. — М.: Изд. Наука, 1984.
Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2016 49 / 49