Оглавление

Глава 1. Вероятностное пространство . . . . . . . . . . . . . . . . . . . . 8§1. Случайные события . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8§2. Аксиоматика . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10§3. Свойства вероятностей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13§4. Классическое определение вероятности . . . . . . . . . . . . . . . . . 18§5. Геометрические вероятности. Задача о встрече.Пародокс Бертрана. Задача Бюффона . . . . . . . . . . . . . . . . . . . . . 21§6. Условные вероятности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26§7. Независимость событий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28§8. Формула полной вероятности. Формулы Байеса . . . . . . . . 30

Глава 2. Схема Бернулли . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31§1. Схема Бернулли. Биномиальное и полиномиальноераспределения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31§2. Теорема Пуассона . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33§3. Локальная и интегральная теоремы Муавра-Лапласа . . 34§4. Закон больших чисел . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39§5. Метод Монте-Карло. Вычисление интегралов . . . . . . . . . . 39§6. Моделирование случайных величин . . . . . . . . . . . . . . . . . . . . 43

Глава 3. Цепи Маркова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47§1. Последовательности зависимых испытаний. ЦепиМаркова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47§2. Теорема о предельных вероятностях для цепейМаркова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

Глава 4. Основные вероятностные пространства . . . . . . 56§1. Полуалгебры. Теоремы о продолжении меры . . . . . . . . . . . 56§2. Примеры измеримых пространств . . . . . . . . . . . . . . . . . . . . . . 59§3. Вероятностное пространство (R,B(R), P ) . . . . . . . . . . . . . . . 61

1

§4. Классификация вероятностных мер . . . . . . . . . . . . . . . . . . . . 66§5. Конечномерное вероятностное пространство(Rn,B(Rn)) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70§6. Вероятностное пространство (R∞,B(R∞), P ). . . . . . . . . . . 73

Глава 5. Случайные величины . . . . . . . . . . . . . . . . . . . . . . . . . . . 75§1. Распределения случайных величин . . . . . . . . . . . . . . . . . . . . . 75§2. Свойство измеримости . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81§3. Случайные элементы со значениями в конечномерномпространстве Rk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83§4. Функции распределения в конечномерныхпространствах . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84§5. Независимые случайные величины . . . . . . . . . . . . . . . . . . . . . 88

Глава 6. Математическое ожидание как интергал

Лебега . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92§1. Определение и свойства математического ожидания . . . 92§2. Предельный переход под знаком интеграла Лебега . . . .107§3. Теорема Лебега о мажорируемой сходимости . . . . . . . . . . 110§4. Теорема о замене переменной под знаком интегралаЛебега . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111§5. Формулы для вычисления математического ожидания116§6. Моменты случайных величин. Дисперсия . . . . . . . . . . . . . 120§7. Неравенство Чебышева. Другие неравенства . . . . . . . . . . 123§8. Ковариация, корреляция. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .127§9. Задача о наилучшем линейном прогнозе . . . . . . . . . . . . . . 129

Глава 7. Условные распределения . . . . . . . . . . . . . . . . . . . . . . 131§1. Условные математические ожидания простыхслучайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131§2. Условные математические ожидания произвольныхслучайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137§3. Многомерное нормальное распределение . . . . . . . . . . . . . . 142

Глава 8. Некоторые распределения . . . . . . . . . . . . . . . . . . . . .147§1. Дискретные распределения . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147§2. Непрерывные распределения . . . . . . . . . . . . . . . . . . . . . . . . . . 150

Глава 9. Виды сходимостей случайных величин . . . . . 165§1. Сходимости по вероятности, почти наверное, пораспределению, в среднем, в основном . . . . . . . . . . . . . . . . . . . . 165§2. Критерий сходимости почти наверное. ТеоремаБореля-Кантелли . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

2

§3. Эквивалентность сходимости в основном и сходимостипо распределению. Свойства сходимости в основном. . . . . .174

Глава 10. Характеристические функции . . . . . . . . . . . . . . .179§1. Свойства характеристических функций . . . . . . . . . . . . . . . 179§2. Примеры характеристических функций . . . . . . . . . . . . . . . 191§3. Формулы обращения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191§4. Характеристические функции для нормальногораспределения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195§5. Метод характеристических функций в доказательствепредельных теорем . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

Глава 11. Предельные теоремы . . . . . . . . . . . . . . . . . . . . . . . . . 205§1. Закон больших чисел для независимых одинаковораспределенных случайных величин . . . . . . . . . . . . . . . . . . . . . . 205§2. Центральная предельная теорема для независимыходинаково распределенных случайных величин ислучайных векторов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207§3. Закон больших чисел для независимых произвольнораспределенных случайных величин. Схема серий. . . . . . . . 211§4. Центральная предельная теорема для независимыхпроизвольно распределенных случайных величин. Схемасерий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217§5. Теорема Линдеберга. Теорема Ляпунова . . . . . . . . . . . . . . 222§6. Усиленный закон больших чисел для произвольнораспределенных независимых случайных величин . . . . . . . . 223§7. Усиленный закон больших чисел для одинаковораспределенных независимых случайных величин . . . . . . . . 229

Глава 12. Выборочное пространство . . . . . . . . . . . . . . . . . . . 235§1. Выборка. Выборочное пространство . . . . . . . . . . . . . . . . . . . 235§2. Эмпирическая вероятностная мера. Гистограмма . . . . . 237§3. Теорема Гливенко-Кантелли. Теорема о предельномраспределении эмпирических вероятностей . . . . . . . . . . . . . . . 239§4. Описательная статистика . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

Глава 13. Статистики. Предельные распределения . . 245§1. Статистики первого типа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245§2. Теоремы непрерывности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249§3. Предельное распределение статистик первого типа . . . 253§4. Предельное распределение статистики Пирсона . . . . . . . 255§5. Гамма-распределение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

3

Глава 14. Критерии согласия для простых гипотез . . 263§1. Критерий согласия Пирсона . . . . . . . . . . . . . . . . . . . . . . . . . . . 263§2. Критерий согласия Колмогорова . . . . . . . . . . . . . . . . . . . . . . 266

Глава 15. Точечные оценки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270§1. Свойства точечных оценок. . . . . . . . . . . . . . . . . . . . . . . . . . . . .270§2. Методы построения точечных оценок . . . . . . . . . . . . . . . . . 277§3. Достаточные статистики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282§4. Теорема Неймана-Фишера. Теорема Колмогорова . . . . . 285§5. Неравенство Рао-Крамера . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

Глава 16. Доверительные интервалы . . . . . . . . . . . . . . . . . . .294§1. Асимптотические доверительные интервалы . . . . . . . . . . 294§2. Распределения статистик для выборок из нормальнойгенеральной совокупности. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297§3. Распределение Стьюдента . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300§4. Точные доверительные интервалы для нормальнойгенеральной совокупности. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

Глава 17. Проверка статистических гипотез . . . . . . . . . . 306§1. Проверка двух простых статистических гипотез . . . . . . 306§2. Простые гипотезы о параметрах нормального ибиномиального распределений . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311§3. Гипотезы о параметрах распределений для сложныхальтернатив . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318§4. Распределение Фишера . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321§5. Критерии однородности для двух независимыхвыборок из нормально распределенной генеральнойсовокупности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322§6. Критерий однородности Вилкоксона и Манна-Уитни . 325§7. Непараметрические критерии анализа парныхповторных наблюдений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328§8. Однофакторный дисперсионный анализ . . . . . . . . . . . . . . . 330§9. Критерий однородности Колмогорова–Смирнова. . . . . .333§10. Коэффициенты ранговой корреляции Спирмена иКенделла . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334§11. Коэффициент корреляции Пирсона . . . . . . . . . . . . . . . . . . 337§12. Критерий согласия хи-квадрат для сложных гипотез 339§13. Таблицы сопряженности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340

4

Глава 18. Регрессионный анализ . . . . . . . . . . . . . . . . . . . . . . . . 343§1. Спецификация модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343§2. Метод наименьших квадратов . . . . . . . . . . . . . . . . . . . . . . . . . 344§3. Свойство оценок метода наименьших квадратов . . . . . . 348§4. Построение доверительных интервалов и проверкастатистических гипотез. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .352

Глава 19. Бинарная регрессия . . . . . . . . . . . . . . . . . . . . . . . . . . .358§1. Дискретные данные. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .358§2. Модель линейной вероятности . . . . . . . . . . . . . . . . . . . . . . . . . 359§3. Логит и пробит модели бинарного выбора. . . . . . . . . . . . .361§4. Сравнение значений функций нормального илогистического распределений . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363§5. Оценивание параметров в логит и пробит моделях . . . . 364§6. Численные методы нахождения оценок в логит ипробит моделях . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .366§7. Проверка гипотез о значимости параметров логит ипробит моделей бинарного выбора . . . . . . . . . . . . . . . . . . . . . . . . 371§8. Критерий Вальда . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373§9. Критерий отношения правдоподобия . . . . . . . . . . . . . . . . . . 375§10. Критерии адекватности моделей бинарной регрессии 376

Приложения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379Приложение А Таблица значений функции стандартногонормального распределения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380Приложение Б Таблица квантилей χ2

α,n уровня αраспределения χ2 c n степенями свободы . . . . . . . . . . . . . . . . 381Приложение В Таблица квантилей tα,n уровня αраспределения Стьюдента c n степенями свободы . . . . . . . . 383Приложение Г Таблица квантилей Fα,n,m уровня αраспределения Фишера c n и m степенями свободы . . . . . . 384Приложение Д Таблицы квантилей статистикиВилкоксона . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392Приложение Е Таблица значений функциираспределения Колмогорова. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .393

5

Предисловие

Настоящее пособие содержит подробное изложение университетско-го курса теории вероятностей и математической статистики.

В книге представлены основные разделы курса теории вероят-ностей: свойства вероятностной меры, основные формулы элемен-тарной вероятности, классическое определение вероятности, гео-метрическая вероятность, различные вероятностные пространства,классические предельные теоремы для схемы Бернулли, цепи Мар-кова, математическое ожидание как интеграл Лебега, условные рас-пределения и условные математические ожидания, виды сходимо-стей случайных величин, характеристические функции, классиче-ские предельные теоремы, некоторые специальные распределения.

При написании раздела, посвященного теории вероятностей,были использованы материалы из книг А. Н. Ширяева [35], А. А.Боровкова [4], Б. А. Севастьянова [30], К. Партасарати [27], В. В.Петрова [28], В. Феллера [33], В. Б. Невзорова [25]. Необходимотакже отметить книги [2, 6, 13, 15, 19, 21, 22, 24, 31].

В раздел математической статистики также вошли основныеразделы курса, включая: выборочное пространство, предельныераспределения ряда статистик, критерии согласия для простых исложных гипотез, точечные оценки и методы их построения, при-ближенные и точные доверительные интервалы, различные стати-стические критерии, таблицы сопряженности, регрессионный ана-лиз, логит и пробит модели.

При написании раздела курса, посвященного математическойстатистике, были использованы материалы из книг А. А. Боровкова[5], Б. А. Севастьянова [30], С. С. Валландера [11], С. Р. Рао [29],С. М. Ермакова и А. А. Жиглявского [14], И. А. Ибрагимова и

6

Р. З. Хасьминского [17], Я. Ю. Никитина [26], Г. Крамера [20], P. E.Greenwood, M. S. Nikulin [47], также отметим книги [1, 3, 6, 10, 18,23, 32, 34, 41, 43, 46, 49, 51].

Вопросам практического применения различных статистиче-ских методик посвящены следующие работы [3, 6, 9, 32, 34, 36, 38,42, 44, 50, 52], которые могут быть использованы при проведениипрактических занятий по курсу теории вероятностей и математи-ческой статистики.

Представленный курс теории вероятностей и математическойстатистики читался в течение многих лет на факультете приклад-ной математики — процессов управления Санкт-Петербургского го-сударственного университета.

Авторы книги стремились сделать изложение понятным и до-ступным самому широкому кругу студентов, изучающих основытеории вероятностей и математической статистики, сохранить всебазовые теоремы и подробно изложить теоретические основы кур-са, включая интеграл Лебега, а также включить в курс широкийкруг методик статистического анализа данных, часто применяе-мых в прикладных статистических исследованиях. Для проведенияпрактических занятий по курсу теории вероятностей и математиче-ской статистики авторы рекомендуют использовать задачники Г. В.Емельянова и В. П. Скитовича [12] и А. М. Зубкова, Б. А. Сева-стьянова и В. П. Чистякова [16].

В классических учебниках по теории вероятностей и мате-матической статистике редко можно встретить изложение основрегрессионного анализа. Однако, в связи с большим прикладнымзначением этого раздела математической статистики авторы сочлинеобходимым включить его в настоящую книгу. При написании раз-дела использовался материал из книг С. С. Валландера [11] и W. H.Greene [46]. Еще одной важной прикладной методикой анализа дан-ных является бинарная регрессия, в частности, модели логит и про-бит анализов. При написании главы 19 использовались статьи имонографии [39, 46], [48]-[52].

Авторы признательны студентам Рубша Алене, МанушкинойТаисе, Хамматовой Гузель и Буре Артему, участвовавшим в подго-товке рукописи.

7

Глава 1

Вероятностное пространство

§1. Случайные события

Пусть проводится некоторый опыт, в результате которого можетпроизойти одно из элементарных событий. Под элементарными со-бытиями будем понимать события (исходы), которые нельзя разде-лить на «составные части», также являющиеся событиями. Объеди-нение элементарных событий образует пространство (множество)элементарных событий, которое обычно обозначается через Ω.

Пример 1.1. Пусть проводится эксперимент, в котором подкиды-вается 2 кубика. Тогда

Ω = (a1, a2) : ai = 1, . . . , 6,

где ai — число очков, выпавших на i-ом кубике.В этом случае мощность множества Ω конечна и равна 36.

Пример 1.2. Проведем другой статистический эксперимент, в ко-тором человек приходит на остановку и ждет прихода автобуса.Предположим, что автобус гарантированно приходит в промежуткевремени [0, T ]. Тогда моменты времени, когда приедет автобус, об-разуют множество элементарных исходов Ω = [0, T ]. В этом случаеΩ более, чем счетно, т. е. множество Ω имеет мощность континуум.

Если в примере 1.1 нас интересует событие, которое заключа-ется в том, что на обеих гранях выпадает четное число очков, то-гда событие A можно описать следующим образом: (2k, 2l) : k, l =1, 2, 3. Если в примере 1.2 наложить условие, что время ожидания

8

автобуса не превышает 15 минут, тогда событие B представляетсобой отрезок [0, 15].

События A и B не являются элементарными. Любое событие— совокупность элементарных событий, т. е. любое событие A ⊂ Ω.

Будем говорить, что событие A произошло в том и только втом случае, если произошло элементарное событие ω ∈ A. Событие,заключающееся в том, что происходит хотя бы одно из событий Aили B, обозначим через A∪B = ω : (ω ∈ A) или (ω ∈ B) (см. рис.1.1). Событие, которое происходит, когда происходят одновременнои событие A, и событие B, обозначим через A ∩ B = ω : (ω ∈A) и (ω ∈ B).

Рис. 1.1: Диаграммы Венна

Если A∩B = ∅, то события A и B называют несовместными.Пустое множество ∅ в теории вероятности принято называть невоз-

можным событием, а множество Ω — достоверным событием.Обозначим через A = Ω \A = ω : ω /∈ A дополнение события

A. События A и A — несовместные события, т. е. A∩ A = ∅. Такжеверны следующие равенства:

A = ¯A = Ω \ A,

A ∪ A = Ω.

Через A\B обозначим множество точек из множества Ω, принадле-жащих A, но не принадлежащих B, т. е. A\B = ω : (ω ∈ A) и (ω /∈B).

9

§2. Аксиоматика

Рассмотрим множества A1, . . . , Am такие, что выполнены следую-щие условия:

1. Пересечение любых двух различных множеств является пу-стым множеством: Ai ∩ Aj = ∅ для всех i, j, i 6= j.

2. Объединение всех множеств A1 ∪ A2 ∪ · · · ∪ Am совпадает смножеством Ω.

Определение 2.1. Система множеств Aimi=1, удовлетворяющаяусловиям 1 и 2, называется разбиением множества Ω или полнойгруппой событий.

Определение 2.2. Совокупность A подмножеств множества Ω на-зывается алгеброй, если выполнены следующие условия:

1. Множество Ω принадлежит совокупности A.2. Если множества A и B принадлежат совокупности A, тогда

их объединение A ∪B также принадлежит A.3. Для любого множестваA из A его дополнение A = Ω\A также

принадлежит A.Множества, входящие в алгебру A, будем называть событиями.

Пример 2.1. Приведем несколько примеров алгебр событий:1. A0 = ∅,Ω.2. A1 = 2Ω = A : A ⊂ Ω — алгебра, содержащая все подмно-

жества Ω.3. A2 = A, A, ∅,Ω, где A ⊂ Ω.

Пусть существуют множества Aγ ⊂ Ω, γ ∈ Γ. Справедливызаконы двойственности:

⋃

γ∈Γ

Aγ =⋂

γ∈Γ

Aγ . (2.1)

⋂

γ∈Γ

Aγ =⋃

γ∈Γ

Aγ . (2.2)

Доказательство. Докажем равенство (2.1). Покажем, что мно-жество слева от знака равенства

⋃γ∈ΓAγ является подмноже-

ством множества справа от знака равенства⋂

γ∈Γ Aγ , и наоборот.

10

Рассмотрим произвольное элемнтарное событие ω из множества⋃γ∈ΓAγ . Очевидно, что событие ω не принадлежит объединению⋃γ∈ΓAγ , что означает, что событие ω не принадлежит ни одно-

му множеству Aγ , γ ∈ Γ. Следовательно, событие ω принадлежитвсем дополнениям Aγ для любого γ ∈ Γ. Это означает, что событиеω принадлежит и пересечению этих событий

⋂γ∈Γ Aγ .

Докажем включение в обратную сторону. Рассмотрим событиеω из пересечения

⋂γ∈Γ Aγ . Очевидно, что ω ∈ Aγ для всех γ ∈ Γ,

из чего следует, что событие ω не принадлежит на одному из мно-жеств Aγ , γ ∈ Γ. Тогда можно утверждать, что ω не принадлежити объединению

⋃γ∈ΓAγ . Следовательно, ω ∈ ⋃γ∈ΓAγ .

Аналогично доказывается утверждение (2.2).

Используя законы двойственности, легко показать, что вся-кая алгебра замкнута относительно операции конечного пересече-ния своих элементов. Т.е. для любой алгебры A справедливо, что,если A ∈ A и B ∈ A, тогда A ∩ B ∈ A. Для доказательства рас-смотрим выражение A ∩B. Применим второе утверждение зако-нов двойственности: A ∩B = A ∪ B ∈ A. По определению алгебры(определение 2.2) A ∩B ∈ A ⇒ A ∩B ∈ A.

Определение 2.3. Алгеброй, порожденной множеством B ⊂ Ω,называется система подмножеств α(B) = B, B, ∅,Ω.

Рассмотрим некоторое событие A ∈ A. Проведем статисти-ческий эксперимент N раз. В этом эксперименте событие A про-изошло N(A) раз. Тогда отношение N(A)/N — это относительнаячастота появления события A. При N → ∞ относительная частотастабилизируется, но о сходимости говорить нельзя. Можно гово-рить о «статистической устойчивости» относительных частот. Ве-роятность появления события A, которую обозначим через p, при-ближенно равна N(A)/N .

Замечание 2.1. Теория вероятностей может применяться толь-ко к тем экспериментам, в которых наблюдается «статистическаяустойчивость» относительных частот.

Определение 2.4. Пусть A — алгебра подмножеств множестваΩ. Числовая функция µ(·), заданная на алгебре A, называетсяконечно-аддитивной мерой, если выполнены следующие условия:

11

1. Для любого множества A ∈ A: µ(A) > 0.2. Для любых множествA1, A2 ∈ A таких, что A1∩A2 = ∅, имеет

место равенство:

µ(A1 ∪ A2) = µ(A1) + µ(A2).

3. Значение функции µ для пустого множества равно нулю.Конечно-аддитивная мера µ называется конечной, если µ(Ω) ко-нечно. Если µ(Ω) = 1, то конечно-аддитивная мера µ называетсяконечно-аддитивной вероятностной мерой и обычно обозначаетсячерез P .

Замечание 2.2. Конечно-аддитивная вероятностная мера P , опре-деленная на алгебре A, обладает следующими свойствами:

1. Вероятность P (A) события A неотрицательна для любого A ∈A.

2. Вероятность множества Ω равна единице, P (Ω) = 1.3. Для любых множествA1, A2 ∈ A таких, что A1∩A2 = ∅, имеет

место равенство P (A1 ∪ A2) = P (A1) + P (A2).

Определение 2.5. Пусть A — алгебра подмножеств множества Ω.Конечно-аддитивная мера µ(·), заданная на алгебре A, называетсясчетно-аддитивной (σ-аддитивной) мерой, если выполнено следую-щее условие: если имеется счетная совокупность событий Ai∞i=1,где Ai ∈ A для любого i, что

⋃∞i=1 Ai ∈ A, Ai ∩ Aj = ∅ для всех

i 6= j, тогда имеет место равенство:

µ

( ∞⋃

i=1

Ai

)=

∞∑

i=1

µ(Ai).

Определение 2.6. Счетно-аддитивная мера µ называется σ-конечной, если существует такое счетное разбиение множества Ω =∞⋃i=1

Di, причем для любого i: Di ∈ A и Di ∩ Dj = ∅ для i 6= j, что

µ(Di) <∞.

Определение 2.7. Счетно-аддитивная мера µ называется конеч-ной счетно-аддитивной, если µ(Ω) < ∞. Если µ(Ω) = 1, то счетно-аддитивная мера µ называется счетно-аддитивной вероятностной

мерой или вероятностью.

12

Замечание 2.3. Счетно-аддитивная вероятностная мера P , опре-деленная на A, обладает следующими свойствами:

1. Вероятность любого события неотрицательна P (A) > 0 длялюбого множества A ∈ A.

2. Вероятность множества Ω равна единице, P (Ω) = 1.3. Для любых множествA1, A2 ∈ A таких, что A1∩A2 = ∅, имеет

место равенство P (A1 ∪ A2) = P (A1) + P (A2).4. Если Ai∞i=1 — последовательность событий, где Ai ∈ A для

любого i, и выполняется:⋃∞

i=1 Ai ∈ A, и Ai ∩Aj = ∅ для всехi 6= j, тогда справедливо равенство:

P

( ∞⋃

i=1

Ai

)=

∞∑

i=1

P (Ai).

§3. Свойства вероятностей

Сформулируем и докажем свойства, которыми обладает вероят-ностная мера.

1. Вероятность невозможного события равна нулю, P (∅) = 0.Доказательство. Очевидны следующие равенства: Ω ∪ ∅ =Ω, Ω∩∅ = ∅. Так как вероятностная мера P является конечной,то из свойства аддитивности получаем следующие равенства:P (Ω) = P (Ω ∪ ∅) = P (Ω) + P (∅) = 1. Окончательно получаем:P (∅) = 0.

2. Для любого события A ∈ A вероятность P (A) равна 1−P (A).Доказательство. Так как A∪A = Ω, тогда выполняется сле-дующее равенство: P (A) + P (A) = P (Ω) = 1, следовательно,P (A) = 1− P (A).

3. Для событий A,B ∈ A, A ⊂ B, справедливо неравенство:P (A) 6 P (B).Доказательство. Поскольку A ⊂ B, то множество B можнопредставить следующим образом: B = A∪ (B \A), где B \A =ω : ω ∈ B,ω /∈ A. Из условия аддитивности вероятностноймеры следует равенство P (B) = P (A) + P (B \ A). При этом,P (B \A) > 0. Заметим, что A 6= B∪ (A\B), так как A\B = ∅.

13

4. Формула сложения вероятностей. Для любых событий A иB из A справедливо равенство:

P (A ∪B) = P (A) + P (B)− P (A ∩B).

Доказательство. Представим событие A ∪ B в следующемвиде (A\B)∪(B\A)∪(A∩B). Имеет место равенство P (A∪B) =P (A\B)+P (A∩B)+P (B\A)+P (A∩B)−P (A∩B). Так какP (A \ B) + P (A ∩ B) = P (A) и P (B \ A) + P (A ∩ B) = P (B),можно утверждать, что справедливо равенство P (A ∪ B) =P (A) + P (B)− P (A ∩B).

5. Для любых событий A1, . . . , Am ∈ A выполняется неравен-ство:

P

(m⋃

i=1

Ai

)6

m∑

i=1

P (Ai).

Доказательство. Введем систему событий B1 = A1, B2 =A2\A1, B3 = A3\(A1∪A2), . . . , Bm = Am\⋃m−1

i=1 Ai. Очевидно,что Bj∩Bk = ∅, j 6= k и

⋃mi=1 Ai =

⋃mi=1Bi. Тогда имеют место

следующие равенства:

P

(m⋃

i=1

Ai

)= P

(m⋃

i=1

Bi

)=

m∑

i=1

P (Bi).

Так как событие Bi является подмножеством события Ai длялюбого i = 1, . . . ,m, то по третьему свойству вероятностноймеры

∑mi=1 P (Bi) 6

∑mi=1 P (Ai), что позволяет утверждать,

что P (⋃m

i=1 Ai) 6∑m

i=1 P (Ai).

6. Для любых событий A1, . . . , Am ∈ A справедливо равенство:

P

(m⋃

i=1

Ai

)=

m∑

i=1

P (Ai)−∑

16i1<i26m

P (Ai1 ∩ Ai2)+

+∑

16i1<i2<i36m

P (Ai1∩Ai2∩Ai3 )−. . .+(−1)m−1P (A1∩· · ·∩Am).

Это утверждение можно доказать, используя метод матема-тической индукции с базой m = 2.

14

7. Пусть Ai∞i=1 — последовательность событий такая, что Ai ∈A для любого i, и объединение этих событий

⋃∞i=1 Ai принад-

лежит A, тогда имеет место следующее неравенство:

P

( ∞⋃

i=1

Ai

)6

∞∑

i=1

P (Ai). (3.1)

Доказательство. Введем систему событий B1 = A1, B2 =A2 \ A1, B3 = A3 \ (A1 ∪ A2), . . . , Bm = Am \ ⋃m−1

i=1 Ai, . . .Очевидно, что события B1, . . . , Bm, . . . непересекающиеся, и⋃∞

i=1Ai =⋃∞

l=1Bl. Справедливы следующие равенства:

P

( ∞⋃

i=1

Ai

)= P

( ∞⋃

l=1

Bl

)=

∞∑

l=1

P (Bl).

Поскольку Bl ⊂ Al, то∑∞

l=1 P (Bl) 6∑∞

l=1 P (Al), из чего сле-дует справедливость неравенства (3.1).

Замечание 3.1. Свойства 1-6 справедливы для любой конечно-аддитивной вероятностной меры. Свойство 7 предполагает счетнуюаддитивность вероятностной меры.

Теорема 3.1. (о непрерывности вероятностной меры) Пусть A— алгебра подмножеств множества Ω, P — конечно-аддитивная

вероятностная мера, заданная на алгебре A. Следующие утвер-

ждения эквивалентны:

1. Вероятностная мера P — счетно-аддитивная.

2. Конечно-аддитивная вероятностная мера P непрерывна

сверху, т. е. для любой последовательности множеств

An∞n=1 такой, что для любого n множество An ∈ A,⋃∞i=1Ai ∈ A и An ⊂ An+1, выполняется:

P (An) −−−−→n→∞

P

( ∞⋃

m=1

Am

).

3. Конечно-аддитивная вероятностная мера P непрерывна сни-

зу, т. е. для любой последовательности событий An∞n=1

15

такой, что для любого n событие An ∈ A,⋂∞

i=1 Ai ∈ A и

An ⊃ An+1, выполняется:

P (An) −−−−→n→∞

P

( ∞⋂

m=1

Am

).

4. Конечно-аддитивная вероятностная мера P «непрерывна в

нуле», т. е. для любой последовательности событий An∞n=1

такой, что для любого n событие An ∈ A,⋂∞

i=1Ai = ∅ и

An ⊃ An+1, выполняется:

P (An) −−−−→n→∞

0.

Доказательство. Покажем, что из утверждения 1 следуетутверждение 2, далее из 2 следует 3, из 3 следует 4, и, наконец,из 4 следует 1.

1. Покажем, что из 1 следует 2. Считаем, что выполнено пер-вое утверждение теоремы. Рассмотрим произвольную последова-тельность событий An∞n=1 такую, что выполнены все требованияп.2 теоремы. Определим систему событий D1 = A1, D2 = A2 \ A1,D3 = A3\A2, . . . ,Dk = Ak\Ak−1, . . .. Очевидно, чтоDl∩Dm = ∅ длявсех l 6= m, и имеет место равенство

⋃∞k=1 Ak =

⋃∞l=1Dl. Вычислим

вероятность события⋃∞

k=1 Ak. Очевидны следующие равенства:

P

( ∞⋃

k=1

Ak

)=

∞∑

l=1

P (Dl) = limn→∞

P (An).

2. Покажем, что из 2 следует 3. Рассмотрим последователь-ность событий An, для которой выполнены все требования п.3,тогда для последовательности An∞n=1 выполнено: An ⊂ An+1 и⋃∞

n=1 An =⋂∞

n=1An принадлежит алгебре A. Согласно утвержде-

нию 2 теоремы имеет место сходимость: P (An) −−−−→n→∞

P(⋂∞

n=1An

),

что эквивалентно следующей сходимости: 1 − P (An) −−−−→n→∞

1 −P (⋂∞

n=1An), из чего следует утверждение 3 теоремы: P (An) −−−−→n→∞

P (⋂∞

n=1An).3. Поскольку четвертое утверждение теоремы является част-

ным случаем третьего утверждения, то очевидно, что из утвержде-ния 3 следует утверждение 4.

16

4. Покажем, что из 4 следует 1. Рассмотрим произвольнуюпоследовательность Bn∞n=1 такую, что для любого n событиеBn ∈ A и Bk ∩Bm = ∅ для всех номеров k 6= m,

⋃∞n=1Bn ∈ A. Оче-

видно, что⋃∞

n=1Bn =⋃k

n=1Bn +⋃∞

l=k+1 Bl. Так как⋃∞

n=1Bn ∈ Aи⋃k

n=1Bn ∈ A, то и⋃∞

l=k+1 Bl ∈ A. Из того, что P — конечно-аддитивная мера, следует равенство:

P

( ∞⋃

n=1

Bn

)=

k∑

n=1

P (Bn) + P

( ∞⋃

l=k+1

Bl

).

Покажем, что limk→∞

P(⋃∞

l=k+1 Bl

)= 0,

т. е. P(⋃∞

l=k+1 Bl

)−−−−→k→∞

0. Пусть⋃∞

l=k+1 Bl = Ak+1. Очевидно,

что An ⊃ An+1. Если⋂∞

k=1 Ak+1 = ∅, то получаем, что из 4 сле-дует утверждение 1 теоремы. Предположим, что

⋂∞k=1Ak+1 6= ∅,

т. е. существует ω ∈ ⋂∞k=1 Ak+1. Следовательно, ω ∈ An для всех

n, ω ∈ ⋃∞l=n Bl означает, что событие ω должно принадлежать хотя

бы одному множеству из объединения, но так как эти множествапопарно несовместны (Bk∩Bm = ∅, k 6= m), то ω должно принадле-жать какому-нибудь одному множеству: ω ∈ Bi и ω /∈ Bj , j > i, изчего следует, что ω /∈ Aj . Пришли к противоречию, так как событиеω должно принадлежать An для любого n. Значит, предположениео том, что

⋂∞k=1 Ak+1 6= ∅ неверно.

Определение 3.1. Алгебра F подмножеств множества Ω назы-вается σ-алгеброй, если она замкнута относительно объединениясчетной совокупности множеств, т. е. если An∞n=1 — последо-вательность событий, где для любого n событие An ∈ F , тогда⋃∞

n=1An ∈ F .

Пусть на σ-алгебре F задана счетно-аддитивная вероятност-ная мера P , тогда считается заданным вероятностное простран-

ство (Ω,F , P ). Сформулированные выше определения составляютсистему аксиом Колмогорова.

Замечание 3.2. В дальнейшем, в качестве вероятностного про-странства будем рассматривать систему (Ω,F , P ), где Ω — мно-жество элементарных событий, F — σ-алгебра, P — счетно-аддитивная вероятностная мера.

17

§4. Классическое определение вероятности

Рассмотрим множество Ω = ω1, . . . , ωm. Пусть все элементарныесобытия равновероятны, т. е. P (ωi) = P (ωj) = p для любых индек-сов i и j. По свойству вероятности справедливо равенство P (Ω) = 1.В силу аддитивности вероятностной меры можно записать следу-ющее равенство: P (Ω) =

∑mi=1 P (ωi) = mp. Следовательно, вероят-

ность любого элементарного события ωi может быть вычислена поформуле: p = 1/m = 1/| Ω |.

В качестве алгебры A рассмотрим множество всех подмно-жеств множества Ω, которое обозначим через 2Ω. Рассмотрим неко-торое событие A ⊂ Ω, A = ωi1 , . . . , ωik. Вероятность наступле-ния этого события в силу свойства аддитивности вероятностноймеры может быть вычислена по формуле: P (A) =

∑kj=1 P (ωij ) =

k/| Ω | = | A |/| Ω |.

Определение 4.1. Формулу

P (A) =| A || Ω | (4.1)

называют классическим определением вероятности.

Теорема 4.1. (правило умножения в комбинаторике) Пусть име-

ется r групп различных объектов. В первую группу входит n1 объ-

ектов, во вторую — n2 объектов, . . ., в последнюю — nr объектов.

Будем составлять различные комбинации этих объектов следую-

щим образом: последовательно из групп будем выбирать по одному

объекту и располагать их в порядке появления (т. е. сначала эле-

мент из первой группы, потом из второй, . . ., из r-ой группы).Тогда всего возможно n1n2 · . . . · nr различных комбинаций.

Доказательство. Обозначим группы объектов следующимобразом:

X1 = x(1)1 , x(1)2 , . . . , x(1)n1

, |X1| = n1;

X2 = x(2)1 , x(2)2 , . . . , x(2)n2

, |X2| = n2;

. . .

Xr = x(r)1 , x(r)2 , . . . , x(r)nr

, |Xr| = nr.

18

x(2)1 x

(2)2 . . . x

(2)n2

x(1)1 x

(1)1 x

(2)1 x

(1)1 x

(2)2 . . . x

(1)1 x

(2)n2

x(1)2 x

(1)2 x

(2)1 x

(1)2 x

(2)2 . . . x

(1)2 x

(2)n2

......

......

x(1)n1 x

(1)n1 x

(2)1 x

(1)n1 x

(2)2 . . . x

(1)n1 x

(2)n2

Таблица 1.1: Всевозможные комбинации объектов

Рассмотрим случай, когда r = 2. Изобразим всевозможные комби-нации объектов этих двух групп в виде таблицы, в которых столб-цам соответствуют объекты группы X2, а строкам — объекты груп-пы X1 (таблица 1.1).

Таким образом, каждая клетка таблицы соответствует однойвозможной комбинации объектов. Количество всевозможных ком-бинаций объектов совпадает с количеством клеток таблицы и рав-няется n1n2. Для случая r = 2 теорема верна.

Рассмотрим случай r = 3. Любую комбинацию объектов изгрупп X1, X2, X3 можем записать в виде:

(x(1)i1, x

(2)i2, x

(3)i3

) = ((x(1)i1, x

(2)i2

), x(3)i3

),

применив доказанное утверждение для случая r = 2 два раза. Ко-личество всевозможных комбинаций объектов (n1n2)n3 = n1n2n3,что доказывает теорему для случая r = 3.

Для доказательства теоремы для случая r = m можно приме-нять предложенную схему рассуждения m− 1 раз.

Рассмотрим несколько вариантов определения вероятностныхпространств, когда осуществляется случайный выбор объектов.

I. Упорядоченный выбор с возвращением

Пусть имеется урна с n шарами. Каждый шар имеет свойномер от 1 до n. Произведем из них последовательный случай-ный выбор r шаров, при этом возвращая каждый вынутый шаробратно. Тогда элементарным событием будет вектор (a1, . . . , ar),ai = 1, . . . , n, шары могут совпадать. Мощность пространства эле-ментарных событий Ω = (a1, . . . , ar) | ai = 1, . . . , n в данном слу-

19

чае равна nr, это следует из теоремы 4.1. В качестве вероятност-ной меры (вероятности элементарного события) возьмем отношение1/| Ω | или P (ω) = 1/nr.

II. Упорядоченный выбор без возвращения

В этом случае вынутые на каждом шаге шары не возвращают-ся в урну. Пространство элементарных событий может быть опре-делено следующим образом: Ω = (a1, . . . , ar) | ai = 1, . . . , n, ai 6=aj , i 6= j. Мощность этого множества равна n(n−1) . . . (n−r+1) =Ar

n. Это число называют числом размещений из n по r. Вероятностьопределяется следующим образом: P (ω) = 1/Ar

n.III. Неупорядоченный выбор без возвращения

Пространство элементарных событий может быть определеноследующим образом: Ω = [a1, . . . , ar] | ai = 1, . . . , n, ai 6= aj , i 6= j.Квадратные скобки означают, что порядок появления шаров неиз-вестен. Мощность этого множества называют числом сочетаний изn по r и обозначают через Cr

n. Число сочетаний и число размещенийсвязаны равенством: Ar

n = Crn · r! Следовательно,

Crn =

n(n− 1) · . . . · (n− r + 1)(n− r)!

r!(n− r)!=

n!

r!(n− r)!.

В этом случае вероятность определяется равенством: P (ω) = 1/Crn.

Определение 4.2. Любую числовую функцию, заданную на ко-нечном множестве элементарных событий Ω, будем называть слу-чайной величиной.

Рассмотрим случайную величину ξ, равную числу белых ша-ров в выборке без возвращения объема n из урны, содержащей Mбелых и N −M черных шаров. Нетрудно заметить, что

Pξ = m =Cm

MCn−mN−M

CnN

,

где m = 0, 1, . . . ,min(n,M), n 6 N −M .Говорят, что случайная величина ξ подчиняется гипергеомет-

рическому распределению.IV. Неупорядоченный выбор с возвращением

Пространство элементарных событий может быть определеноследующим образом: Ω = [a1, . . . , ar] : ai = 1, . . . , n. Порядок по-явления шаров неизвестен. Так как | Ω |< ∞, и все элементарные

20

события равновероятны, P (ω) = 1/| Ω |. Найдем мощность множе-ства Ω.

Пусть r1 > 0 — число появлений в выборке шара a1, . . ., rn >

0 — число появлений в выборке шара an, при этом∑n

i=1 ri = rи ri ∈ 0, . . . , r. Посчитаем количество наборов (r1, . . . , rn), т. е.найдем количество решений уравнения

∑ni=1 ri = r. Прибавим к

обеим частям уравнения по n, получим:

(r1 + 1) + (r2 + 1) + . . .+ (rn + 1) = r + n.

Число решений этого уравнения совпадает с числом разбиений от-резка [0, r + n] на n частей. Необходимо выбрать n− 1 точку дроб-ления, такие точки можно выбрать Cn−1

r+n−1 способами. Так какCl

k = Ck−lk = k!

l!(k−l)! , получаем Cn−1r+n−1 = Cr

r+n−1 =| Ω |. Вероят-

ность P (ω) = 1/Cn−1r+n−1.

§5. Геометрические вероятности. Задача о встре-

че. Пародокс Бертрана. Задача Бюффона

Рассмотрим числовую прямую и отрезок [a, b] = Ω. Пусть случай-ным образом выбирается точка из этого отрезка. Это означает, чтолюбая точка отрезка [a, b] может появиться в результате экспери-мента с равными шансами.

Зададим вероятностную меру для любого множества A ∈F[a,b], где F[a,b] — сигма-алгебра подмножеств отрезка [a, b], изме-римых по Лебегу. Вероятностная мера, называемая геометрическойвероятностью, может быть определена следующим образом:

P (A) =µ(A)

µ[a, b]=µ(A)

b− a,

где через µ(A) обозначена мера Лебега множества A.

Замечание 5.1. В качестве σ-алгебры событий нельзя рассмат-ривать множество всех подмножеств множества Ω, так как не всеподмножества множества Ω измеримы по Лебегу.

В более общем случае геометрическая вероятность определя-ется аналогично. В качестве множества элементарных событий рас-смотрим некоторую область измеримую по Лебегу Ω ⊂ Rk. Через

21

µ(Ω) обозначим меру Лебега в Rk множества Ω. Используя принципгеометрической вероятности по отношению к мере Лебега µ, можноопределить вероятностную меру для любого измеримого по Лебегумножества A ⊂ Ω ⊂ Rk следующим образом:

P (A) =µ(A)

µ(Ω). (5.1)

Равенство (5.1) принято называть определением геометрической ве-роятности.

Пример 5.1. (Задача о встрече) Два лицаA иB условились встре-титься в определенном месте между 12 и 13 часами дня. Пришед-ший первым ждет другого в течение 20 минут, после чего уходит.Требуется вычислить вероятность встречи лиц A и B, если при-ход каждого из них в течение указанного часа происходит наудачуслучайным образом, и моменты прихода независимы.

Обозначим моменты прихода лица A через x и лица B черезy. Для того чтобы встреча произошла, необходимо и достаточно,чтобы

|x− y| 6 20.

Рис. 1.2: Задача о встрече

Изобразим x и y на декартовой плоскости (рис. 1.2), в каче-стве единицы масштаба выберем минуту. Возможные исходы могутбыть изображены квадратом со сторонами 60, благоприятствую-щие встрече исходы — в области S. Вероятность встречи лиц A и B

22

равна отношению площади фигуры S к площади всего квадрата:

p =602 − 402

602=

5

9.

Пример 5.2. Парадокс Бертрана. Рассматривается окружностьрадиуса R, в которую вписан равносторонний треугольник. Слу-чайным образом в данной окружности выбирается хорда. Како-ва вероятность того, что длина хорды окажется больше стороныравностороннего треугольника, вписанного в эту окружность (рис.1.3)?

Рис. 1.3: Парадокс Бертрана

Данную задачу можно решить тремя способами.Решение 1. Из геометрических соображений: для того, чтобы

длина хорды окружности радиуса R была больше стороны равно-стороннего треугольника, вписанного в эту окружность, необходи-мо, чтобы центр хорды оказался внутри окружности, вписанной вравносторонний треугольник. Последняя окружность будет иметьрадиус R/2 (рис. 1.4).

Таким образом, искомая вероятность определяется как отно-шение площадей окружностей радиуса R/2 и радиуса R соответ-ственно:

SR2

SR=πR2

4

πR2=

1

4.

Решение 2. Из соображений симметрии: пусть один конец хор-ды закреплен в одной из вершин равностороннего треугольника.

23

Рис. 1.4: Парадокс Бертрана. Решение 1

Рис. 1.5: Парадокс Бертрана. Решение 2

Вершины треугольника разбивают дугу окружности на триравные части. Длина хорды будет больше стороны равносторон-него треугольника, если другой конец хорды будет лежать на дугемежду двумя другими вершинами треугольника. Тогда искомая ве-роятность определяется как отношение длин соответствующих дуги равна 1/3 (рис. 1.5).

Решение 3. В окружности радиуса R произвольным образомпроведем диаметр. Отметим точку, в которой рассматриваемая хор-да пересекает диаметр. Рассматриваем хорды, перпендикулярныедиаметру (рис. 1.6).

24

Рис. 1.6: Парадокс Бертрана. Решение 3

Следовательно, по расстоянию ρ от центра окружности до точ-ки пересечения хорды и диаметра можем судить о длине хорды:длина хорды будет больше стороны равностороннего треугольни-ка, если расстояние ρ < R/2. Искомая вероятность определяетсякак отношение соответствующих расстояний:

µ(0, R2 )

R=

R2

R=

1

2.

Причина возникновения парадокса связана с неоднозначностью ма-тематической формализации поставленной задачи.

Пример 5.3. Задача Бюффона. На плоскость, разлинеенную па-раллельными прямыми, отстоящими друг от друга на расстоянии2a, наудачу бросается игла длиною 2l < 2a. Требуется найти ве-роятность того, что игла пересечет одну из параллельных прямых(рис. 1.7).

Рис. 1.7: Задача Бюффона

25

Решение. Пусть y — расстояние от середины иглы до ближай-шей из параллельных прямых, x — острый угол между иглой иперпендикуляром, проведенным к параллельным прямым. Коорди-наты (x, y) определяют положение иглы относительно параллель-ных прямых на плоскости, 0 6 x 6 π/2, 0 6 y 6 a. Предполагается,что точка (x, y) распределена равномерно в соответствующем пря-моугольнике.

Рис. 1.8: Задача Бюффона

Событие, заключающееся в том, что игла пересечет какую-либо параллельную прямую, можно записать следующим образом:

A = (x, y) : 0 6 y 6 l cosx.

Тогда искомая вероятность определяется как отношение площадей(рис. 1.8), соответствующих благоприятствующим и всем возмож-ным исходам, и равна

µ(A)

µ(Ω)=

π2∫0

l cosxdx

a · π2

=2l

aπ.

§6. Условные вероятности

Рассмотрим вероятностное пространство (Ω,F , P ). Выберем неко-торое событие B ∈ F такое, что P (B) > 0. Определим вероятностьсобытия A ∈ F при условии, что произошло событие B.

26

Проведем эксперимент N раз. Обозначим через N(B) количе-ство экспериментов, в которых произошло событие B, N(A ∩B) —количество экспериментов, в которых произошли оба события и A,и B. Относительная частота события A, если известно, что произо-шло событие B, будет определяться отношением N(A ∩B)/N(B).Поделим числитель и знаменатель этого отношения на N , получа-ем:

N(A ∩B)/N

N(B)/N≈ P (A ∩B)

P (B).

Приближенное равенство следует из свойства «статистическойустойчивости» относительных частот. Пусть множество Ω конеч-но, и вероятность любого элементарного события ω ∈ Ω равнаp(ω) = p = const. Пусть произошло событие B, что означает, что со-бытие B стало достоверным. Воспользуемся классическим опреде-лением вероятности. Посчитаем количество элементарных событийв множествах A ∩B и B. Получаем отношение:

|A ∩B|/|Ω||B|/|Ω| =

P (A ∩B)

P (B).

Полученные равенства приводят к определению.

Определение 6.1. Если вероятность события B отлична от нуля,то условная вероятность события A при условии, что событие Bпроизошло, определяется формулой

P (A/B) =P (A ∩B)

P (B).

Выберем событие B ∈ F , P (B) > 0. Рассмотрим вероятностьP (A/B), где A ∈ F . Определим функцию P (·/B): F −→ [0, 1].Функция P (·/B) обладает следующими свойствами:

1. Если A совпадает с множеством Ω, то P (Ω/B) = 1.2. Для любого события A ∈ F вероятность P (A/B) неотрица-

тельна.3. Для любых несовместных событий A1 и A2 вероятностьP (A1 ∪A2/B) равна сумме вероятностей P (A1/B)+P (A2/B).Наличие первых трех свойств означает, что условная веро-ятность — конечно-аддитивная вероятностная мера. Если P

27

— счетно-аддитивная вероятность, то и условная вероятностьP (·/B) обладает свойством счетной аддитивности.

4. Для последовательности попарно несовместных событийAn∞n=1 справедливо равенство:

P

( ∞⋃

i=1

Ai/B

)=

∞∑

i=1

P (Ai/B).

Из определения условной вероятности следует формула умно-жения вероятностей:

P (A ∩B) = P (B)P (A/B).

Обобщим формулу умножения вероятностей на случай n собы-тий. Для событий A1, . . . , An ∈ F , для которых P (A1∩· · ·∩An−1) >0, имеет место равенство:

P (A1 ∩ · · · ∩ An) =

P (A1)P (A2/A1) . . . P (An/A1 ∩A2 ∩ · · · ∩ An−1).

§7. Независимость событий

Выберем некоторое событие B ∈ F , вероятность которого поло-жительна. Если событие A ∈ F не зависит от появления собы-тия B, то P (A/B) = P (A). Используя определение условной ве-роятности, получаем равенство: P (A ∩B)/P (B) = P (A). Следова-тельно, вероятность совместного появления событий P (A∩B) рав-на произведению вероятностей P (A)P (B). Пусть P (A) > 0, тогдаP (B/A) = P (B ∩ A)/P (A) = P (B). Следовательно, если событие Aне зависит от события B, то и событие B не зависит от события A.Сформулируем определение независимости событий.

Определение 7.1. События A и B независимы, если справедливоследующее равенство:

P (A ∩B) = P (A)P (B). (7.1)

Замечание 7.1. Определение 7.1 не нуждается в предположениио положительности P (A) и P (B).

28

Замечание 7.2. Если предположить, что события A и B несов-местны, и P (A) > 0, P (B) > 0, тогда A и B — зависимые события.

Определение 7.2. События A1,. . .,An называются независимы-ми в совокупности, если для любых m событий Ai1 , . . ., Aim ,m = 2, . . . , n, выполнено:

P (Ai1 ∩ Ai2 ∩ . . . ∩Aim) =

m∏

k=1

P (Aik). (7.2)

Если события независимы в совокупности, то они независимыпопарно. Обратное не верно: из попарной независимости не следуетнезависимость в совокупности.

Пример 7.1. Рассмотрим пространство элементарных событийΩ = ω1, ω2, ω3, ω4. Пусть p(ωi) = 1/4, i = 1, . . . , 4. Определим сле-дующие события: A = ω1, ω2, B = ω1, ω3, C = ω1, ω4. Пока-жем, что события A, B, C попарно независимы, но в совокупностизависимы. Очевидно, что справедливы равенства:

P (A) = P (B) = P (C) =1

2.

Покажем попарную независимость на примере событий A и B:P (A ∩ B) = p(ω1) = 1/4 = P (A)P (B). Аналогично, попарную неза-висимость можно показать и для пар A и C, B и C. Посчитаемвероятность P (A ∩ B ∩ C) = p(ω1) = 1/4 6= P (A)P (B)P (C) = 1/8,что означает зависимость в совокупности.

Определение 7.3. Рассмотрим вероятностное пространство(Ω,F , P ), пусть алгебры A1, . . ., An являются подалгебрами σ-алгебры F . Говорят, что алгебры A1, . . ., An независимы или неза-висимы в совокупности, если для любых событий A1 ∈ A1, . . .,An ∈ An имеет место равенство:

P (A1 ∩ . . . ∩ An) =

n∏

i=1

P (Ai). (7.3)

Замечание 7.3. Определение 7.3 относится и к σ-алгебрам, таккак σ-алгебра — частный случай алгебры.

29

§8. Формула полной вероятности. Формулы Байе-

са

Рассмотрим вероятностное пространство (Ω,F , P ). Пусть заданоразбиение множества Ω на события B1, . . . , Bm; B1 ∈ F , . . ., Bm ∈ Fтакие, что P (Bi) > 0 для всех i, Bi ∩ Bj = ∅ для любых i 6= j,Ω =

⋃mi=1Bi.

Рассмотрим некоторое событие A ∈ F . Представим его в виде:A =

⋃mi=1(A ∩Bi). По свойству аддитивности получаем:

P (A) =m∑

i=1

P (A ∩Bi) =m∑

i=1

P (Bi)P (A/Bi).

Формула

P (A) =

m∑

i=1

P (Bi)P (A/Bi) (8.1)

называется формулой полной вероятности.Дополнительно предположим, что P (A) > 0. Найдем вероят-

ность события Bj при условии, что произошло событие A. Имеетместо равенство:

P (Bj/A) =P (Bj ∩ A)P (A)

=P (Bj)P (A/Bj)m∑i=1

P (Bi)P (A/Bi).

Формулы

P (Bj/A) =P (Bj)P (A/Bj)m∑i=1

P (Bi)P (A/Bi), j = 1, 2, . . . ,m (8.2)

называются формулами Байеса. Вероятности P (Bi), i = 1, . . . ,mназываются априорными вероятностями. По формуле (8.2) можновычислить вероятность наступления события Bi при условии, чтопроизошло событие A. Вероятности P (Bi/A), i = 1, . . . ,m называ-ются апостериорными вероятностями.

30

Глава 2

Схема Бернулли

§1. Схема Бернулли. Биномиальное и полиноми-

альное распределения

Пусть проводится n независимых испытаний, причем, в каждом ис-пытании возможны два исхода: «1» — успех и «0» — неудача. Обо-значим через p вероятность успеха, через q = 1 − p — вероятностьнеудачи.

Для определения вероятностного пространства рассмотримэлементарное событие ω = (a1, . . . , an), где ai = 1 или 0. Тогда|Ω| = 2n, в качестве σ-алгебры возьмем F = 2Ω. Вероятность эле-ментарного события ω вычислим по формуле

p(ω) = p

n∑

i=1

ai

qn−

n∑

i=1

ai

,

где∑n

i=1 ai — количество единиц в векторе (a1, . . . , an).Напомним, что если множество элементарных событий конеч-

но, то случайной величиной называется любая числовая функцияξ : Ω → R.

Пусть µ(a1, . . . , an) = µ(ω) =∑n

i=1 ai — количество успехов всерии из n независимых испытаний. Величина µ(ω) является слу-чайной величиной. Нас интересует вероятность следующего собы-тия: µ = m, т. е. вероятность события, что в серии из n независимыхиспытаний произойдет ровно m успехов, Pµ = m.

Случайная величина µ принимает в данном случае значениеиз конечной совокупности 0, 1, . . . , n. Вероятность события µ = m

31

можно вычислить по формуле:

Pµ = m =∑

ω:µ(ω)=m

P (ω) =∑

ω:n∑

i=1

ai=m

p∑n

i=1 aiqn−∑n

i=1 ai =

= pmqn−m∑

ω:n∑

i=1

ai=m

1 = Cmn p

mqn−m. (1.1)

Найдем сумму вероятностей при m, пробегающем значения от0 до n, получаем:

n∑

m=0

Pµ = m =

n∑

m=0

Cmn p

mqn−m = (p+ q)n = 1. (1.2)

Дискретное распределение — набор (конечный или бесконеч-ный) вероятностей несовместных событий, которые в сумме даютединицу.

Определение 1.1. Распределение случайной величины µ, равнойколичеству успехов в серии из n независимых испытаний, называ-ется биномиальным распределением.

Рассмотрим более общую схему. Пусть производится n незави-симых испытаний, каждое из которых может закончится одним изr исходов из множества 1, . . . , r. Исходу i соответствует вероят-ность pi, i = 1, . . . , r. При этом,

∑ri=1 pi = 1. Пусть набор (a1, . . . , an)

— упорядоченный набор чисел из множества 1, . . . , r. Определимпространство элементарных событий Ω и σ-алгебру F подмножествмножества Ω следующим образом:

Ω = (a1, . . . , an) : ai = 1, . . . , r,

F = A : A ⊂ Ω = 2Ω.

Вероятность события (a1, . . . , an) определим так, чтобы после-довательные испытания оказались независимыми:

P(a1, . . . , an) = pm11 · . . . · pmr

r ,

32

где m1 – количество исходов «1» в (a1, . . . , an), . . ., mr – количествоисходов «r» в (a1, . . . , an). Причем, m1+ . . .+mr = n. Найдем веро-ятность следующего события: в n независимых испытаниях m1 развыпал исход «1», . . ., mr раз выпал исход «r». Обозначим вероят-ность этого события через Pn(m1, . . . ,mr), как легко видеть:

Pn(m1, . . . ,mr) = Dm1,...,mrpm11 · . . . · pmr

r ,

где Dm1,...,mr = Cm1n Cm2

n−m1. . . Cmr

n−m1−...−mr−1=

n!m1!(n−m1)!

(n−m1)!m2!(n−m1−m2)!

· . . . · 1 = n!m1!m2!...mr !

.

Получаем выражение для вероятности Pn:

Pn(m1, . . . ,mr) =n!

m1!m2! . . .mr!pm11 . . . pmr

r . (1.3)

Определение 1.2. Распределение, определяемое формулой (1.3),называется полиномиальным распределением.

§2. Теорема Пуассона

Рассмотрим схему Бернулли с n независимыми испытаниями, вкаждом из которых возможны два исхода: «1» — успех и «0»— неудача. Вероятность успеха обозначим через p, а вероятностьнеудачи через q = 1−p. Эти вероятности не зависят от номера испы-тания. Введем случайную величину µ, равную количеству успеховв n испытаниях.

Теорема 2.1. (Теорема Пуассона) Пусть в схеме Бернулли число

испытаний n → ∞ и при этом np −−−−→n→∞

λ > 0. Тогда для любого

m = 0, 1, 2, . . . выполнено:

Pµ = m = Cmn p

mqn−m −−−−→n→∞

λm

m!e−λ. (2.1)

Доказательство. Справедливы следующие равенства:

Cmn p

mqn−m =n!

m!(n−m)!pm

(1 − p)n

(1 − p)m=

=(np)

m

m!en ln (1−p) 1(1− 1

n ) . . . (1− m−1n )

(1− p)m−−−−→n→∞

λm

m!e−λ,

33

Утверждение справедливо, поскольку (np)m/m! −−−−→n→∞

λm/m! и

1·(1− 1n )·...·(1−m−1

n )

(1−p)m −−−−→n→∞

1, а также в силу того, что ln(1 − p) =

−p+ o(p) и en ln (1−p) = e−np+np o(p)p −−−−→

n→∞e−λ.

Замечание 2.1. Можно доказать более сильное утверждение:∣∣∣∣∣∑

m∈B

Cmn p

mqn−m −∑

m∈B

(np)m

m!e−np

∣∣∣∣∣ 6 np2,

где B — любое множество на положительной части числовой пря-мой.

Если вероятность p близка к 0, то есть p ≪ 1, а n ≫ 1, тотеорема дает «хорошую» аппроксимацию для соответствующей ве-роятности. Эта аппроксимация называется аппроксимацией Пуас-

сона.

Замечание 2.2. Используя формулу разложения экспоненты вряд Тейлора, получаем равенство:

∑∞m=0

λm

m! e−λ = e−λeλ = 1. Та-

ким образом, правая часть (2.1) определяет некоторое распределе-ние, которое носит название распределение Пуассона. Это распре-деление зависит от положительного параметра λ.

§3. Локальная и интегральная теоремы Муавра-

Лапласа

Рассмотрим схему Бернулли с n независимыми испытаниями, вкаждом из которых возможны два исхода: «1» — успех и «0»— неудача. Вероятность успеха обозначим через p, а вероятностьнеудачи через q = 1 − p, причем, вероятности не зависят от но-мера испытания. Обозначим через µ случайную величину, равнуюколичеству успехов в n испытаниях.

Теорема 3.1. (локальная предельная теорема Муавра-Лапласа)Пусть σ =

√npq −−−−→

n→∞∞, тогда для любой константы c > 0

равномерно по x = (m− np)/σ таким, что |x| 6 c, выполняется

Pµ = m = Cmn p

mqn−m =1√2πσ

e−x2

2 (1 + o(1)), (3.1)

34

где o(1) −−−−→n→∞

0.

Замечание 3.1. Утверждение теоремы можно записать в следую-щем виде:

Pµ = m1√2πσ

e−x2

2

−−−−→n→∞

1.

Доказательство. Учитывая, что x = (m − np)/σ, |x| 6 c иσ =

√npq, получаем:

m = np+ σx = np(1 +xq

σ).

Пусть k = n −m. Очевидно, что k = nq − σx = nq(1− xp/σ). Приn → ∞, σ → ∞, получаем, что m → ∞ и k → ∞. Воспользуемсяформулой Стирлинга:

n! =√2πnnne−n+Θn ,

где Θn = O(1/n) при n → ∞. Вычислим логарифм вероятностиPµ = m, получаем следующее равенство:

lnCmn p

mqk = lnn!− lnm!− ln k! +m ln p+ k ln q. (3.2)

Найдем логарифмы факториалов из правой части равенства (3.2),используя формулу Стирлинга:

lnn! = ln√2π +

lnn

2+ n lnn− n+Θn. (3.3)

Аналогичным образом получаем равенства:

ln k! = ln√2π +

ln k

2+ k ln k − k +Θk, (3.4)

lnm! = ln√2π +

lnm

2+m lnm−m+Θm. (3.5)

Вычислим разность lnn! − lnm! − ln k!, используя равенства (3.3),(3.4) и (3.5), получаем:

lnn!− ln k!− lnm! = ln1√2π

− 1

2lnmk

n−m ln

m

n− k ln

k

n+O

(1

σ2

).

35

Подставив это выражение в (3.2), получаем:

lnCmn p

mqk = ln1√2π

− 1

2ln(σ2(1 +

xq

σ)(1 − xp

σ))−m ln

m

np−

− k lnk

nq+O

(1

σ2

)= ln

1√2πσ

− 1

2ln (1 +

xq

σ)− 1

2ln (1− xp

σ)−

−[(np+ σx) ln (1 +

xq

σ) + (nq − σx) ln (1− xp

σ)]+O

(1

σ2

).

Преобразуя выражение в квадратных скобках, получаем равенство:

lnCmn p

mqk = ln1√2πσ

− x2

2+ O

(1

σ

),

откуда следует утверждение теоремы:

Cmn p

mqk =1

σ√2πe−

x2

2 eO(1/σ),

где eO(1/σ) = 1 + O(1/σ).

Замечание 3.2. Рассмотрим функцию ϕ(x) = 1√2πe−

x2

2 . Вычис-

лим интеграл∫∞−∞ ϕ(x)dx. Для этого вычислим

(∫ ∞

−∞e−

x2

2 dx

)2

=

∫ ∞

−∞e−

x2

2 dx

∫ ∞

−∞e−

y2

2 dy.

Используя теорему о повторном интегрировании, получаем∫∞−∞

∫∞−∞ e−

x2+y2

2 dxdy. Переходя к полярным координатам, получа-

ем интеграл∫ 2π

0

∫∞0e−

r2

2 rdrdψ = 2π. Следовательно,∫∞−∞ e−

x2

2 dx =√2π, откуда следует, что

∫∞−∞ ϕ(x)dx = 1.

Функция ϕ(x) обладает следующими свойствами:1. ϕ(x) > 0 для всех x ∈ R.

2.∞∫

−∞ϕ(x)dx = 1.

Любая функция, удовлетворяющая этим двум свойствам, на-зывается плотностью распределения.

36

Определение 3.1. Функция ϕ(x) = 1√2πe−

x2

2 называется плот-

ностью стандартного нормального распределения (распределенияГаусса).

Теорема 3.2. (интегральная предельная теорема Муавра-

Лапласа) Пусть σ =√npq −−−−→

n→∞∞, тогда при n→ ∞ равномерно

по парам (a, b) имеет место сходимость:

P

a 6

µ− np√npq

6 b

−−−−→n→∞

1√2π

b∫

a

e−x2

2 dx =

b∫

a

ϕ(x)dx. (3.6)

Доказательство. Сначала докажем теорему для некоторогофиксированного c > 0, для которого |a| 6 c, |b| 6 c. Потом распро-страним результат на всю числовую ось.

Запишем двойное неравенство a 6µ−np√npq 6 b в виде:

σa+ np 6 µ 6 σb+ np.

Выберем m1 > σa+ np, m1 ∈ Z+ и m2 6 σb + np, и m2 ∈ Z+.Число m1 наиболее близко к (σa+ np) справа, m2 наиболее близкок (σb+ np) слева. Справедливы следующие равенства:

P

a 6

µ− np√npq

6 b

=

m2∑

m=m1

Pµ = m =

m2∑

m=m1

Cmn p

mqk =

=

m2∑

m=m1

1√2πe−

x2m2

1

σ

(1 + O

(1

σ

)),

где xm = (m − np)/σ. Причем, a 6 xm 6 b для любого m =m1, . . . ,m2, 1/σ = xm+1 − xm = ∆xm.

Заметим, что полученная сумма — интегральная сумма для

интеграла∫ b

a (1/√2π)e−

x2

2 dx, и она должна сходиться к нему, при-чем, сходимость обязана быть равномерной для всех a, b: |a| 6 c,|b| 6 c.

Теперь распространим теорему на всю числовую ось. Для лю-бого c > 0 справедливо равенство:

∫

|x|>c

1√2πe−

x2

2 dx = 1−∫

|x|6c

1√2πe−

x2

2 dx. (3.7)

37

Пусть ξn = (µ − np)/σ. Очевидно, что для любого c справедливоравенство:

P|ξn| > c = 1− P|ξn| 6 c. (3.8)

Вычтем (3.8) из (3.7) и рассмотрим модуль этой разности:

∣∣∣∣∣∣∣

∫

|x|>c

1√2πe−

x2

2 dx− P|ξn| > c

∣∣∣∣∣∣∣=

=

∣∣∣∣∣∣∣−∫

|x|6c

1√2πe−

x2

2 dx+ P|ξn| 6 c

∣∣∣∣∣∣∣(3.9)

Поскольку∫|x|>c

(1/√2π)e−

x2

2 dx убывает при c → ∞, то можно га-рантировать, что существует c такое, что этот интеграл будет небольше ε/4.

Рассмотрим отрезок [−c, c]. По доказанному существует номерn1 такой, что для любых n > n1, правая часть (3.9) будет не большеε/4. Тогда справедливо неравенство: P|ξn| > c 6 ε/2.

Для любых a, b ∈ R обозначим [A,B] = [a, b]∩[−c, c]. Несложнозаметить, что

∣∣∣∣∣∣

b∫

a

1√2πe−

x2

2 dx− Pa 6 ξn 6 b

∣∣∣∣∣∣6

6

∫

|x|>c

1√2πe−

x2

2 dx+ P|ξn| > c+

+

∣∣∣∣∣∣

B∫

A

1√2πe−

x2

2 dx− PA 6 ξn 6 B

∣∣∣∣∣∣6 ε,

как бы ни были выбраны точки a и b, всегда существует номерn1 такой, что для любого номера n > n1 модуль рассматриваемойразности будет не больше ε, то есть, имеет место равномерная схо-димость для всех a 6 b.

38

§4. Закон больших чисел

Теорема 4.1. (закон больших чисел для схемы Бернулли) Пусть

число испытаний в схеме Бернулли n→ ∞, тогда для любого ε > 0имеет место следующая сходимость

P∣∣∣µn− p∣∣∣ > ε

−−−−→n→∞

0.

Доказательство. Очевидно, что P|µ/n− p| > ε = 1 −P|µ/n− p| 6 ε. Проведем преобразования:

P∣∣∣µn− p∣∣∣ 6 ε

= P

−ε 6 µ

n− p 6 ε

=

P

−ε√n

pq6µ− np√npq

6 ε

√n

pq

.

Получаем равенство:

P∣∣∣µn− p∣∣∣ > ε

=

1−

ε√

npq∫

−ε√

npq

1√2πe−

x2

2 dx

+

+

ε√

npq∫

−ε√

npq

1√2πe−

x2

2 dx− P

−ε√

n

pq6µ− np√npq

6 ε

√n

pq

.

Выражение в первых скобках правой части стремится к нулю, вы-ражение во вторых скобках по теореме 3.2 тоже стремится к нулю,из чего следует утверждение теоремы.

§5. Метод Монте-Карло. Вычисление интегралов

Пусть требуется вычислить интеграл∫ b

ag(x)dx. При этом, функция

g(x) ограничена на отрезке [a, b], т. е. g(x) ∈ [c, d]. Преобразуемфункцию g(x) следующим образом:

ϕ(x) =g(x) − c

d− c,

39

тогда функцию g(x) можно представить в виде:

g(x) = c+ (d− c)ϕ(x).

При этом, ϕ(x) ∈ [0, 1] для всех точек x ∈ [a, b].

Запишем интеграл∫ b

a g(x)dx через интеграл от функции ϕ(x):

b∫

a

g(x)dx = c(b − a) + (d− c)

b∫

a

ϕ(x)dx.

Проведем замену переменных: u = (x− a)/(b− a), получим:

b∫

a

g(x)dx = c(b− a) + (d− c)(b− a)

1∫

0

h(u)du,

где h(u) = ϕ(a+(b−a)u). Таким образом, для вычисления интегра-

ла∫ b

ag(x)dx достаточно вычислить интеграл

∫ 1

0h(u)du. Область,

ограниченную функцией h(u), обозначим через A (рис. 2.1).

Рис. 2.1: Вычисление интеграла с помощью метода Монте-Карло

Проведем следующий эксперимент. Будем многократно слу-чайным образом выбирать точку из квадрата со стороной 1. Еслиточка принадлежит области A, то будем считать, что произошелуспех. В противном случае будем считать, что произошла неудача.Вероятность успеха p =

∫ 1

0h(u)du.

40

Пусть nA — число успехов в серии из n независимых испыта-ний, тогда можно считать, что приближенно выполняется равен-ство:

nA

n∼=

1∫

0

h(u)du.

Метод Монте-Карло особенно эффективен при вычислении много-кратных интегралов. В этом случае он имеет преимущества надчисленными методами вычисления интегралов (метод трапеций,метод Симпсона). В случае вычисления k-кратного интеграла ме-тодом Монте-Карло требуется случайным образом выбирать k + 1координату и проверять, не принадлежит ли полученная точка рас-сматриваемой области A. Также к преимуществам метода можноотнести его безразличие к виду подынтегральной функции.

Для нахождения случайных точек можно пользоваться таб-лицами случайных чисел. В этих таблицах даны цифры от 0 до 9.Эти данные можно рассматривать как реализации взаимно незави-симых и одинаково распределенных случайных величин, принима-ющих значения 0, 1, 2,. . ., 9 с одной и той же вероятностью, равной0,1. Табулированные цифры сгруппированы по десять. Каждые де-сять цифр представляют собой реализацию случайной величины,которая может принимать значения от 0000000000 до 9999999999 содинаковыми вероятностями, равными 0,0000000001. Если каждуюгруппу из k цифр, рассматриваемую как целое число, умножить на10−k, то получим реализации случайных величин ξ, принимающихk-разрядные значения от 0 до (1 − 10−k) с одинаковыми вероят-ностями, равными 10−k. Такое распределение вероятностей близкок равномерному на отрезке [0, 1], причем, разность соответствую-щих функций распределения не превосходит 10−k. Следовательно,реализации ξ можно рассматривать как реализации случайных ве-личин, равномерно распределенных на отрезке [0, 1]. Эти реализа-ции обычно называют равномерно распределенными случайнымичислами. Для программной реализации случайных чисел исполь-зуются датчики случайных чисел.

Произведем оценку полученного с помощью метода Монте-Карло значения интеграла. Хотелось бы, чтобы ошибка была не

41

больше ε: ∣∣∣µn− p∣∣∣ 6 ε,

где p =∫ 1

0h(u)du — вероятность успеха (попадания в A). Пусть ве-

роятность выполнения этого неравенства будет больше некоторогонаперед заданного числе 1− α:

P∣∣∣µn− p∣∣∣ 6 ε

> 1− α,

или в эквивалентном виде:

P

−ε√n

pq6µ− np√npq

6 ε

√n

pq

> 1− α.

По интегральной теореме Муавра-Лапласа вероятность в левой ча-сти близка для больших n к интегралу:

1√2π

ε√

npq∫

−ε√

npq

e−x2

2 dx,

откуда следует, что должно выполняться неравенство: ε√

npq >

u1−α/2, где u1−α/2 — квантиль уровня 1 − α/2 стандартного нор-мального распределения. Квантиль u1−α/2 определяется из усло-вия:

1√2π

u1−α/2∫

−∞

e−x2

2 dx = 1− α

2.

Если α задано, то можно найти нижнюю границу для количестваэкспериментов n:

n >u21−α/2

ε2pq.

Очевидно, что maxp∈[0,1] p(1− p) = 1/4, тогда можно получить сле-дующее ограничение на количество испытаний:

n >u21−α/2

4ε2. (5.1)

42

Замечание 5.1. Оценка (5.1) имеет место и для многомерного слу-чая, поскольку число испытаний не зависит от размерности про-странства.

§6. Моделирование случайных величин

Случайные величины обычно моделируют с помощью преобразова-ний одного или нескольких независимых значений случайной вели-чины ξ, равномерно распределенной на отрезке [0, 1].

Моделирование случайных величин с дискретным распределением

Пусть требуется моделировать случайную величину η с дискрет-ным законом распределения с конечным числом значений:

Pη = xi = pi, i = 1, . . . , k

Разобьем отрезок [0, 1] на полуинтервалы δ1 = [0, p1), δ2 = [p1, p1 +p2), . . ., δk = [p1 + . . .+ pk−1, 1].

Алгоритм моделирования случайной величины следующий:1. Получим реализацию случайной величины, равномерно рас-

пределенной на отрезке [0, 1]. Пусть реализовалось число α.2. Находим интервал среди δ1, . . ., δk, которому принадлежит

число α. Пусть для определенности это будет интервал δi.3. Тогда присваиваем значение xi для реализации случайной ве-

личины η.Если требуется получить реализацию целочисленной случай-

ной величины η с распределением pk = P η = k (k = 0, 1, . . .) сконечным или счетным числом значений, то можно использоватьрекуррентное соотношение:

pi+1 = pir(i). (6.1)

Пусть α — реализация равномерно распределенной на отрезке[0, 1] случайной величины. Последовательно вычисляем разностиα−∑k

i=0 pi, пока не получится отрицательное число. Пусть первыйраз отрицательной оказалась разность α−∑k

i=0 pi, тогда полагаемη = k. Рекуррентное соотношение (6.1) можно использовать дляпоследовательного вычисления вероятностей и накопленных сумм.

43

Пример 6.1. Для биномиального распределения с параметрами(p, n) вероятность того, что случайная величина η принимает зна-чение i равна

pi = Cinp

i(1− p)n−i.

Найдем вид функции r(i):

r(i) =pi+1

pi=

n!

(i+ 1)!(n− i− 1)!

i!(n− i)!

n!

p

1− p=

=n− i

i+ 1

p

1− p, i = 0, . . . , n.

Пример 6.2. Для случайной величины, подчиняющейся распреде-лению Пуассона с параметром λ вероятность того, что случайнаявеличина η принимает значение i равна

pi =λi

i!e−λ.

Функция r(i) имеет следующий вид:

r(i) =λ

i+ 1, i = 0, 1, . . .

Пример 6.3. Для геометрического распределения с параметром pвероятность того, что случайная величина η принимает значение iравна

pi = p(1− p)i.

Функция r(i) имеет следующий вид:

r(i) = (1− p), i = 0, 1, . . .

Моделирование случайных величин с непрерывными функциями

распределения

Пусть требуется произвести моделирование случайной вели-чины η с непрерывной функцией распределения Fη(x) = Pη 6 x.Также сделаем предположение, что функция Fη(x) монотонно воз-растающая на некотором интервале (x1, x2) и постоянна вне этогоинтервала, Fη(x1) = 0, Fη(x2) = 1, в частном случае x1 = −∞,

44

x2 = ∞. Рассмотрим обратную к Fη(x) функцию F−1η (y). Нетрудно

показать, что случайная величина F−1η (ξ), где ξ — случайная вели-

чина, равномерно распределенная на отрезке [0, 1], имеет функциюраспределения Fη(x), где x ∈ (x1, x2):

PF−1η (ξ) 6 x = Pξ 6 Fη(x) = Fη(x).

Таким образом, в случае монотонного возрастания функции Fη(x)справедлива формула:

η = F−1η (ξ), (6.2)

представляющая способ моделирования случайной величины η снепрерывной функцией распределения Fη(x).

Пример 6.4. Пусть требуется получить значения случайной вели-чины η подчиняющейся равномерному на отрезке [a, b] распределе-нию с функцией распределения:

Fη(x) =

0, если x < ax−ab−a , если a 6 x < b

1, если x > b

Решая уравнение (x − a)/(b − a) = y, найдем обратную функцию.Формула (6.2) будет иметь вид:

η = (b− a)ξ + a,

где ξ — случайная величина, равномерно распределенная на отрезке[0, 1].

Пример 6.5. Пусть требуется получить значения непрерывнойслучайной величины η подчиняющейся экспоненциальному законураспределения с параметром λ с функцией распределения:

Fη(x) =

0, если x < 0

1− e−λx, если x > 0

Решая уравнение 1−e−λx = y, найдем обратную функцию F−1(y) =−1/λ ln(1− y). Тогда формула (6.2) будет иметь вид:

η = − 1

λln(1− ξ),

45

или

η = − 1

λln ξ,

поскольку случайная величина 1 − ξ, также как и ξ, подчиняетсяравномерному на [0, 1] распределению.

46

Глава 3

Цепи Маркова

§1. Последовательности зависимых испытаний.

Цепи Маркова

Рассмотрим последовательность испытаний, в каждом из которыхвозможно r исходов из множества 1, . . . , r. Пусть испытание сномером 0 закончилось исходом a0, испытание с номером 1 – исхо-дом a1, . . ., испытание с номером T – исходом aT . Упорядоченнаяпоследовательность исходов ω = (a0, a1, . . . , aT ), где ai ∈ 1, . . . , r,образует элементарное событие. Множество элементарных событийобозначим через Ω. Возможно другое описание рассматриваемоговероятностного пространства.

Пусть имеется система, которая может находиться в некото-ром фазовом пространстве в состояниях 1, 2, . . . , r. Время предпо-лагается дискретным и может принимать значения 1, 2, . . . , t, . . . , T .Элементарное событие ω = (a0, a1, . . . , aT ) — траектория движения,где ak — положение системы в момент времени k. Пространство эле-ментарных событий Ω = ω = (a0, a1, . . . , at, . . . , aT ) : at = 1 . . . , rконечно и |Ω| = rT+1.

Рассмотрим совокупность подмножеств M = Mα .

Определение 1.1. Будем говорить, что алгебра A порождена со-вокупностью M и записывать A = α(M), если выполнены следую-щие условия:

1. Совокупность M ⊂ A,2. Если D — некоторая алгебра, относительно которой известно,

что M ⊂ D, тогда A ⊂ D.

47

Замечание 1.1. Термин «порожденная» равносилен выражению«минимальная, содержащая M»: A = ∩γDγ : Dγ ⊃ M, где Dγ —всевозможные алгебры, содержащие M.

Замечание 1.2. Если в определении 1.1 заменить термин «алгеб-ра» на термин «σ-алгебра», то получим определение σ-алгебры, по-рожденной семейством M.

Замечание 1.3. Каким бы ни было семейство M, порожденныеим алгебра и σ-алгебра существуют.

Рассмотрим конечное разбиение множества Ω:

Ω =

m⋃

i=1

Di : Di ∩Dj = ∅.

Рассмотрим семейство M = D1, . . . , Dm. Очевидно, что

α(M) =

D1, . . . , Dm, ∅,

k⋃

j=1

Dlj

k=1,...,m

— совокупность всевозможных конечных объединений множествDi.

Пример 1.1. Частица переходит из одного состояния в другое.Если предположить, что время дискретно, и наблюдения за ча-стицей происходят в промежутке времени [0, T ], тогда траекто-рия движения частицы соответствует элементарному событию ω =(a0, a1, . . . , aT ), где a0 — начальное положение частицы, a1 — поло-жение частицы в момент времени 1, . . ., aT — конечное положениечастицы.

Выделим следующие события, которые являются подмноже-ствами множества Ω:

A(1)0 = ω : a0 = 1,

A(2)0 = ω : a0 = 2,

. . .

48

A(r)0 = ω : a0 = r.

Множества A(1)0 , A

(2)0 , . . . , A

(r)0 образуют конечное разбиение

множества Ω, поскольку Ω =⋃r

i=1A(i)0 и A(i)

0 ∩ A(j)0 = ∅ для любых

i 6= j. Определим алгебру A0 = α(A(1)0 , A

(2)0 , . . . , A

(r)0 ). В эту ал-

гебру входят все события, характеризующие начальное положениечастицы.

Аналогичным образом определим событияA(1)

1 , A(2)1 , . . . , A

(r)1 , характеризующие положения частицы в

момент времени 1, где A(1)1 = ω : a1 = 1, A(2)

1 = ω : a1 = 2, . . .,A

(r)1 = ω : a1 = r. Определим алгебру A1 = α(A

(1)1 , A

(2)1 , . . . , A

(r)1 ).

Для любого момента времени t можно аналогично построитьалгебру At. Таким образом, можно построить последовательностьалгебр A0, A1, . . ., AT . Очевидно, что At ⊂ 2Ω. Предположим,что существует вероятностная мера P (·), заданная на 2Ω. Введемограничение: P (ω) > 0 для любого элементарного события ω ∈ Ω.Введем алгебры At−1

0 = α(A0, . . . ,At−1), ATt+1 = α(At+1, . . . ,AT ).

Определение 1.2. Последовательность испытаний A0, . . ., AT об-разует цепь Маркова, если для любого целочисленного моментавремени t ∈ [1, T − 1], любого события A ∈ At−1

0 , любого событияB ∈ AT

t+1 и для любого исхода k выполняется условие:

P (A ∩B/at = k) = P (A/at = k)P (B/at = k). (1.1)

Замечание 1.4. Алгебра α (A0, . . . ,At−1) содержит события, от-носящиеся к поведению частицы до момента t − 1 включительно.Алгебра α (At+1, . . . ,AT ) содержит события, относящиеся к пове-дению частицы после момента t+1, включая его. Момент времениt — текущий момент времени. Получили процесс, распадающий-ся на прошлое (α (A0, . . . ,At−1) = At−1

0 ), настоящее At и будущее(α (At+1, . . . ,AT ) = AT

t+1).Цепь Маркова — последовательность испытаний, в которой

прошлое и будущее условно независимы при фиксированном на-стоящем.

Лемма 1.1. Последовательность испытаний образует цепь Мар-кова тогда и только тогда, когда для любого момента времени

49

t = 1, . . . , T − 1, любого исхода k ∈ 1, . . . , r, любого событияA ∈ At−1

0 и любого события B ∈ ATt+1 выполняется условие:

P (B/A ∩ at = k) = P (B/at = k). (1.2)

Доказательство. Достаточность. Пусть выполнено (1.2),покажем справедливость (1.1):

P (A ∩B/at = k) =

=P (at = k)P (A/at = k)P (B/A ∩ at = k)

Pat = k =

= P (A/at = k)P (B/at = k).

Необходимость. Пусть выполнено (1.1), покажем справедли-вость (1.2):

P (B/A ∩ at = k) = P (at = k)P (A ∩B/at = k)P (at = k)P (A/at = k) =

=P (A/at = k)P (B/at = k)

P (A/at = k) = P (B/at = k).

Лемма 1.1 дает эквивалентное определение цепи Маркова.Рассмотрим некоторую траекторию ω = (i0, . . . , iT ) движения

частицы по состояниям. Найдем вероятность осуществления траек-тории ω, используя формулу умножения вероятностей. Получаемвыражение:

P (ω) = P (i0, . . . , iT ) = P (A(i0)0 ∩ . . . ∩ A(iT )

T ) =

= P (A(i0)0 )P (A

(i1)1 /A

(i0)0 )P (A

(i2)2 /A

(i1)1 ) . . . P (A

(iT )T /A

(iT−1)T−1 ).

Вероятность любого элементарного события полностью опре-деляется начальными вероятностями P (Ai

0), i = 1, . . . , r, и услов-ными вероятностями P (Aj

t+1/Ait). Вероятности P (Aj

t+1/Ait) называ-

ются переходными вероятностями за один шаг. Зафиксируем мо-мент времени t и сформируем матрицу переходных вероятностей

Pt =P (A

(j)t+1/A

(i)t )

, где i = 1, . . . , r – номер строки, j = 1, . . . , r

50

– номер столбца. Зафиксируем строку i и сложим элементы этойстроки:

P (A(1)t+1/A

(i)t ) + P (A

(2)t+1/A

(i)t ) + . . .+ P (A

(r)t+1/A

(i)t ) = 1.

События A(1)t+1, . . ., A

(r)t+1 попарно несовместны, а их объединение

дает достоверное событие, вероятность которого равна единице.

Определение 1.3. Квадратная матрица с неотрицательными эле-ментами, у которой сумма элементов в любой строке равна единице,называется стохастической.

Определение 1.4. Цепь Маркова называется однородной, если пе-реходные вероятности за один шаг не зависят от номера испытания(момента времени t), P (A(j)

t+1/A(i)t ) = pij .

Обозначим через P = piji,j=1,...,r матрицу переходных веро-ятностей. Найдем вероятность перехода из состояния i в состояниеj за два шага:

P (A(j)t+2/A

(i)t ) = P

r⋃

k=1

(A(j)t+2 ∩ A

(k)t+1)/A

(i)t

=

=r∑

k=1

P (A(j)t+2 ∩A

(k)t+1/A

(i)t ) =

=

r∑

k=1

P (A(i)t )P (A

(k)t+1/A

(i)t )P (A

(j)t+2/A

(k)t+1)

P (A(i)t )

=

r∑

k=1

pikpkj .

Полученная формула доказывает, что для однородной цепи Мар-кова переходные вероятности за два шага не зависят от моментавремени t. Аналогично, можно показать, что переходные вероятно-сти за любое число шагов не зависят от момента времени t.

Обозначим через pij(k) = P (A(j)t+k/A

(i)t ) вероятность перехода

частицы из состояния i в состояние j за k шагов. Очевидно, чтоP (A

(j)t+1/A

(i)t ) = pij = pij(1).

Лемма 1.2. (уравнение Чепмена-Колмогорова) Для однороднойцепи Маркова для любого момента времени t > 1 и любого s > 1

51

переходную вероятность из состояния i в состояние j за t+ s шаговможно найти по формуле

pij(t+ s) =r∑

k=1

pik(t)pkj(s). (1.3)

Доказательство. Покажем, что уравнение (1.3) справедливодля однородной цепи Маркова:

pij(t+ s) = P (A(j)t+s/A

(i)0 ) =

r∑

k=1

P (A(k)t ∩A(j)

t+s/A(i)0 ) =

=

r∑

k=1

P (A(i)0 )P (A

(k)t /A

(i)0 )P (A

(j)t+s/A

(k)t )

P (A(i)0 )

=

=r∑

k=1

pik(t)pkj(s).

Запишем уравнение (1.3) в матричном виде:

P (t+ s) = P (t)P (s), (1.4)

где P (t) — матрица переходных вероятностей за t шагов, P (1) = P .Если взять s = 1, тогда получим формулу P (t + 1) = P (t)P (1)верную для любого t. Следовательно, для любого t > 1 верно ра-венство:

P (t) = P t. (1.5)

По определению можно положить, что P 0 = E, где E — единичнаяматрица порядка r.

§2. Теорема о предельных вероятностях для цепей

Маркова

Теорема 2.1. Пусть задана однородная цепь Маркова, и суще-

ствует момент времени t0 такой, что pij(t0) > 0 для любых

i, j = 1, . . . , r, тогда существуют limt→∞

pij(t) = pj для любого

52

j = 1, . . . , r. Причем, пределы не зависят от начального состоя-

ния. Предельные вероятности p1, . . ., pr являются единственным

решением системы линейных уравнений:

r∑

j=1

xj = 1, xj =r∑

k=1

xkpkj , j = 1, . . . , r.

Доказательство. Рассмотрим матрицу переходных ве-роятностей P (t) и выберем произвольным образом столбец(p1j(t), p2j(t), . . . , prj(t))

′. Выберем максимальный и минимальный

элемент в столбце:Mj(t) = max

ipij(t),

mj(t) = minipij(t).

Очевидно, что справедливо неравенство:

mj(t) 6 pij(t) 6Mj(t). (2.1)

Рассмотрим матрицу переходных вероятностей P (t + 1). Восполь-зовавшись уравнением (1.3), получим:

pij(t+ 1) =r∑

k=1

pikpkj(t).

Тогда mj(t) 6 pij(t+ 1) 6 Mj(t) для любого i. Для любого t спра-ведливы неравенства:

mj(t) 6 mj(t+ 1) 6 pij(t+ 1) 6Mj(t+ 1) 6Mj(t),

следовательно, mj(t) — неубывающая последовательность, огра-ниченная сверху, а Mj(t) — невозрастающая последовательность,ограниченная снизу: mj(t) 6 1, Mj(t) > 0. Значит, для любого jсуществуют пределы limt→∞Mj(t), limt→∞mj(t), кроме того, вы-полнено неравенство:

0 6Mj(t+ 1)−mj(t+ 1) 6Mj(t)−mj(t).

Причем, последовательность разностей монотонна и ограни-чена снизу, следовательно, для любого j существует пределlimt→∞(Mj(t)−mj(t)).

53

Предположим, что верно следующее утверждение:

limt→∞

(Mj(t)−mj(t)) = 0 (2.2)

Тогда из (2.1) видно, что если существует предел limt→∞mj(t) =limt→∞Mj(t) = pj , то для любого i выполняется limt→∞ pij(t) =pj . Докажем справедливость утверждения (2.2). Из уравнения (1.3)следуют соотношения:

Mj(t0 + t) = puj(t0 + t) =

r∑

k=1

puk(t0)pkj(t),

mj(t0 + t) = pvj(t0 + t) =

r∑

k=1

pvk(t0)pkj(t).

Найдем разность:

Mj(t0 + t)−mj(t0 + t) =r∑

k=1

(puk(t0)− pvk(t0))pkj(t) =

=

+∑(puk(t0)− pvk(t0))pkj(t)−

−∑|puk(t0)− pvk(t0)| pkj(t),

все слагаемые в обеих суммах неотрицательны, т.е. во вторую сум-му входят только слагаемые (puk(t0)− pvk(t0))pkj(t) < 0. Заметим,что

+∑(puk(t0)− pvk(t0))−

−∑|(puk(t0)− pvk(t0))| =

=

r∑

k=1

(puk(t0)− pvk(t0)) = 0.

Введем обозначение du,v =∑+(puk(t0)−pvk(t0)), причем, 0 6 du,v <

1. Если рассмотреть произвольные u, v, то ничего не изменится.Введем

max(u,v)

(du,v) = d.

Очевидно, что 0 6 d < 1. Таким образом, для любого t > 1 оценкаисходной разности примет следующий вид:

Mj(t0 + t)−mj(t0 + t) 6 d(Mj(t)−mj(t)).

54

При t = t0 получаем:

Mj(2t0)−mj(2t0) 6 d(Mj(t0)−mj(t0)),

при t = 2t0 получаем:

Mj(2t0 + t0)−mj(2t0 + t0) 6 d2(Mj(t0)−mj(t0)).

Получаем, что для любого l справедливо неравенство:

Mj((l + 1)t0)−mj((l + 1)t0) 6 dl(Mj(t0)−mj(t0)),

где 0 6 d < 1. Заметим, что при l → ∞ имеет место сходимость:dl(Mj(t0)−mj(t0)) → 0. Следовательно, предел последовательностисуществует и равен нулю.

Докажем вторую часть теоремы. Рассмотрим систему уравне-ний:

r∑

j=1

xj = 1, xj =

r∑

k=1

xkpkj , j = 1, . . . , r.

Запишем систему в матричном виде xT = xTP . Перейдем к пределув равенстве:

r∑

j=1

pij(t) = 1

при t→ ∞, получим∑r

j=1 pj = 1.Из уравнения Чепмена-Колмогорова имеем: pij(t + 1) =∑r

k=1 pik(t)pkj . При t→ ∞ получаем равенство: pj =∑r

k=1 pkpkj .Докажем единственность. Домножим на P уравнение xT =

xTP , получим уравнение xTP = xTP 2. Домножим полученноеуравнение на P , получим уравнение xTP 2 = xTP 3 и так далее.Если рассмотреть полученные уравнения в виде системы уравне-ний, то окажется, что если x — решение, то xT = xTP t для любогоt ∈ Z или в скалярной форме: xj =

∑rk=1 xkpkj(t). Пусть t→ ∞, то-

гда xj =∑r

k=1 xkpj = pj . Таким образом, любое решение совпадаетс тем, которое мы получили.

55

Глава 4

Основные вероятностные пространства

§1. Полуалгебры. Теоремы о продолжении меры

Определение 1.1. Систему подмножеств S множества Ω будемназывать полуалгеброй, если выполнены следующие условия:

1. Ω ∈ S.2. Если A ∈ S, B ∈ S, то A ∩B ∈ S.3. Если A ∈ S, то множество A можно представить в виде A =∑m

k=1 Bk, где Bk ∈ S, Bi ∩Bj = ∅ для всех i 6= j.

Определение 1.2. Неотрицательная числовая функция µ: S →[0,∞] называется конечно-аддитивной мерой на полуалгебре S, ес-ли выполняются следующие условия:

1. µ(∅) = 0.2. Для всех множеств B1, . . . , Bk ∈ S таких, что Bi ∩Bj = ∅ для

всех i 6= j,∑k

i=1Bi ∈ S выполнено:

µ

(k∑

i=1

Bi

)=

k∑

i=1

µ(Bi).

Объединение множеств⋃k

i=1Bi будем обозначать через∑k

i=1Bi,если Bi ∩Bj = ∅ для всех i 6= j.

Если µ(Ω) = 1, то конечно-аддитивная мера µ называетсяконечно-аддитивной вероятностой мерой и обозначается P .

Определение 1.3. Пусть µ— конечно-аддитивная мера на S. Еслидля всех множеств Bk ∈ S таких, что Bi ∩ Bj = ∅ для всех i 6= j,

56

∑∞i=1Bi ∈ S выполнено: µ (

∑∞i=1Bi) =

∑∞i=1 µ(Bi), то µ — счетно-

аддитивная мера на полуалгебре S.Если существует последовательность множеств Ai, Ai ∈ S

для любого i, при этом Ai ⊂ Ai+1 и⋃∞

i=1 Ai = Ω, µ(Ai) < +∞для любого i, то счетно-аддитивная мера µ называется σ-конечноймерой. Если µ(Ω) = 1, то µ — счетно-аддитивная вероятностнаямера.

Как отмечалось в главе 3, алгебра A порождена системой мно-жеств M, и обозначать такую алгебру будем через α(M), еслиA ⊃ M и, кроме того, любая другая алгебра D, содержащая M,содержит алгебру A, A ⊂ D.

Теорема 1.1. Пусть S — полуалгебра подмножеств множества

Ω. Семейство A, состоящее из всевозможных конечных объеди-

нений непересекающихся элементов полуалгебры S представляет

собой алгебру, порожденную полуалгеброй S, A = α(S).

Доказательство. Для доказательства теоремы достаточнозаметить, что система множеств, о которой говорится в условиитеоремы, является алгеброй, содержит полуалгебру S и, кроме то-го, она должна содержаться в любой алгебре, содержащей полуал-гебру S.

Теорема 1.2. (теорема о продолжении конечно-аддитивной меры

с полуалгебры на алгебру) Пусть S — полуалгебра подмножеств

множества Ω. Пусть на S задана конечно-аддитивная мера µ, то-

гда существует и единственна конечно-аддитивная мера ν, опре-

деленная на α(S) и такая, что для любого множества E ∈ S:

ν(E) = µ(E).

Доказательство. В силу теоремы 1.1 любое множество B ∈α(S) может быть представлено следующим образом: B =

∑mi=1Ei,

где Ei ∩ Ej = ∅, i 6= j, Ei ∈ S. Следовательно, по определениюможно записать представление:

ν(B) =

m∑

i=1

µ(Ei). (1.1)

57

Необходимо показать, что функция ν задана корректно, и что онаявляется конечно-аддитивной. Представим, что множество B мож-но записать в виде конечной суммы: B =

∑nj=1 Fj , Fi∩Fj = ∅, i 6= j,

Fj ∈ S, из чего следует, что должно выполняться равенство:

ν(B) =

n∑

j=1

µ(Fj). (1.2)

Покажем, что из (1.1) следует (1.2). Поскольку∑n

j=1 Fj =∑mi=1Ei, следовательно, Fj представимо в виде

∑mi=1 Fj ∩ Ei. То-

гда µ(Fj) =∑m

i=1 µ(Fj ∩ Ei). Рассуждая аналогично, получаемµ(Ei) =

∑nj=1 µ(Fj ∩ Ei). Берем от первого выражения сумму по

j, от второго — по i и получаем (1.2). Нетрудно проверить, чтофункция ν(·) конечно-аддитивная.

Теорема 1.3. Пусть S — полуалгебра подмножеств множества

Ω. Пусть на S задана счетно-аддитивная σ-конечная мера µ.Тогда существует и единственна счетно-аддитивная σ-конечная

мера ν, определенная на α(S), такая, что для любого множества

E ∈ S имеет место равенство: ν(E) = µ(E).

Доказательство. По предположению µ — счетно-аддитивная, следовательно, µ — конечно-аддитивная мера.По теореме 1.2 существует единственная конечно-аддитивная мераν, для которой выполнено условие теоремы. Нетрудно показать,что мера ν, определенная равенством (1.1), счетно-аддитивна.

Замечание 1.1. Теоремы 1.2 и 1.3 относятся к конечно-аддитивной и счетно-аддитивной мерам, заданным на полуалгебре.

Теорема 1.4. (о продолжении σ-конечной счетно-аддитивной ме-

ры с алгебры на σ-алгебру) Пусть A — алгебра подмножеств мно-

жества Ω. Пусть на A задана σ-конечная счетно-аддитивная

мера µ. Тогда существует и единственна счетно-аддитивная σ-конечная мера ν, определенная на σ-алгебре, порожденной алгеброй

A такая, что для любого множества E ∈ A имеет место равен-

ство ν(E) = µ(E).

Доказательство. Доказательство теоремы можно найти в[27].

58

Замечание 1.2. 1. Из теорем 1.2, 1.3, 1.4 следует, что для то-го, чтобы задать меру на σ-алгебре, достаточно задать ее наполуалгебре, если σ-алгебра порождена полуалгеброй.

2. Все теоремы справедливы для вероятностных мер.

Пара (Ω,F) называется измеримым пространством. Будемпредполагать, что σ-алгебра F порождается полуалгеброй S, тоесть

F = σ(S)или можно рассматривать два этапа: F = σ(α(S)).

Замечание 1.3. Рассмотрим измеримое пространство и некото-рую меру на нем. Может оказаться так, что σ-алгебра F неполнаотносительно меры µ. Это означает, что существует множество Eнулевой меры, µ(E) = 0, что подмножества множества E могут непринадлежать σ-алгебре F . В этом случае всегда можно провестипроцедуру пополнения σ-алгебры, добавив в нее все подмножествамножества нулевой меры. Строгое изложение процедуры пополне-ния содержится, например, в [27].

§2. Примеры измеримых пространств

Пример 2.1. Пусть Ω = R — вся числовая ось. Рассмотрим семей-ство множеств:

I1 = (−∞,+∞), (−∞, a], (a, b], (b,+∞),

где a ∈ R, b ∈ R. Нетрудно проверить, что I1 — полуалгебра. Назо-вем σ(α(I1)) = σ(I1) = B(R) борелевской σ-алгеброй на числовойпрямой. Справедливо равенство:

(a, b) =∞⋃

n=1

(a, b− 1

n

]∈ B(R).

Как известно [19], любое открытое множество на числовойпрямой представляет собой не более чем счетное объединение ин-тервалов. Так как операция счетного объединения не выводит из σ-алгебры, то все открытые множества будут входить в борелевскую

59

σ-алгебру, следовательно, все замкнутые множества также будутвходить в борелевскую σ-алгебру. Так же будут входить в нее и всеодноточечные множества:

a =

∞⋂

n=1

(a− 1

n, a

].

Пример 2.2. Рассмотрим декартово n-кратное произведение чис-ловой прямой Ω = Rn = (x1, . . . , xn) : xi ∈ R. Введем множество

I = I1 × I2 × . . .× In,

где I1 ∈ I1(R), . . . , In ∈ I1(R).Рассмотрим систему подмножеств I2 = I = I1 × . . . × In.

Нетрудно показать, что I2 — полуалгебра. Введем множество B =B1 × . . . × Bn, где B1 ∈ B(R), . . . , Bn ∈ B(R). Рассмотрим всевоз-можные множества B = B1 × . . . × Bn = I3. Нетрудно показать,что I3 — полуалгебра.

Понятно, что I3 ⊃ I2. Из этого следует, что α(I3) ⊃ α(I2),но можно показать [35], что σ(α(I3)) = σ(α(I2)) = B(Rn). Назовемборелевской σ-алгеброй σ-алгебру B(Rn).

Пример 2.3. Рассмотрим Ω = R∞ = (x1, . . . , xn) : xk ∈

R. Введем цилиндрические множества Cn(I1 × . . . × In) =(x1, . . . , xn, . . .) ∈ R∞ : x1 ∈ I1, . . . , xn ∈ In, где I1 ∈ I1, . . . , In ∈I1. Рассмотрим семейство всех таких цилиндрических множеств:

Cn(I1 × . . .× In) = I4.

Нетрудно показать, что I4 — полуалгебра. Можно рассмотреть ци-линдры другого вида Cn(B1 × . . . × Bn) = (x1, . . . , xn, . . .) : x1 ∈B1, . . . , xn ∈ Bn, где B1 ∈ B(R), . . ., Bn ∈ B(R). Рассмотрим семей-ство таких цилиндрических множеств:

Cn(B1 × . . .×Bn) = I5 ⊃ I4.

Система множеств I5 также является полуалгеброй. Возьмем в ос-новании цилиндра множество B, а именно

Cn(B) = (x1, . . . , xn, . . .) : (x1, . . . , xn) ∈ B, B ∈ B(Rn)

60

и рассмотрим совокупность множеств Cn(B) = I6 ⊃ I5. Систе-ма множеств I6 образует алгебру. Можно показать, что σ-алгебры,порожденные введенными системами множеств совпадают: σ(I6) =σ(I5) = σ(I4) = B(R∞). Далее будем называть σ-алгебру B(R∞) σ-алгеброй борелевских множеств бесконечномерного пространства.

Замечание 2.1. В примере 2.1 можем рассматривать расширен-ную числовую прямую Ω = [−∞,+∞], то есть добавляем ко мно-жеству R еще два элемента: −∞ и +∞. Нетрудно построить полу-алгебру и σ-алгебру на расширенной числовой прямой, включив внее два одноточечных множества −∞ и ∞.

§3. Вероятностное пространство (R,B(R), P )

Пусть вероятностная мера P задана на борелевской σ-алгебре B(R).Для любого A ∈ B(R) задана вероятность P (A). Будем рассматри-вать событие B = (−∞, x], x ∈ R. Определим функцию распреде-ления F (x) следующим образом:

F (x) = P (B) = P (−∞, x].

Свойства функции распределения

1. Пусть x1 < x2, тогда F (x1) 6 F (x2), функция F (x) монотоннонеубывающая.Доказательство. Как легко заметить, P (−∞, x2] =P (−∞, x1] + P (x1, x2]. Следовательно, F (x2) > F (x1).

2. В любой точке y ∈ R выполняется равенство: F (y+0) = F (y),функция непрерывна справа, lim

x→y+0F (x) = F (y), и существу-

ет предел слева limx→y−0

F (x), который может не совпадать с

F (y).Доказательство. Пусть x < y, следовательно по перво-му свойству F (x) 6 F (y), но тогда существование преде-ла lim

x→y−0F (x) очевидно в следствие монотонности функции.

Возьмем любую последовательность xn −−−−→n−→∞

y+0, xn+1 <

xn. Рассмотрим F (xn) − F (y) = P (y, xn]. Введем событие

61

An = (y, xn], тогда An+1 ⊂ An. Очевидно, что⋂∞

n=1An = ∅.Счетно-аддитивная вероятностная мера непрерывна. Следо-вательно, можно гарантировать, что P (y, xn] −−−−→

n→∞0.

3. Справедливы следующие равенства: limx→∞

F (x) = F (∞) = 1,

limx→−∞

F (x) = F (−∞) = 0.

Доказательство. В силу монотонности F (x) достаточно рас-смотреть любую возрастающую последовательность, поэтомувыберем последовательность натуральных чисел n, она воз-растающая, и последовательность −n — убывающая. Рас-смотрим разность F (n) − F (−n) = P (−∞, n] − P (−∞,−n] =P (−n, n]. Обозначим через An полуинтервал (−n, n], тогдаAn ⊂ An+1,

⋃∞n=1An = R.

По свойству непрерывности:

P (−n, n] −−−−→n→∞

P (R) = 1,

но тогда limn→∞

(F (n) − F (−n)) = 1, что равносильно, в виду

монотонности, F (n) −−−−→n→∞

1, F (−n) −−−−→n→∞

0.

Определение 3.1. Рассмотрим на числовой прямой класс функ-ций, удовлетворяющий свойствам 1, 2, 3. Будем называть предста-вителей этого класса функциями распределения.

Теорема 3.1. Пусть F (x) — некоторая произвольно выбранная

функция распределения, тогда существует и единственна веро-

ятностная мера P , заданная на (R,B(R)) такая, что для любых

a, b, a < b имеет место равенство P (a, b] = F (b)− F (a).

Доказательство. Составим полуалгебру I1 =(−∞,∞), (−∞, a], (a, b], (b,+∞), где a, b ∈ R. Далее рассмотримσ-алгебру σ(α(I1)) = σ(I1). Введем функцию P0 на полуалгебреи убедимся, что она конечно-аддитивна, затем, что счетно-аддитивна: P0(−∞,∞) = 1 = F (∞) − F (−∞), P0(−∞, a] = F (a),P0(a, b] = F (b)− F (a), P0(b,+∞) = 1− F (b).

Видим, что функция P0 неотрицательна. Проверим, что онаконечно-аддитивна. Для этого разобьем промежуток (a, b] точкойc:(a, b] = (a, c] + (c, b], где c ∈ (a, b]. P0(a, b] = F (b) − F (a) ± F (c) =

62

F (c)−F (a)+F (b)−F (c) = P0(a, c]+P0(c, b]. Аналогично можно про-верить конечную аддитивность для любых элементов полуаглебры.По теореме 1.2 о продолжении меры с полуалгебры на алгебру счи-таем, что P0 — конечно-аддитивная вероятностная мера на α(I1).

Докажем, что P0 — счетно-аддитивная мера на полуалгеб-ре. Пусть (a, b] =

∑∞i=1(ai, bi], (ai, bi] ∩ (aj , bj ] = ∅, i 6= j. Теперь

для любых εi > 0 и для любого δ > 0 имеет место включение[a + δ, b] ⊂ ⋃∞

i=1(ai, bi + εi), εi > 0. Для компактного множества излюбого открытого покрытия можно выделить конечное подпокры-тие, поэтому, существует номер m, что [a + δ, b] ⊂ ⋃m

i=1(ai, bi + εi),тогда (a+ δ, b] ⊂ ⋃m

i=1(ai, bi] ∪ (bi, bi + εi], но тогда

P0(a+ δ, b] 6 P0

m⋃

i=1

(ai, bi] ∪ (bi, bi + εi]

6

m∑

i=1

(P0(ai, bi]+

+ P0(bi, bi + εi]) 6

∞∑

i=1

P0(ai, bi] +

∞∑

i=1

(F (bi + εi)− F (bi)). (3.1)

Функция F (x) непрерывна справа в каждой точке, следователь-но, можно выбрать εi так, чтобы разность F (bi + εi) − F (bi) быламеньше ε/2i. Следовательно для любого ε > 0 и для любого δ > 0справедливо неравенство:

P0(a+ δ, b] = F (b)− F (a+ δ) 6∞∑

i=1

P0(ai, bi] + ε.

Можем устремить ε и δ к 0, следовательно P0(a, b] 6∑∞

i=1 P0(ai, bi].С другой стороны очевидно, что (a, b] ⊃∑m

i=1(ai, bi] при любом m.Тогда P0(a, b] >

∑mi=1 P0(ai, bi]. Переходя к пределу при m → ∞,

получаем противоположное неравенство. Следовательно, P0(a, b] =∑∞i=1 P0(ai, bi].

Возьмем любое подмножество I ⊂ I1: I =⋃+∞

n=−∞ I ∩ (n, n+1].

Нетрудно показать, что P0(I) =∑+∞

n=−∞ P0 (I ∩ (n, n+ 1]). На-пример, рассмотрим следующее множество: I = (b,+∞), тогда⋃+∞

n=−∞(b,+∞) ∩ (n, n + 1] = (b, l] +⋃+∞

n=l(n, n + 1], l − 1 6 b < l.

63

Очевидно, что

+∞∑

n=−∞P0(I ∩ (n, n+1]) = F (l)−F (b)+ lim

k→∞

k∑

n=l

(F (n+1)−F (n)) =

= limk→∞

(F (l)− F (b) + F (l + 1)− F (l) + . . .+ F (k + 1)) =

= limk→∞

(F (k + 1)− F (b)) = F (∞)− F (b) = 1− F (b) = P0(I).

Аналогично рассматриваются все другие элементы полуалгебры.Теперь докажем счетную аддитивность меры P0 на полуалгебре.Пусть I =

∑∞k=1 Ik, I ∈ I1, Ik ∈ I1, Ik ∩ In = ∅, k 6= n. По

доказанному ранее получаем:

P0(I) =

+∞∑

n=−∞P0(I ∩ (n, n+ 1]) =

=

+∞∑

n=−∞P0

(+∞⋃

k=1

(Ik ∩ (n, n+ 1])

)=

+∞∑

n=−∞

∞∑

k=1

P0(Ik ∩ (n, n+ 1]) =

=∞∑

k=1

+∞∑

n=−∞P0(Ik ∩ (n, n+ 1]) =

∞∑

k=1

P0(Ik)

Отсюда следует, что P0 — счетно-аддитивная мера на полуалгебре,поэтому, по теореме 1.4 она единственным образом продолжаетсяна σ-алгебру.

Замечание 3.1. Каждой вероятностной мере P на (R,B(R)) соот-ветствует единственная функция распределения F и наоборот.

Отметим ряд важных свойств:

P (a) = P

∞⋂

n=1

(a− 1

n, a]

=

= limn→∞

P(a− 1

n, a] = lim

n→∞(F (a)−F (a− 1

n)) = F (a)− F (a− 0).

Если функция F (x) непрерывна в точке a, то P (a) = 0. Также

64

справедливы равенства:

P (a, b) = P (a, b]− P (b) == F (b)− F (a)− F (b) + F (b − 0) = F (b− 0)− F (a),

P [a, b] = P (a) + P (a, b] =

= F (a)− F (a− 0) + F (b)− F (a) = F (b)− F (a− 0).

65

§4. Классификация вероятностных мер

Дискретная вероятностная мера

Определение 4.1. Будем говорить, что мера P , заданная на чис-ловой оси, дискретна, если существует не более, чем счетная сово-купность точек ai: Pai > 0, причем

∑i Pai = 1, точки ai

называются носителями меры.

Рис. 4.1: Функция распределения дискретной случайной величины

Так как Pai = F (ai)−F (ai−0) > 0, то∑

i(F (ai)−F (ai−0)) =1, тогда функция F (x) может быть только кусочно-постоянной(рис. 4.1).

Абсолютно непрерывная вероятностная мера

Определение 4.2. Будем говорить, что вероятностная мера P ,заданная на (R,B(R)), абсолютно непрерывна относительно мерыЛебега (для краткости, абсолютно непрерывна), если существуетf(x) > 0 такая, что для любого борелевского множества B ∈ B(R)выполнено:

P (B) =

∫

B

f(x)dx. (4.1)

В равенстве (4.1) рассматривается интеграл Лебега по мере Лебега,неотрицательную функцию f(x) называют плотностью вероятност-ной меры P относительно меры Лебега.

66

Если B = (−∞, x], то P (B) = F (x), из (4.1) следует, что

F (x) =

x∫

−∞

f(t)dt. (4.2)

Таким образом, формула (4.2) — частный случай формулы(4.1). Нетрудно показать, что (4.1) и (4.2) эквивалентны, то естьнеотрицательная функция f(x) — плотность, если для любого x ∈ R

выполнено (4.2).

Замечание 4.1. Важное свойство интеграла Лебега заключаетсяв том, что если мы изменим под знаком интеграла подынтеграль-ную функцию на множестве меры 0, то интеграл от этого никак неизменится.

Замечание 4.2. Монотонные функции почти всюду дифференци-руемы и почти всюду имеет место равенство (см. [19]):

F ′(x)п.в.= f(x). (4.3)

Если для любого x ∈ R функция f(x) неотрицательна и∫ +∞−∞ f(x)dx = 1, то

∫ x

−∞ f(t)dt — функция распределения на R, ко-торой взаимно однозначно соответствует мера P такая, что P (B) =∫Bf(x)dx.

Функцию

f(x) =1√2πe−

x2

2

называют плотностью стандартного нормального распределения.Сингулярная мера. Сингулярная функция распределения

Определение 4.3. Пусть F (x) — некоторая произвольная функ-ция распределения на R. Будем говорить, что точка z — точка ростафункции F , если для любого ε > 0 справедливо:

F (z + ε)− F (z − ε) > 0.

Определение 4.4. Будем говорить, что непрерывная функцияраспределения F (x) сингулярна, если множество точек роста имеетмеру Лебега равную нулю. Вероятностная мера, взаимно однознач-но соответствующая сингулярной функции распределения, называ-ется сингулярной.

67

Для сингулярной функции выполняется соотношение:F ′(x)

п.н.= 0, но тогда F (x) 6=

∫ x

−∞ F ′(x)dx, при этом F (x) непрерыв-на. Следовательно, функция распределения не восстанавливаетсяпо своей производной.

Пример 4.1. (Пример Кантора сингулярной функции распределе-ния) Кусочно-линейная непрерывная функция F0(x) представленаграфиком (рис. 4.2).

Рис. 4.2: Функция F0(x)

Непрерывная функция распределения F1(x) равна нулю левееточки x = 0 и равна 1 правее точки x = 1. Отрезок [0, 1] делимна 3 равные части. Значение функции внутри среднего интервалапостоянно и равно среднему арифметическому ближайших слева исправа уже заданных значений (рис. 4.3).

Рис. 4.3: Функция F1(x)

Значение функции на оставшихся интервалах определим с по-мощью линейной интерполяции, т.о. определим функцию F1(x) на

68

отрезке [0, 1] следующим образом:

F1(x) =

0, x = 0,

1/2, x ∈ (1/3, 2/3),

1, x = 1,

(4.4)

доопределяя ее в остальных точках отрезка [0, 1] с помощью линей-ной интерполяции.

Далее каждый из отрезков [0, 1/3] и [2/3, 1] также разбиваемна три части по вышеописанному правилу, определяем функцию:

F2(x) =

0, x = 0,

1/4, x ∈ (1/9, 2/9),

1/2, x ∈ (1/3, 2/3),

3/4, x ∈ (7/9, 8/9),

1, x = 1,

(4.5)

доопределяя ее в остальных точках отрезка [0, 1] с помощью линей-ной интерполяции (рис. 4.4).

Рис. 4.4: Функция F2(x)

Таким образом строится последовательность функций распре-деления Fn(x). Все функции Fn(x) непрерывны. Для любого x по-следовательность Fn(x) сходится в себе, то есть для любого ε > 0

69

существует номер n0 такой, что для любых n > n0, m > n0 справед-ливо неравенство: |Fn(x) − Fm(x)| < ε. То есть, существует пределlimn→∞

Fn(x) = F (x). В данном случае сходимость не только поточеч-ная, но и равномерная:

supx

|F (x)− Fn(x)| −−−−→n→∞

0.

Следовательно, предельная функция F (x) — непрерывная функцияраспределения на числовой оси. Функция F (x) является сингуляр-ной функцией распределения. Проанализируем участки функциивнутри отрезка [0, 1], где она является постоянной:

1

3+

2

9+

4

27+ . . . =

1

3

(1 +

2

3+

(2

3

)2

+ . . .

)=

1

3

1(1− 2

3

) = 1.

Таким образом, суммарная длина участков, содержащихся в [0, 1],на которых F (x) является постоянной, равна 1. Производная функ-ции F (x) почти всюду существует и почти всюду равна 0.

Теорема 4.1. (теорема Лебега) Любая функция распределения

F (x) на числовой прямой представима в следующем виде:

F (x) = p1F1(x) + p2F2(x) + p3F3(x),

где p1, p2, p3 > 0, p1 + p2 + p3 = 1, F1(x) — кусочно-постоянная

функция распределения, F2(x) — абсолютно-непрерывная функция

распределения, F3(x) — сингулярная функция распределения.

§5. Конечномерное вероятностное пространство

(Rn,B(Rn))

Рассмотрим вероятностное пространство (Rn,B(Rn), P ). Для лю-бого B ∈ B(Rn) задана вероятность P (B). Возьмем в качестве Bмножество специального вида:

B = (−∞, x1]× . . .× (−∞, xn].

Таким образом, определена функция F (x1, . . . , xn): P (B) =F (x1, . . . , xn). Функция F (x1, . . . , xn) называется функцией рас-пределения, соответствующей вероятностной мере P в простран-стве Rn. Выясним ее свойства, введя для этого разностный

70

оператор ∆(i)ai,bi

h(x1, . . . , xn) = h(x1, . . . , xi−1, bi, xi+1, . . . , xn) −h(x1, . . . , xi−1, ai, xi+1, . . . , xn).

1. Последовательно применим разностный оператор (каждый посвоей оси), тогда

∆(1)a1,b1

∆(2)a2,b2

. . .∆(n)an,bn

F (x1, . . . , xn) > 0,

здесь ai < bi, i = 1, . . . , n.Доказательство. Рассмотрим случай n = 2, т. е.∆

(1)a1,b1

∆(2)a2,b2

F (x1, x2).Имеют место равенства:

P(−∞, x1]× (−∞, b2] = F (x1, b2),

P(−∞, x1]× (−∞, a2] = F (x1, a2),

∆(2)a2,b2

F (x1, x2) = P(−∞, x1]× (a2, b2],

∆(1)a1,b1

P(−∞, x1]× (a2, b2] = P(a1, b1]× (a2, b2] > 0.

2. Функция F (x) непрерывна справа в любой точке по всем ар-гументам. Для любого y = (y1, . . . , yn) имеет место равенство:

lim∀i:xi→yi+0

F (x1, . . . , xn) = F (y1, . . . , yn).

Доказательство. Рассмотрим множество Am =(−∞, x1(m)]× . . .× (−∞, xn(m)], где последовательности вы-браны следующим образом: x1(m) → y1+0,. . .,xn(m) → yn+0.Пусть A = (−∞, y1]× . . .× (−∞, yn]. Из построения очевидно,что Am+1 ⊂ Am, и A =

⋂∞m=1Am. По свойству непрерывности

P (Am) −−−−→m→∞

P (A), то есть F (x1(m), . . . , xn(m)) −−−−→m→∞

F (y).

3. Справедливы утверждения: F (x1, . . . , xn) −−−−−−−→∀i:xi→+∞

1 и

F (x1, . . . , xn) −−−−−−−→∃i:xi→−∞0, если существует xi → −∞.

Доказательство. Пусть выбраны следующие последова-тельности: x1(m) → +∞,. . .,xn(m) → +∞. Пусть Am =

71

(−∞, x1(m)]× . . .× (−∞, xn(m)]. Очевидно, что Am ⊂ Am+1 и⋃mAm = R

n, P (Am) −−−−→m→∞

1.

Пусть мы зафиксировали кроме одного все остальные ар-гументы. Пусть xi(m) −−−−→

m→∞−∞, Am = (−∞, x1] × . . . ×

(−∞, xi−1] × (−∞, xi(m)] × (−∞, xi+1] × . . . × (−∞, xn]. Оче-видно, что Am+1 ⊂ Am,

⋂∞m=1Am = ∅, тогда P (Am) −−−−→

m→∞0.

Определение 5.1. Любая функция от n аргументов, удовлетво-ряющая свойствам 1, 2, 3 называется функцией распределения вRn.

Теорема 5.1. Пусть F (x1, . . . , xn) — функция распределения в

Rn, тогда существует и единственна вероятностная мера P на

(Rn,B(Rn)) такая, что для любых a = (a1, . . . , an), b = (b1, . . . , bn)таких, что ai < bi для любого i имеет место равенство:

P(a1, b1]× . . .× (an, bn] = ∆(1)a1,b1

. . .∆(n)an,bn

F (x),

где x = (x1, . . . , xn).

Доказательство аналогично доказательству соответствующейтеоремы на прямой.

Замечание 5.1. Пусть F1(x), . . . , Fn(x) — произвольные функ-ции распределения на числовой прямой R, тогда F (x1, . . . , xn) =F1(x1) . . . Fn(xn) является функцией распределения в пространствеRn.

Выделим 2 класса мер:1. Дискретная вероятностная мера

Определение 5.2. Будем говорить, что мера P на(Rn,B(Rn)) дискретна, если существует не более чем счет-ное множество zi = (z1i, . . . , zni) такое, что Pzi > 0 и∑

i P (zi) = 1.

2. Абсолютно непрерывная мера относительно меры Лебега

72

Определение 5.3. Будем говорить, что вероятностная мераP абсолютно непрерывна относительно меры Лебега в R

n, ес-ли существует плотность, т. е. существует f(x) > 0 такая, чтодля любогоB ∈ B(Rn): P (B) =

∫B f(x)dx, где x = (x1, . . . , xn).

Возьмем множество: B = (−∞, x1] × . . . × (−∞, xn], следова-тельно, для любого x ∈ Rn выполнено равенство:

x1∫

−∞

. . .

xn∫

−∞

f(t1, . . . , tn)dt1 . . . dtn = F (x1, . . . , xn). (5.1)

Нетрудно показать, что можно дать эквивалентное определе-ние плотности, опираясь на выражение (5.1).

Определение 5.4. Если для некоторой функции f(x) > 0 спра-ведливо равенство (5.1), где F (x) — функция распределения в Rn,соответствующая мере P , то f(x) — плотность меры P относитель-но меры Лебега.

Замечание 5.2. Рассмотрим выражение (5.1). Производная поверхнему пределу почти всюду существует и почти всюду совпа-дает со значениями f в точке:

dnF (x)

dx1 . . . dxn

п.в.= f(x1, . . . , xn) (5.2)

§6. Вероятностное пространство (R∞,B(R∞), P ).

Пусть на пространстве (R∞,B(R∞)) задана мера P . Сигма-алгебрав бесконечномерном пространстве определяется следующим обра-зом: B(R∞) = σCn(B), где Cn(B) — цилиндрические множе-ства, Cn(B) = x = (x1, . . . , xn, . . .) : (x1, . . . , xn) ∈ B, B ∈B(Rn). Пусть P (Cn(B)) определена. Зафиксируем n, тогда мож-но определить вероятностную меру в конечномерном пространствеP (Cn(B)) = Pn(B) для любого B ∈ B(Rn), где Pn(B) — вероятност-ная мера на (Rn,B(Rn)), n — любое, но фиксированное.

Мера P порождает бесконечную последовательность вероят-ностных мер: P1, . . . , Pn, . . . , каждая мера задана на пространстве

73

своей размерности, то есть P1 задана на R, P2 задана на R2 и такдалее. Очевидно, что Cn(B) = Cn+1(B × R), следовательно,

Pn(B) = Pn+1(B × R). (6.1)

Условие (6.1) — условие согласованности мер, оно должно выпол-няться для всех n и любого множества B ∈ B(Rn).

Верно и обратное: если имеется бесконечная последователь-ность вероятностных мер и выполнены условия согласованности(6.1), то существует и единственна вероятностная мера P , задан-ная на бесконечномерном пространстве.

Теорема 6.1. Пусть существует последовательность вероят-

ностных пространств (R,B(R), P1), . . . , (Rn,B(Rn), Pn), . . . та-

ких, что для всех n и любого множества B ∈ B(Rn) выполнено

условие (6.1), тогда существует и единственна вероятностная

мера P на (R∞,B(R∞)) такая, что для всех n и любого множе-

ства B ∈ B(Rn): P (Cn(B)) = Pn(B).

Доказательство. Доказательство можно найти в [35].

Замечание 6.1. Пусть F (x) — любая функция распределенияна числовой прямой R. Нетрудно проверить, что F2(x1, x2) =F (x1)F (x2) — функция распределения на плоскости R2, . . .,Fn(x1, . . . , xn) = F (x1) . . . F (xn) — функция распределения в Rn итак далее. Каждой из таких функций распределения взаимно одно-значно соответствует мера Pn. Нетрудно проверить, что последова-тельность P1, . . . , Pn, . . . удовлетворяет условиям согласованности(6.1), следовательно, существует мера P на (R∞,B(R∞)), согласо-ванная со всеми введенными в замечании мерами.

74

Глава 5

Случайные величины

§1. Распределения случайных величин

Определение 1.1. Случайной величиной, заданной на вероят-ностном пространстве (Ω,F , P ) или F -измеримой числовой функ-цией называется функция ξ : Ω −→ R такая, что для любогоB ∈ B(R): ξ−1(B) = ω | ξ(ω) ⊂ B ∈ F (полный прообраз любогоборелевского множества содержится в σ-алгебре F).

Пусть B ∈ B(R) — некоторое борелевское множество. Рас-смотрим ξ−1(B) = ω|ξ(ω) ⊂ B = ξ ∈ B. Можно говорить оP (ξ−1(B)) = P (ξ ∈ B), так как полный прообраз ξ−1(B) принадле-жит F .

Определим функцию Pξ(B) как функцию аргумента B ∈ B(R)следующим образом:

Pξ(B) = P (ξ−1(B)) = Pξ ∈ B. (1.1)

Определение 1.2. Функция Pξ, определенная равенством (1.1) наσ-алгебре борелевских множеств, называется вероятностным рас-пределением случайной величины ξ.

Замечание 1.1. Pξ(·) представляет собой вероятностную меру наборелевской прямой (R,B(R)).

Доказательство.

1. Pξ(R) = P (ξ−1(R)) = P (Ω) = 1.2. Неравенство Pξ(B) > 0 следует из определения.

75

3. Пусть B1, B2 ∈ B(R): B1 ∩ B2 = ∅, тогда ξ−1(B1 ∪ B2) =ξ−1(B1) ∪ ξ−1(B2), причем ξ−1(B1) ∩ ξ−1(B2) = ∅. Следова-тельно, справедливы равенства: Pξ(B1 ∪ B2) = Pξ−1(B1 ∪B2) = Pξ−1(B1) ∪ ξ−1(B2) = Pξ−1(B1) + Pξ−1(B2) =Pξ(B1) + Pξ(B2). Таким образом, распределение ξ — конечно-аддитивная вероятностная мера.

4. Рассмотрим последовательность Bk: Bk ∈ B(R) для всех k,Bk ∩Bm = ∅, k 6= m. Повторяя рассуждения из предыдущегопункта, получаем, что

Pξ

( ∞⋃

k=1

Bk

)=

∞∑

k=1

Pξ(Bk).

Таким образом, Pξ — счетно-аддитивная вероятностная мера.

Замечание 1.2. Из определения 1.1 и замечания 1.1 следует, чтофункции Pξ(B) взаимно однозначно соответствует функция рас-пределения Fξ(x). Если взять в качестве B = (−∞, x], получаемPξ(−∞, x] = Pξ ∈ (−∞, x] = Pξ 6 x = Fξ(x). Таким образом,можно перейти от вероятностного распределения случайной вели-чины ξ к ее функции распределения.

Определение 1.3. Функцией распределения случайной величиныξ будем называть функцию

Fξ(x) = Pξ 6 x. (1.2)

Функция распределения Fξ(x) = P ξ ∈ (−∞, x] обладает сле-дующими свойствами:

1. Свойство монотонности. Пусть x1 < x2, тогда Fξ(x1) 6 Fξ(x2).2. Функция распределения непрерывна справа в любой точке

числовой прямой:

Fξ(y) −−−−−−→y→x,y>x

Fξ(x)

для любой точки x ∈ R.3. Имеют место сходимости:

Fξ(x) −−−−−→x→+∞

1, Fξ(x) −−−−−→x→−∞

0.

76

Замечание 1.3. Пусть Fξ(x) — функция распределения случайнойвеличины ξ, тогда для любых точек a < b имеет место равенство:

Fξ(b)− Fξ(a) = Pa < ξ 6 b.

Любая точка на числовой прямой является борелевским множе-ством. Имеет место равенство:

Pξ = a = Fξ(a)− Fξ(a− 0).

Справедливы следующие равенства:

Pa 6 ξ 6 b = Fξ(b)− Fξ(a− 0),

Pa < ξ < b = Fξ(b − 0)− Fξ(a).

Лемма 1.1. Пусть F (x) — произвольно выбранная функция рас-пределения на R, тогда существует случайная величина ξ такая,что для любого x : Fξ(x) ≡ F (x).

Доказательство. Возьмем в качестве Ω = R, F = B(R), ξ(ω) ≡ ω.Каждой функции распределения F (x) взаимно однозначно соот-ветствует вероятностная мера P . Итак, определили (Ω,F , P ) =(R,B(R), P ). Таким образом, для любого x справедливы равенства:Fξ(x) = Pξ 6 x = Pξ−1(−∞, x] = P (−∞, x] = F (x).

Замечание 1.4. В большинстве прикладных задач требуетсязнать только закон распределения случайной величины без зада-ния самой функции ξ(ω).

Определение 1.4. Будем говорить, что случайная величина ξ дис-кретна, если ее распределение представляет собой дискретную ве-роятностную меру на R, т. е. существует не более, чем счетнаясовокупность точек zi такая, что Pξ(zi) = Pξ = zi > 0 и∑

i Pξ = zi = 1.

Если число слагаемых в сумме конечно (то есть набор zi ко-нечен), то случайная величина называется простой. Из определе-ния следует, что Fξ(x) — кусочно-постоянная функция: Pξ(zi) =

77

Fξ(zi)−Fξ(zi− 0) > 0,∑

i(Fξ(zi)−Fξ(zi− 0)) = 1. Простую случай-ную величину можно записать следующим образом:

ξ(ω) =

m∑

i=1

ziIω ∈ Ai,

где Ai ∈ F , Ai ∩ Aj = ∅ для i 6= j,⋃m

i=1 Ai = Ω, Iω ∈ Ai —индикатор множества Ai:

Iω ∈ Ai =

1, ω ∈ Ai

0, ω /∈ Ai.

Если Ai = ξ−1(zi), то zi 6= zj для всех i 6= j. Может оказатьсятак, что Ai будет разбито на подмоножества, например, A1 = D1 +D2 + D3, где D1, D2, D3 ∈ F , Di ∩ Dj = ∅ для всех i 6= j. ТогдаI(D1 +D2 +D3) = I(D1) + I(D2) + I(D3), поэтому, вообще говоря,некоторые коэффициенты zi могут совпадать.

Определение 1.5. Будем говорить, что распределение Pξ(·) слу-чайной величины ξ абсолютно непрерывно относительно меры Ле-бега, если существует функция fξ(x), заданная на всей числовойпрямой, такая, что fξ(x) > 0 для любого x ∈ R и для любогоB ∈ B(R) выполнено:

Pξ(B) =

∫

B

fξ(x)dx. (1.3)

Определение 1.6. Функцию fξ(x) из определения 1.5 называютплотностью распределения случайной величины ξ относительно ме-ры Лебега.

Из определения 1.5 следует, что если B = (−∞, x], где x ∈ R,то справедливо равенство:

Fξ(x) =

x∫

−∞

fξ(y)dy. (1.4)

Как было отмечено ранее, равенства (1.3) и (1.4) представляютсобой эквивалентные определения функции плотности. Плотность

78

распределения определяется единственным образом с точностью домножеств Лебега меры нуль по формуле:

dFξ(x)

dx

п.в.= fξ(x). (1.5)

Функция распределения Fξ(x) называется абсолютно непрерывнойфункцией, если у нее существует плотность распределения относи-тельно меры Лебега.

Как было отмечено ранее, на числовой прямой могут быть за-даны сингулярные функции распределения и соответствующие имвероятностные меры. Соответствующие случайные величины мож-но было бы назвать сингулярными.

Если случайная величина дискретная, то для задания рас-пределения достаточно задать множество точек zi и «весов»,Pξ(zi) > 0,

∑i Pξ(zi) = 1. Для того, чтобы задать абсолютно-

непрерывное распределение случайной величины, достаточно за-дать плотность распределения fξ(x) > 0 такую, что

∞∫

−∞

fξ(x)dx = 1.

Пример 1.1. Распределение Бернулли. Случайная величина при-нимает значения 0 или 1:

ξ = 0 · I(A) + 1 · I(A) = I(A),

где вероятность Pξ(1) = p, Pξ(0) = 1− p = q.

Пример 1.2. Биномиальное распределение. Случайная величинапринимает значение, равное числу успехов в серии из n независи-мых испытаний Бернулли:

Pµ = m = Cmn p

mqn−m, m = 0, 1, . . . , n.

Пример 1.3. Распределение Пуассона. Случайная величина ξ рас-пределена по закону Пуассона:

Pξ = m =λm

m!e−λ, λ > 0, m = 0, 1, . . .

79

Пример 1.4. Стандартное нормальное распределение N(0, 1) сплотностью распределения:

fξ(x) =1√2πe−

x2

2 , x ∈ R.

Пример 1.5. Нормальное распределение N(a, σ2) с параметрами

a ∈ R и σ2 (σ > 0). Рассмотрим случайную величину η = a + σξ,a ∈ R, σ > 0, где случайная величина ξ подчиняется стандартномунормальному распределению. Тогда функция распределения слу-чайной величины η может быть определена следующим образом:

Fη(x) = Pη 6 x = Pa+σξ 6 x = P

ξ 6

x− a

σ

= Fξ

(x− a

σ

).

Функция плотности распределения случайной величины η легко на-ходится:

fη(x) = F ′η(x) =

1

σF ′ξ

(x− a

σ

)=

1

σfξ

(x− a

σ

)=

1√2πσ

e−(x−a)2

2σ2 ,

где x ∈ R.

Пример 1.6. Гамма-распределение G(λ, p).

Определение 1.7. Будем говорить, что случайная величина ξ под-чиняется гамма-распределению с параметрами λ, p, если плотностьимеет следующий вид:

fξ(x) =

λpxp−1

Γ(p) e−λx, если x > 0,

0, если x 6 0.

где λ — параметр масштаба, p — параметр формы, p, λ > 0, Γ(p) ==∫∞0xp−1e−xdx.

Пример 1.7. Экспоненциальное распределение является частнымслучаем гамма-распределения при p = 1. Плотность распределенияимеет вид:

fξ(x) =

λe−λx, если x > 0,

0, если x 6 0.

80

Пример 1.8. Бета-распределение с параметрами p1 и p2. Плот-ность распределения имеет вид:

fξ(x) =

xp1−1(1−x)p2−1

B(p1,p2), если x ∈ (0, 1),

0, если x /∈ (0, 1),

где β-функция определяется следующим образом: B(p1, p2) =∫ 1

0 xp1−1(1− x)p2−1dx, p1 > 0, p2 > 0.

Пример 1.9. Равномерное распределение является частным слу-чаем бета-распределения при p1 = 1 и p2 = 1. Плотность равномер-ного распределения имеет вид:

fξ(x) =

1, если x ∈ [0, 1],

0, если x /∈ [0, 1].

§2. Свойство измеримости

Рассмотрим вероятностное пространство (Ω,F , P ) и случайную ве-личину ξ : Ω −→ R. Функция ξ(ω) является F -измеримым отоб-ражением, т. е. для любого борелевского множества B ∈ B(R):ξ−1(B) ∈ F .

Определение 2.1. Будем называть функцию h : Rk → Rl боре-левской, если h−1(B) ∈ B(Rk) для любого B ∈ B(Rl).

Лемма 2.1. Пусть M — семейство множеств на числовой прямойR такое, что σ(M) = B(R). Для того, чтобы функция ξ : Ω → R

была F -измеримой, необходимо и достаточно, чтобы для любогоC ∈ M выполнялось равенство ξ−1(C) ∈ F .

Доказательство. Необходимость. Очевидно, что еслиσ(M) = B(R), то M ⊂ B(R), тогда для любого C ∈ M имеет местовключение: ξ−1(C) ∈ F .

Достаточность. Рассмотрим семейство множеств

D = A ∈ B(R) : ξ−1(A) ∈ F, M ⊂ D ⊂ B(R).

Нетрудно доказать следующие равенства:

81

1. ξ−1(⋃

i Ti) =⋃

i ξ−1(Ti),

2. ξ−1(⋂

i Ti) =⋂

i ξ−1(Ti),

3. ξ−1(T ) = ξ−1(T ).Из равенств следует, что система множеств D представляет собойσ-алгебру, и, следовательно, D = B(R).

Замечание 2.1. Справедливо следующее равенство:σ(−∞, a], a ∈ R = B(R).Лемма 2.2. Пусть на вероятностном пространстве (Ω,F , P ) заданаслучайная величина ξ(ω) и задана борелевская функция h : R →R. Тогда η(ω) = h(ξ(ω)) — F -измеримая числовая функция, т. е.случайная величина.

Доказательство. Очевидно, что η : Ω → R. Для произ-вольного борелевского множества B ∈ B(R) выполнено: η−1(B) =ξ−1(h−1(B)) ∈ F .

Из леммы следует, что элементарные функции от случайныхвеличин являются случайными величинами. Если для любого ω ∈ Ωсуществует предел:

limn→∞

ξn(ω) = ξ(ω),

причем, ξn(ω) — F -измеримые функции, то ξ(ω) также являетсяF -измеримой функцией [19], [35].

Лемма 2.3. Семейство полных прообразов ξ−1(B), B ∈ B(R) яв-ляется σ-алгеброй.

Доказательство.

1. ξ−1(R) = Ω.2. Рассмотрим счетные или конечные совокупности множеств

Bi таких, что Bi ∈ B(R) для любого i. Тогда справедли-во равенство: ξ−1(

⋃iBi) =

⋃i ξ

−1(Bi), при этом⋃

iBi ∈ B(R).Следовательно, ξ−1(

⋃iBi) ∈ F .

3. ξ−1(B) = ξ−1(B).Таким образом, семейство замкнуто относительно операции объ-единения и дополнения, следовательно, оно является σ-алгеброй,которая содержится в F .

Определение 2.2. Сигма-алгебру σξ = ξ−1(B), B ∈ B(R) будемназывать сигма-алгеброй, порожденной случайной величиной ξ.

82

§3. Случайные элементы со значениями в конеч-

номерном пространстве Rk

В дальнейшем будем говорить о σ-алгебре борелевских множествB(Rn) в пространстве Rk, т. е.

σ (a1, b1]× (a2, b2]× . . .× (ak, bk] = B(Rk).

К этой σ-алгебре можно прийти другим способом: пусть B1 ∈B(R1), B2 ∈ B(R2), . . ., Bn ∈ B(Rk), тогда

σ B1 ×B2 × . . .×Bn = B(Rk).

Построенную σ-алгебру называют прямым произведением n сигма-алгебр и обозначают:

B(Rk) = B(R1)⊗ B(R2)⊗ . . .⊗ B(Rk).

Определение 3.1. Отображение ξ : Ω → Rk будем называть F -измеримым, или, что то же самое, ξ является случайным элемен-том со значениями в Rk или случайным вектором, если для любогомножества B ∈ B(Rk): ξ−1(B) ∈ F .

Тогда, по аналогии со скалярным случаем, определим вероят-ностное распределение случайного вектора ξ или совместное рас-пределение случайных величин ξ1, . . ., ξn:

Pξ−1(B)

= P ξ ∈ B = Pξ(B).

Совместное распределение случайных величин ξ1, . . ., ξk опре-делено на σ-алгебре B(Rk). Как и в скалярном случае, совместноераспределение является вероятностной мерой Pξ(·) на (Rk,B(Rk)).Леммы 2.1, 2.2, 2.3 переносятся на рассматриваемые отображенияξ : Ω → Rk. При этом, конечно, h : Rk → Rm и η(ω) = h(ξ(ω)) —случайный элемент со значениями в Rm.

Лемма 3.1. Пусть на вероятностном пространстве (Ω,F , P ) зада-но отображение ξ : Ω → R

k. Для того, чтобы отображение ξ былоF -измеримым, необходимо и достаточно, чтобы для любого c ∈ M,σ(M) = B(Rk), выполнялось: ξ−1(c) ∈ F , где M — система мно-жеств.

83

Лемма 3.2. Пусть ϕ — борелевская функция, такая, что ϕ : Rk →R

m, тогда, если ξ(ω) = (ξ1(ω), . . . , ξk(ω))T — случайный вектор, то

ϕ(ξ(ω)) — случайный вектор.

Лемма 3.3. Пусть F (x1, . . . , xk) — произвольная функция рас-пределения в Rk. Тогда существует случайный вектор ξ(ω) =(ξ1(ω), . . . , ξk(ω))

T , заданный на некотором вероятностном про-странстве (Ω,F , P ), такой, что

Fξ1,...,ξk(x1, . . . , xk) ≡ F (x1, . . . , xk).

Лемма 3.4. Семейство полных прообразов ξ−1(B), B ∈ B(Rk),является σ-алгеброй.

Определение 3.2. Сигма-алгебру σξ = ξ−1(B), B ∈ B(Rk) будемназывать сигма-алгеброй, порожденной случайным вектором ξ.

Рассмотрим ξ(ω) = (ξ1(ω), . . . , ξk(ω))T . Отображение ξl(ω) :

Ω → R = (−∞,∞). Для произвольного B ∈ B(R) справедливо сле-дующее равенство:

ξ−1l (B) = ξ−1

1 (R)∩ . . .∩ ξ−1l−1(R)∩ ξ−1

l (B)∩ ξ−1l+1(R)∩ . . .∩ ξ−1

k (R) =

= ξ−1(R× . . .× R×B × R× . . .× R) ∈ F .

Таким образом, любая проекция случайного вектора является слу-чайной величиной. Верно и обратное. Пусть η1(ω), . . . , ηk(ω) —случайные величины, заданные на вероятностном пространстве(Ω,F , P ), тогда η(ω) = (η1(ω), . . . , ηk(ω))

T является случайным эле-ментом со значениями в R

k. Обратное доказательство можно про-вести, применив лемму 3.1.

§4. Функции распределения в конечномерных

пространствах

Рассмотрим конечномерное вероятностное пространство(Rk,B(Rk), Pξ).

Определение 4.1. Совместной функцией распределения случай-ных величин ξ1, . . ., ξk (функцией распределения вектора ξ =

84

(ξ1, . . . , ξk)) называется функция

F(ξ1,...,ξk)(x1, . . . , xk) = Fξ(x) = Pξ (−∞, x1]× . . .× (−∞, xk] =

= P ξ1 6 x1, . . . , ξk 6 xk . (4.1)

Определение 4.2. Будем говорить, что распределение Pξ(·) слу-чайного вектора ξ в пространстве (Rk,B(Rk)) абсолютно непрерыв-но относительно меры Лебега, если существует функция fξ(x) та-кая, что fξ(x) > 0 для любого x ∈ Rk, и для любого B ∈ B(Rk)выполнено:

Pξ(B) =

∫

B

fξ(x)dx. (4.2)

Определение 4.3. Функцию fξ(x) = fξ1...ξk(x1, . . . , xk) будем на-зывать совместной плотностью распределения случайных величинξ1, . . . , ξk.

Выберем множество B = (−∞, x1]× . . .× (−∞, xk], тогда спра-ведливо равенство:

P(−∞, x1]× . . .× (−∞, xk] = Fξ1...ξk(x1, . . . , xk) =

=

x1∫

−∞

. . .

xk∫

−∞

f(y1, . . . , yk)dy1 . . . dyk. (4.3)

Аналогично скалярному случаю нетрудно показать, что равенства(4.2) и (4.3) эквивалентны. Переходя к повторному интегрирова-нию, используя свойства интеграла Лебега с переменным верхнимпределом, получаем:

∂kFξ(x1, . . . , xk)

∂x1 . . . ∂xk

п.в.= f(ξ1,...,ξk)(x1, . . . , xk). (4.4)

Свойства многомерной функции распределения изучались в §5. гла-вы 4. Там же было показано, что имеется взаимно однозначное со-ответствие между вероятностными мерами и функциями распреде-ления в конечномерных пространствах.

Установим еще одно свойство, верное для всех многомерныхфункций распределения. Пусть задана функция распределения

85

F(ξ1,...,ξk)(x1, . . . , xk). Выберем совокупность аргументов xl+1, . . .,xk и устремим каждый из них к бесконечности, тогда имеет местосходимость:

F(ξ1,...,ξk)(x1, . . . , xk) −−−−−−−−−−−−→xl+1→∞,...,xk→∞F(ξ1,...,ξl)(x1, . . . , xl),

где

F(ξ1,...,ξk)(x1, . . . , xk) = Pξ1 6 x1, ξ2 6 x2, . . . , ξk 6 xk =

= Pξ−11 (−∞, x1] ∩ ξ−1

2 (−∞, x2] ∩ . . . ∩ ξ−1k (−∞, xk].

Доказательство. Выберем произвольные числовые последова-тельности: xl+1(n) → ∞,. . .,xk(n) → ∞ и подставим их вместоxl+1, . . . , xk в выражение для функции распределения, тогда подзнаком вероятности получим возрастающие последовательности:Pξ(−∞, x1]× . . .× (−∞, xl+1(n)]× . . .× (−∞, xk(n)].

Обозначим через An = (−∞, x1] × . . . × (−∞, xl] ×(−∞, xl+1(n)]× . . .×(−∞, xk(n)]. Очевидно, что An ⊂ An+1. Тогда всилу непрерывности вероятностной меры: Pξ(An) → Pξ((−∞, x1]×. . .× (−∞, xl]× Rn−l) = Fξ1...ξl(x1, . . . , xl).

Замечание 4.1. Утверждение справедливо для любого набора ар-гументов xi1 , xi2 , . . ., xis . Устремив выбранные аргументы к бес-конечности, получим функцию распределения подвектора, завися-щую от оставшихся аргументов.

Следствие 4.1. Имеет место сходимость:

F(ξ1,...,ξk)(x1, . . . , xk) −−−−−−−−−−−−−−−−−−−−−−−−−→x1→∞,...,xi−1→∞,xi+1→∞,...,xk→∞Fξi(xi),

где Fξi(xi) — маргинальная функция распределения (одномерная

функция распределения случайной величины ξi, i = 1, . . . , k).

Справедливо еще одно свойство многомерной плотности рас-пределения. Пусть fξ1,...,ξk(x1, . . . , xk) — совместная плотность рас-пределения случайных величин ξ1, . . ., ξk. Тогда имеет место ра-

86

венство:

fξ1,...,ξl(x1, . . . , xl) =

=

+∞∫

−∞

. . .

+∞∫

−∞

fξ1,...,ξl,ξl+1,...,ξk(x1, . . . , xl, xl+1, . . . , xk)dxl+1 . . . dxk.

Доказательство. Рассмотрим произвольное борелевское множе-ство B ∈ B(Rl). Перейдя к повторному интегрированию, найдемвероятность:

P(ξ1, . . . ξl) ∈ B = P(ξ1, . . . ξl, ξl+1, . . . , ξk) ∈ B × Rk−l =

=

∫· · ·∫

B

∫

R

. . .

∫

R

fξ1,...,ξk(x1, . . . , xl, xl+1, . . . xk)dx1 . . . dxk =

=

∫· · ·∫

B

∫

R

. . .

∫

R

fξ(x1, . . . , xl+1, . . . xk)dxl+1 . . . dxk

dx1 . . . dxl,

функция в квадратных скобках неотрицательна и удовле-творяет определению плотности. Так как равенство вернодля любого B ∈ B(Rl), то в соответствии с определени-ем∫R. . .∫Rfξ(x1, . . . , xl, xl+1, . . . xk)dxl+1 . . . dxk представляет собой

плотность.

Замечание 4.2. Утверждение сохраняется для любого набора ар-гументов xi1 , xi2 , . . ., xis . Проинтегрировав по выбранным аргумен-там, получим плотность распределения подвектора.

Замечание 4.3. Указанным способом можно получить плотностьраспределения любой компоненты вектора ξ, интегрируя по всем«ненужным» компонентам.

Пример 4.1. Плотность стандартного нормального k-мерного рас-пределения N(0,Ek) имеет вид:

fξ(x1, . . . , xk) =1

(2π)k2

e− 1

2

k∑

i=1x2i

.

87

Пример 4.2. Плотность нормального k-мерного распределенияN(a,Σ) имеет вид:

fξ(x1, . . . , xk) =1

(2π)k2

√|Σ|

e−12 (x−a)TΣ−1(x−a),

где матрица Σ > 0 положительно определена и вектор a =(a1, . . . , ak)

T ∈ Rk.

§5. Независимые случайные величины

Пусть на вероятностном пространстве (Ω,F , P ) задан случайныйвектор ξ(ω) = (ξ1(ω), . . . , ξk(ω)).

Определение 5.1. Случайные величины ξ1, . . . , ξk взаимно неза-висимы, если для любых борелевских множеств B1, . . . , Bk ∈ B(R)выполнено следующее равенство:

P ξ1 ∈ B1, . . . , ξk ∈ Bk = P ξ1 ∈ B1 · . . . · P ξk ∈ Bk (5.1)

илиP(ξ1,...,ξk) (B1 × . . .×Bk) = Pξ1(B1) · . . . · Pξk(Bk). (5.2)

Замечание 5.1. Данное определение эквивалентно следующему:случайные величины ξ1, . . . , ξk взаимно независимы, если взаимнонезависимы порожденные ими σ-алгебры.

Теорема 5.1. Случайные величины ξ1, . . . , ξk взаимно независимы

тогда и только тогда, когда совместная функция распределения

удовлетворяет условию:

Fξ1,...,ξk(x1, . . . , xk) = Fξ1 (x1) · . . . · Fξk(xk).

при любом x = (x1, . . . , xk).

Доказательство. Необходимость очевидна.Достаточность. К обеим частям равенства применим раз-

ностный оператор ∆(1)a1b1

∆(2)a2b2

. . .∆(k)akbk

:

Pξ1 ∈ (a1, b1], ξ2 ∈ (a2, b2], . . . , ξk ∈ (ak, bk] =

= Pξ1 ∈ (a1, b1]Pξ2 ∈ (a2, b2] . . . Pξk ∈ (ak, bk].

88

В силу непрерывности вероятностных мер получаем:

Pξ1 ∈ I1, . . . , ξk ∈ Ik = Pξ1 ∈ I1 · . . . · Pξk ∈ Ik,

где I1, . . . , Ik — произвольные множества из полуалгебры I1 =(−∞,+∞), (−∞, a], (b,+∞), (a, b].

Зафиксируем множества I2, . . . , Ik, получим две конечные ме-ры, заданные на пространстве (R1,B(R1)). Они совпадают на полу-алгебре, а следовательно, они совпадают на σ-алгебре, порожден-ной этой полуалгеброй.

Pξ1 ∈ B1, ξ2 ∈ I2, . . . , ξk ∈ Ik =

= Pξ1 ∈ B1Pξ2 ∈ I2 . . . Pξk ∈ Ik,

где B1 — произвольное борелевское множество. Далее повторяемрассуждение и приходим к формуле (5.1).

Предположим, что распределение случайного вектора ξ абсо-лютно непрерывно относительно меры Лебега, т. е. существует сов-местная плотность распределения fξ(x1, . . . , xk) случайного векто-ра ξ, тогда существует плотность fξi(xi) у каждой случайной вели-чины ξi, i = 1, . . . , k, причем

fξi(xi) =

∞∫

−∞

. . .

∞∫

−∞

fξ(x1, . . . , xk)dx1 . . . dxi−1dxi+1 . . . dxk.

Следствие 5.1. Если существует совместная плотность рас-

пределения, случайные величины ξ1, . . ., ξk взаимно независимы

тогда и только тогда, когда совместная плотность представля-

ется в виде:

fξ1,...,ξk(x1, . . . , xk)п.в.= fξ1(x1) · . . . · fξk(xk).

Следствие 5.2. Пусть все случайные величины дискретны: ξ1 ∈z(i1)1 , . . ., ξk ∈ z(ik)k . Тогда ξ = (ξ1, . . . , ξk) ∈

(z

(i1)1 , . . . , z

(ik)k )

.

Необходимым и достаточным условием независимости случайных

величин ξ1, . . . , ξk является равенство:

Pξ1 = z

(i1)1 , . . . , ξk = z

(ik)k

= P

ξ1 = z

(i1)1

. . .ξk = z

(ik)k

.

89

Рассмотрим суммирование двух взаимно независимых случай-ных величин с абсолютно непрерывными распределениями. Пустьна вероятностном пространстве (Ω,F , P ) заданы случайные вели-чины ξ(ω) с плотностью распределения fξ(x) и η(ω) с плотностьюраспределения fη(y). Пусть случайные величины ξ и η взаимнонезависимы, тогда совместная плотность распределения имеет видfξη(x, y) = fξ(x)fη(y).

Рис. 5.1: Область интегрирования

Рассмотрим случайную величину ζ = ξ + η и найдем ее плот-ность распределения. Для этого достаточно найти Fζ(z) = Pζ 6 z(рис. 5.1):

Fζ(z) =

= Pζ 6 z = Pξ + η 6 z = P (ξ, η) ∈ (x, y) : x+ y 6 z =

=

∫∫

(x,y):x+y6z

fξ(x)fη(y)dxdy =

+∞∫

−∞

z−x∫

−∞

fξ(x)fη(y)dy

dx =

=

+∞∫

−∞

z∫

−∞

fξ(x)fη(u− x)dudx =

z∫

−∞

+∞∫

−∞

fξ(x)fη(u − x)dx

du =

=

z∫

−∞

fζ(u)du.

90

Таким образом, получили формулу свертки. В силу симметрично-сти справедливо равенство:

fζ(u) =

+∞∫

−∞

fξ(x)fη(u − x)dx =

+∞∫

−∞

fη(y)fξ(u− y)dy.

91

Глава 6

Математическое ожидание как интергал

Лебега

§1. Определение и свойства математического ожи-

дания

Пусть задано вероятностное пространство (Ω,F , P ) и числоваяфункция ξ(ω). Могут существовать такие элементарные событияω, что ξ(ω) = +∞ или ξ(ω) = −∞. Поэтому имеет смысл рассмат-ривать расширенную числовую прямую R = R ∪ −∞ ∪ +∞.

Пусть для любого борелевского множества B ∈ B(R) выполня-ется ξ−1(B) ∈ F , ξ−1(−∞) ∈ F , ξ−1(∞) ∈ F . Такие F -измеримыефункции будем называть расширенными случайными величинами.Ниже перечислим некоторые соотношения, которые будем предпо-лагать справедливыми:

• a±∞ = 0, a ∈ R.

• a · ∞ = ∞, a > 0.• a · ∞ = −∞, a < 0.• 0 · ∞ = 0.

Определение 1.1. Математическое ожидание расширенной слу-чайной величины ξ представляет собой интеграл Лебега:

Eξ =

∫

Ω

ξ(ω)dP, (1.1)

если этот интеграл существует. Последовательно рассмотрим сле-дующие типы случайных величин:

92

1. Рассмотрим простую неотрицательную случайную величину

0 6 ξ(ω) =m∑

i=1

aiIω ∈ Ai,

где ai ∈ R, ai > 0, Ai ∈ F ,∑m

i=1 Ai = Ω, Ai ∩ Aj = ∅ для всехi 6= j.Полагаем

Eξ =

∫

Ω

ξ(ω)dP =m∑

i=1

aiP (Ai).

2. Рассмотрим неотрицательную расширенную случайную вели-чину ξ(ω) > 0. В этом случае существует последовательностьпростых случайных величин ξn(ω) > 0 таких, что в каждойточке множества Ω случайные величины ξn(ω) монотонно схо-дятся к случайной величине ξ(ω), то есть, lim

n→∞ξn(ω) = ξ(ω),

ξn(ω) 6 ξn+1(ω) для любого ω. Тогда

Eξ =

∫

Ω

ξ(ω)dP = limn→∞

∫

Ω

ξn(ω)dP.

3. Рассмотрим любую F -измеримую функцию ξ(ω) (расширен-ную случайную величину). Ее можно представить единствен-ным образом в виде разности двух неотрицательных функций:

ξ(ω) = ξ+(ω)− ξ−(ω),

где

ξ+(ω) = ξ(ω)Iω : ξ(ω) > 0 =

ξ(ω), ξ(ω)>00, ξ(ω)<0 ,

ξ−(ω) = −ξ(ω)Iω : ξ(ω) < 0 =

−ξ(ω), ξ(ω)<00, ξ(ω)>0 .

Обе функции ξ+ и ξ− являются неотрицательными. В каждойточке ω выполняется: ξ+ξ− = 0. Положим

Eξ =

∫

Ω

ξ(ω)dP =

∫

Ω

ξ+(ω)dP −∫

Ω

ξ−(ω)dP.

93

Из определения 1.1 следует, что интеграл Лебега может несуществовать только в одном случае, когда в части 3 определения1.1 получаем

∫Ωξ+(ω)dP =

∫Ωξ−(ω)dP = ∞, то есть, возникает

неопределенность вида ∞−∞.

Замечание 1.1. Интеграл Лебега может принимать значения ∞ и−∞. В этом случае считается, что интеграл определен (существу-ет), но не конечен.

Свойства математического ожидания

I. Свойство линейности

1. Пусть существует∫Ω

ξ(ω)dP и c ∈ R, тогда существует

∫

Ω

cξ(ω)dP = c

∫

Ω

ξ(ω)dP.

2. Пусть существуют∫Ωξ(ω)dP ,

∫Ωη(ω)dP ,

∫Ωξ(ω)dP +∫

Ωη(ω)dP , тогда существует

∫

Ω

(ξ(ω) + η(ω))dP =

∫

Ω

ξ(ω)dP +

∫

Ω

η(ω)dP.

II. Свойство положительности

1. Пусть ξ(ω) > 0, тогда∫Ωξ(ω)dP > 0.

2. Пусть ξ(ω) 6 η(ω), и существует∫Ω ξ(ω)dP > −∞, тогда су-

ществует∫Ωη(ω)dP >

∫Ωξ(ω)dP .

3. Пусть ξ(ω) 6 η(ω), и существует∫Ωη(ω)dP < ∞, тогда суще-

ствует∫Ω ξ(ω)dP 6

∫Ω η(ω)dP .

Докажем, что введенное ранее определение 1.1 математическо-го ожидания корректно. Рассмотрим сначала первую часть опреде-ления. В этом случае могут быть разные формы записи ξ(ω):

ξ(ω) =

m∑

i=1

aiIω ∈ Ai =

n∑

j=1

bjIω ∈ Bj,

где Bj ∈ F , Bj ∩Bk = ∅, j 6= k,⋃n

j=1 Bj = Ω. Необходимо показать,что

∑mi=1 aiP (Ai) =

∑nj=1 bjP (Bj). Всякое Ai представимо в виде

94

Ai =⋃n

j=1(Ai ∩Bj), и аналогично, Bj =⋃m

i=1(Ai ∩Bj). Тогда имеетместо равенство:

m∑

i=1

aiP (Ai) =m∑

i=1

n∑

j=1

aiP (Ai ∩Bj) =n∑

j=1

m∑

i=1

bjP (Ai ∩Bj) =

=n∑

j=1

bjP (Bj).

Если Ai∩Bj = ∅, то P (Ai∩Bj) = 0. Если Ai∩Bj 6= ∅, то обязательноai = bj . Таким образом, первая часть определения 1.1 математиче-ского ожидания корректна.

Проверим выполнение свойств линейности и положительностидля первой части определения 1.1 математического ожидания. До-кажем свойство линейности:

1. Если ξ(ω) =∑m

i=1 aiIω ∈ Ai, то имеет место равенство:

cξ(ω) =m∑

i=1

caiIω ∈ Ai,

Следовательно, получаем:

∫

Ω

cξ(ω)dP =

m∑

i=1

caiP (Ai) = c

m∑

i=1

aiP (Ai) = c

∫

Ω

ξ(ω)dP.

2. Введем случайную величину η(ω) =∑n

j=1 djIω ∈ Dj. Мо-жем записать представления:

Ai =

n⋃

j=1

(Ai ∩Dj), Dj =

m⋃

i=1

(Ai ∩Dj).

Тогда

ξ(ω) =

m∑

i=1

n∑

j=1

aiIω ∈ Ai ∩Dj,

η(ω) =m∑

i=1

n∑

j=1

djIω ∈ Ai ∩Dj.

95

Рассмотрим сумму:

ξ(ω) + η(ω) =

m∑

i=1

n∑

j=1

(ai + dj)Iω ∈ Ai ∩Dj, (1.2)

и найдем ее математическое ожидание:∫

Ω

(ξ(ω) + η(ω))dP =

m∑

i=1

n∑

j=1

(ai + dj)P (Ai ∩Dj).

Сумма простых функций также является простой функцией.Учитывая представления (1.2), можем продолжить равенство:

m∑

i=1

n∑

j=1

(ai + dj)P (Ai ∩Dj) =

m∑

i=1

aiP (Ai) +

n∑

j=1

djP (Dj) =

=

∫

Ω

ξ(ω)dP +

∫

Ω

η(ω)dP.

Свойство линейности выполняется для первой части опреде-ления 1.1 математического ожидания.

Докажем свойство положительности:1. Так как ξ(ω) — простая случайная величина, ξ(ω) =∑m

i=1 aiIω ∈ Ai > 0, то все коэффициенты ai > 0. Сле-довательно, ∫

Ω

ξ(ω)dP =

m∑

i=1

aiP (Ai) > 0,

так как все слагаемые неотрицательные.2. Так как ξ(ω) 6 η(ω), то η(ω)− ξ(ω) > 0. Рассмотрим выраже-

ние (η(ω)− ξ(ω)) + ξ(ω) = η(ω), где η(ω) − ξ(ω) > 0, ξ(ω) > 0,η(ω) > 0. Из доказательства линейности следует, что

∫

Ω

η(ω)dP =

∫

Ω

(η(ω)− ξ(ω)) dP +

∫

Ω

ξ(ω)dP (1.3)

Опираясь на доказательство предыдущего пункта, делаем вы-вод, что

∫Ω(η(ω)− ξ(ω)) dP > 0. Если отбросить это неотрица-

тельное слагаемое из равенства (1.3), то правая часть равен-ства может только уменьшиться. Свойство положительности

96

выполняется для первой части определения 1.1 математиче-ского ожидания.

Теорема 1.1. Справедливы свойства:

1. Пусть ξ(ω) — произвольная F-измеримая функция, прини-

мающая значения на расширенной числовой прямой. Тогда

существует последовательность простых функций ξn(ω)такая, что lim

n→∞ξn(ω) = ξ(ω) и |ξn(ω)| 6 |ξ(ω)| для всех n.

2. Пусть ξ(ω) > 0 — F-измеримая функция со значениями в

расширенной числовой прямой. Тогда существует последова-

тельных простых функций, что имеет место сходимость:

0 6 ξn(ω) 6 ξn+1(ω) −−−−→n→∞

ξ(ω).

Доказательство. Сначала докажем второе утверждение тео-ремы. Запишем последовательность ξn(ω) явным образом. Для это-го разделим каждый интервал на 2n подинтервалов:

ξn(ω) =

n2n−1∑

k=0

k

2n· Ik

2n6 ξ(ω) <

k + 1

2n

+ nIξ(ω) > n.

Проверим, что для любых ω и n справедливо неравенство:

0 6 ξn(ω) 6 ξn+1(ω) 6 ξ(ω).

Выбирая n > ξ(ω), получаем: 0 6 ξ(ω) − ξn(ω) 612n . Если ξ(ω0) =

∞, то по построению ξn(ω0) = n→ ∞.Докажем первое утверждение теоремы. Представим ξ(ω) един-

ственным образом в виде разности двух положительных функций:

ξ(ω) = ξ+(ω)− ξ−(ω),

где ξ+(ω) = ξ(ω)Iξ(ω) > 0, ξ−(ω) = −ξ(ω)Iξ(ω) < 0.Таким образом, |ξ(ω)| = ξ+(ω) + ξ−(ω). Применим второе

утверждение теоремы для каждой из частей функции ξ(ω), полу-чаем:

0 6 ξ+n (ω) −−−−→n→∞

ξ+(ω),

0 6 ξ−n (ω) −−−−→n→∞

ξ−(ω).

97

Таким образом, имеет место сходимость:

ξn(ω) = ξ+n (ω)− ξ−n (ω) −−−−→n→∞

ξ(ω).

При этом |ξn(ω)| 6 ξ+n (ω)+ ξ−n (ω) −−−−→

n→∞ξ+(ω)+ ξ−(ω), и имеют ме-

сто неравенства: ξ+n (ω) < ξ+(ω), ξ−n (ω) < ξ−(ω), тогда справедливонеравенство:

|ξn(ω)| 6 ξ+n (ω) + ξ−n (ω) 6 ξ+(ω) + ξ−(ω) = |ξ(ω)|.Теорема доказана.

Замечание 1.2. Данная теорема доказывает существование по-следовательности, которая рассматривается во второй части опре-деления математического ожидания. Однако, может существоватьмного последовательностей, обладающих такими свойствами. Надодоказать, что предел математических ожиданий у всех последова-тельностей одинаков.

Лемма 1.1. Пусть последовательность неотрицательных простыхфункций ξn(ω) такова, что ξn(ω) 6 ξn+1(ω), 0 6 ξn(ω) −−−−→

n→∞ξ(ω) и

0 6 η(ω) 6 ξ(ω), где η(ω) — простая функция. Тогда справедливоследующее неравенство:

limn→∞

∫

Ω

ξn(ω)dP >

∫

Ω

η(ω)dP.

Доказательство. Рассмотрим некоторое ε > 0, введем собы-тие:

Aεn = ω : ξn(ω) > η(ω)− ε.

Последовательность Aεn ⊂ Aε

n+1 — возрастающая последователь-ность событий, и

⋃∞n=1A

εn = Ω. Следовательно,

Aεn ⊃ Aε

n+1,∞⋂

n=1

Aεn = ∅. (1.4)

Очевидно, что выполнено неравенство:

ξn(ω) > ξn(ω)Iω ∈ Aεn > (η(ω) − ε)Iω ∈ Aε

n = η(ω)−− η(ω)Iω ∈ Aε

n − εIω ∈ Aεn > η(ω)− CIω ∈ Aε

n − ε, (1.5)

98

где C = maxω∈Ω

η(ω).

Слева и справа в неравенстве (1.5) — простые функции, дляних свойство положительности уже установлено. Таким образом,получаем неравенство:

∫

Ω

ξn(ω)dP >

∫

Ω

η(ω)dP − CP (Aεn)− ε.

В силу (1.4) получаем сходимость: CP (Aεn) −−−−→

n→∞0. Перейдем к

пределу:

limn→∞

∫

Ω

ξn(ω)dP >

∫

Ω

η(ω)dP − ε.

Неравенство справедливо при любом ε, а, значит, справедливо иутверждение леммы.

Рассмотрим следующие последовательности простых функ-ций: ξn(ω) 6 ξn+1(ω), 0 6 ξn(ω) −−−−→

n→∞ξ(ω), ηm(ω) 6 ηm+1(ω),

0 6 ηm(ω) −−−−→n→∞

ξ(ω).

Возьмем конкретное m и применим лемму 1.1:

limn→∞

∫

Ω

ξn(ω)dP >

∫

Ω

ηm(ω)dP.

Также справедливо неравенство:

limn→∞

∫

Ω

ξn(ω)dP > limm→∞

∫

Ω

ηm(ω)dP.

Данные рассуждения применимы для функций ηn(ω), ξm(ω), рас-сматриваемых в обратном порядке. Таким образом,

limn→∞

∫

Ω

ξn(ω)dP = limm→∞

∫

Ω

ηm(ω)dP.

Следовательно, вторая часть определения 1.1 математическогоожидания корректна.

Проверим выполнение свойств линейности и положительностидля второй части определения 1.1 математического ожидания. До-кажем сначала свойство линейности:

99

1. Рассмотрим cξ(ω), где c > 0, ξn(ω) 6 ξn+1(ω), 0 6 ξn(ω) −−−−→n→∞

ξ(ω). Тогда cξn(ω) 6 cξn+1(ω), 0 6 cξn(ω) −−−−→n→∞

cξ(ω) и

∫

Ω

cξ(ω)dP = limn→∞

∫

Ω

cξn(ω)dP =

= c limn→∞

∫

Ω

ξn(ω)dP = c

∫

Ω

ξ(ω)dP.

2. Рассмотрим последовательности простых функций ξn(ω) 6

ξn+1(ω), 0 6 ξn(ω) −−−−→n→∞

ξ(ω), ηn(ω) 6 ηn+1(ω), 0 6

ηn(ω) −−−−→n→∞

η(ω). Для них справедливо неравенство:

ξn(ω) + ηn(ω) 6 ξn+1(ω) + ηn+1(ω),

0 6 ξn(ω) + ηn(ω) −−−−→n→∞

ξ(ω) + η(ω).

Тогда имеют место равенства:

∫

Ω

(ξ(ω) + η(ω))dP = limn→∞

∫

Ω

(ξn(ω) + ηn(ω))dP =

= limn→∞

∫

Ω

ξn(ω)dP+ limn→∞

∫

Ω

ηn(ω)dP =

∫

Ω

ξ(ω)dP+

∫

Ω

η(ω)dP.

Докажем свойство положительности:1. Пункт 1 свойства положительности очевидно выполняется.2. Рассмотрим п. 2, 3 свойства положительности. Если ξ(ω) 6

η(ω), то η(ω) = (η(ω)−ξ(ω))+ξ(ω). В данном равенстве η(ω)−ξ(ω) > 0, ξ(ω) > 0. Воспользуемся свойством аддитивности:

∫

Ω

η(ω)dP =

∫

Ω

(η(ω)− ξ(ω))dP +

∫

Ω

ξ(ω)dP.

Здесь∫Ω(η(ω)−ξ(ω))dP > 0. Если отбросить это слагаемое, то

значение правой части равенства может только уменьшиться.

100

Рассмотрим третью часть определения 1.1 математическогоожидания. Корректность третьей части не вызывает сомнений.Необходимым и достаточным условием существования интегралаЛебега является:

min

∫

Ω

ξ+(ω)dP,

∫

Ω

ξ−(ω)dP

∈ R.

Проверка справедливости свойств линейности и положительностидля третьей части определения 1.1 математического ожидания вы-полняется аналогично приведенным выше доказательствам.

III. Свойство конечности

Неравенство |∫Ω ξ(ω)dP | < ∞ имеет место тогда и только то-

гда, когда∫Ω|ξ(ω)| dP <∞.

Доказательство. Согласно третьей части определения 1.1математического ожидания:

∫

Ω

ξ(ω)dP =

∫

Ω

ξ+(ω)dP −∫

Ω

ξ−(ω)dP. (1.6)

В силу аддитивности имеет место равенство:∫

Ω

|ξ(ω)|dP =

∫

Ω

ξ+(ω)dP +

∫

Ω

ξ−(ω)dP. (1.7)

Интегралы (1.6) и (1.7) конечны тогда и только тогда, когда∫Ω ξ

+(ω)dP <∞ и∫Ω ξ

−(ω)dP <∞.

IV. Справедливо неравенство:

∣∣∣∣∣∣

∫

Ω

ξ(ω)dP

∣∣∣∣∣∣6

∫

Ω

|ξ(ω)| dP. (1.8)

Доказательство. Очевидно, что имеет место неравенство:

−|ξ(ω)| 6 ξ(ω) 6 |ξ(ω)|.

Если∫Ω ξ(ω)dP = ∞ или

∫Ω ξ(ω)dP = −∞, то

∫Ω |ξ(ω)|dP = ∞,

и неравенство (1.8) выполняется как равенство. Если |∫Ωξ(ω)dP | <

101

∞, то согласно свойству II математического ожидания справедливынеравенство: ∫

Ω

ξ(ω)dP 6

∫

Ω

|ξ(ω)|dP, (1.9)

−∫

Ω

|ξ(ω)|dP 6

∫

Ω

ξ(ω)dP. (1.10)

Умножим неравенство (1.10) на −1, получим:∫

Ω

|ξ(ω)|dP > −∫

Ω

ξ(ω)dP. (1.11)

Из (1.9) и (1.11) следует:∣∣∣∣∣∣

∫

Ω

ξ(ω)dP

∣∣∣∣∣∣6

∫

Ω

|ξ(ω)| dP.

V. Свойство мультипликативности

1. Пусть случайные величины ξ(ω) > 0 и η(ω) > 0 независимы,тогда имеет место следующее равенство:

E(ξη) = EξEη.

2. Пусть случайные величины ξ(ω) и η(ω) независимы. Пусть уних существуют и конечны математические ожидания Eξ ∈R, Eη ∈ R, тогда имеет место равенство:

E(ξη) = EξEη.

Доказательство. Оба свойства докажем одновременно. Пустьξ(ω) > 0, η(ω) > 0 — взаимно независимые простые функции, тогдаих можно представить в виде:

ξ(ω) =

n∑

i=1

aiIω ∈ Ai,

102

η(ω) =

m∑

j=1

bjIω ∈ Bj,

причем

Ak ∩ Al = ∅, k 6= l,

n⋃

k=1

Ak = Ω;

Br ∩Bs = ∅, r 6= s,m⋃

r=1

Br = Ω.

Без ограничения общности можно считать, что ak 6= al для лю-бых k, l и br 6= bs для любых r, s. Очевидно, что ξ(ω)η(ω) =n∑

i=1

m∑j=1

bjaiIω ∈ Ai ∩Bj — простая случайная величина. Тогда

E(ξη) =n∑

i=1

m∑

j=1

aibjP (Ai ∩Bj),

но так как ak 6= al для всех k, l и br 6= bs для всех r, s, то Ai =ξ−1(ai), Bj = η−1(bj). Тогда

P(ξ−1(ai) ∩ η−1(bj)

)= P (Ai)P (Bj).

Таким образом, получаем равенство:

E(ξη) =n∑

i=1

m∑

j=1

aiP (Ai)bjP (Bj) =n∑

i=1

aiP (Ai)m∑

j=1

bjP (Bj) = EξEη.

Покажем теперь справедливость пункта 1 свойства V. Пустьξn(ω) 6 ξn+1(ω), 0 6 ξn(ω) −−−−→

n→∞ξ(ω), ηn(ω) 6 ηn+1(ω), 0 6

ηn(ω) −−−−→n→∞

η(ω) — последовательности простых функций из

теоремы 1.1. Следовательно, ξn(ω)ηn(ω) 6 ξn+1(ω)ηn+1(ω), 0 6

ξn(ω)ηn(ω) −−−−→n→∞

ξ(ω)η(ω), где ξn(ω)ηn(ω) — простая измеримая

функция. Тогда по определению интеграла Лебега:

E(ξη) = limn→∞

E(ξnηn).

103

Очевидно, σξn ⊂ σξ, σηn ⊂ ση. Так как сигма-алгебры σξ и ση неза-висимы, то σξn и σηn независимы. Тогда, используя полученное вы-ше равенство для простых случайных величин, получаем:

E(ξη) = limn→∞

(EξnEηn) = limn→∞

Eξn limn→∞

Eηn = EξEη.

Докажем пункт 2 свойства V. Очевидно, что Eξ ∈ R тогда итолько тогда, когда Eξ+, Eξ− ∈ R, и Eη ∈ R тогда и только тогда,когда Eη+, Eη− ∈ R.

Рассмотрим E(ξη). Так как ξ = ξ+ − ξ−, η = η+ − η−, тосправедливо равенство:

E(ξη) = E(ξ+η+ + ξ−η− − ξ−η+ − ξ+η−).

Выполняется σξ+ ⊂ σξ, σξ− ⊂ σξ, ση+ ⊂ ση, ση− ⊂ ση. Таким обра-зом, все сомножители в рассматриваемом равенстве взаимно неза-висимы. Справедлив п.1 свойства V, а для выполнения свойствааддитивности нужно, чтобы интегралы были конечны:

E(ξη) = E(ξ+η+ + ξ−η− − ξ−η+ − ξ+η−) = Eξ+Eη+ +Eξ−Eη−−− Eξ−Eη+ − Eξ+Eη− =

(Eξ+ − Eξ−

) (Eη+ − Eη−

)= EξEη.

VI. Пусть существует∫Ωξ(ω)dP . Тогда для любого A ∈ F су-

ществует∫Ω ξ(ω)Iω ∈ AdP .

Доказательство. Справедливы неравенства:

0 6 ξ+(ω)Iω ∈ A 6 ξ+(ω),

0 6 ξ−(ω)Iω ∈ A 6 ξ−(ω).

Из этих неравенств следует свойство VI.

Определение 1.2. По определению будем считать, что∫A

ξ(ω)dP =∫Ω

ξ(ω)Iω ∈ AdP .

Замечание 1.3. Ранее говорилось, что 0 · (±∞) = 0. Следователь-но, даже если |ξ(ω0)| = ∞ и ω0 /∈ A, то значение подинтегральнойфункции окажется равным нулю во всех точках ω /∈ A.

104

VII. Пусть ξ(ω)п.н.= 0, тогда существует

∫Ω

ξ(ω)dP = 0.

Доказательство. Проверим выполнение свойства VII дляпервой части определения 1.1 математического ожидания. Пустьξ(ω) > 0 — простая функция, т. е. ξ(ω) =

∑ni=1 aiIω ∈ Ai,

Aj ∩ Ai = ∅, Ai ∈ F ,⋃n

i=1Ai = Ω, тогда∫Ωξ(ω)dP =

∑ni=1 aiP (Ai).

Если ai 6= 0, то P (Ai) = 0. Если P (Ai) 6= 0, то ai = 0. Следователь-но,

∫Ωξ(ω)dP = 0.

Проверим выполнение свойства VII для второй части опре-деления 1.1 математического ожидания. Так как ξ(ω) > 0, то су-ществует последовательность простых функций ξn(ω) такая, чтоξn(ω) 6 ξn+1(ω), 0 6 ξn(ω) −−−−→

n→∞ξ(ω). Тогда для любого n:

0 6 ξn(ω) 6 ξ(ω), для любого n и ξn(ω)п.н.= 0. Таким образом,

ξn(ω)п.н.= 0 и

∫Ωξn(ω)dP = 0. По определению 1.1 математического

ожидания справедливо равенство:∫

Ω

ξ(ω)dP = limn→∞

∫

Ω

ξn(ω)dP = 0.

Проверим выполнение свойства VII для третьей части опреде-ления 1.1 математического ожидания. Выполняется ξ(ω) = ξ+(ω)−ξ−(ω). Следовательно,

0 6 ξ+(ω) 6 ξ+(ω) + ξ−(ω) = |ξ(ω)| п.н.= 0,

0 6 ξ−(ω) 6 ξ+(ω) + ξ−(ω) = |ξ(ω)| п.н.= 0.

Тогда ξ+(ω)п.н.= 0, ξ−(ω)

п.н.= 0. Таким образом, справедливо равен-

ство: ∫

Ω

ξ(ω)dP =

∫

Ω

ξ+(ω)dP −∫

Ω

ξ−(ω)dP = 0.

VIII. Пусть существует конечный интеграл∫Ω ξ(ω)dP ∈ R. То-

гда Pω : |ξ(ω)| = ∞ = 0.Доказательство. Рассмотрим неравенство:

|ξ(ω)| > |ξ(ω)|I |ξ(ω)| = ∞ .

105

Проинтегрируя неравенство, получаем:∫

Ω

|ξ(ω)|dP >

∫

Ω

|ξ(ω)|I |ξ(ω)| = ∞ dP = limn→∞

nP |ξ(ω)| = ∞ .

Если бы вероятность P ω : |ξ(ω)| = ∞ была бы отлична от нуля,то предел был бы равен бесконечности, чего быть не может по усло-вию. Таким образом, P ω : |ξ(ω)| = ∞ = 0.

IX. Пусть ξ(ω) > 0 и∫Ω ξ(ω)dP = 0. Тогда ξ(ω)

п.н.= 0.

Доказательство. Рассмотрим множества B = ω : ξ(ω) > 0,Bn = ω : ξ(ω) > 1/n. Очевидно, что Bn ⊂ Bn+1 для любого n,B =

⋃∞n=1Bn. Следовательно, по свойству непрерывности вероят-

ностной меры P (B) = limn→∞

P (Bn). Рассмотрим неравенство:

ξ(ω) > ξ(ω)Iω ∈ Bn >1

nIω ∈ Bn.

Согласно свойству положительности:

0 =

∫

Ω

ξ(ω)dP >1

nP (Bn).

Тогда P (Bn) = 0, что значит, что P (B) = 0.

X. Пусть ξ(ω)п.н.= η(ω), при этом существует

∫Ω ξ(ω)dP , тогда

существует∫Ωη(ω)dP =

∫Ωξ(ω)dP .

Доказательство. Рассмотрим множество

N = ω : ξ(ω) 6= η(ω) ,

по условию P (N) = 0. Тогда имеют место равенства:

∫

Ω

ξ(ω)dP =

∫

Ω

ξ(ω)Iω ∈ NdP +

∫

Ω

ξ(ω)Iω ∈ NdP =

=

∫

Ω

η(ω)Iω ∈ NdP +

∫

Ω

η(ω)Iω ∈ NdP =

∫

Ω

η(ω)dP,

так как∫Ω ξ(ω)Iω ∈ NdP = 0,

∫Ω η(ω)Iω ∈ NdP = 0.

106

§2. Предельный переход под знаком интеграла

Лебега

Теорема 2.1. (о монотонном предельном переходе под знаком

интеграла Лебега) Пусть ξ1, . . ., ξn, . . . — последовательность

неотрицательных случайных величин, заданных на вероятност-

ном пространстве (Ω,F , P ). Пусть имеет место сходимость 0 6

ξn(ω) −−−−→n→∞

ξ(ω), ξn(ω) 6 ξn+1(ω), для любого ω ∈ Ω, тогда имеет

место сходимость математических ожиданий:

Eξn −−−−→n→∞

Eξ.

Доказательство. Так как ξn(ω) 6 ξ(ω) для любого ω, то всилу свойства положительности математического ожидания спра-ведливы неравенства: Eξn 6 Eξ и Eξn 6 Eξn+1. Тогда выполняетсянеравенство:

limn→∞

Eξn 6 Eξ.

Докажем обратное неравенство. Рассмотрим последовательностьнеотрицательных случайных величин ξ1(ω), ξ2(ω), . . ., ξk(ω), . . . иследующие последовательности простых функций:

ξ1n(ω) 6 ξ1,n+1(ω), 0 6 ξ1n(ω) −−−−→n→∞

ξ1(ω),

ξ2n(ω) 6 ξ2,n+1(ω), 0 6 ξ2n(ω) −−−−→n→∞

ξ2(ω),

. . .

ξkn(ω) 6 ξk,n+1(ω), 0 6 ξkn(ω) −−−−→n→∞

ξk(ω).

Тогда ζn(ω) = maxk=1,...,n

ξkn(ω) — простая неотрицательная функ-

ция, 0 6 ζn(ω) 6 ζn+1(ω). Справедливо неравенство:

ξkn(ω) 6 ζn(ω) 6 ξn(ω), k 6 n.

При n→ ∞ имеет место неравенство:

ξk(ω) 6 ζ(ω) 6 ξ(ω),

где предел limn→∞

ζn(ω) обозначен через ζ(ω).

107

При k → ∞ справедливо неравенство:

ξ(ω) 6 ζ(ω) 6 ξ(ω),

тогда ζ(ω) = ξ(ω) для любого ω.По определению 1.1 математического ожидания Eζ = Eξ =

= limn→∞

Eζn. Из неравенств следует, что Eζn 6 Eξn. Тогда получаемнеравенство:

Eζ = Eξ = limn→∞

Eζn 6 limn→∞

Eξn.

Получили противоположное неравенство, следовательно, Eξ =limn→∞

Eξn.

Следствие 2.1. Пусть Pω : ξn(ω) 6 ξn+1(ω), 0 6 ξn(ω) −−−−→n→∞

ξ(ω) = 1. Тогда

limn→∞

Eξn = Eξ.

Доказательство. Пусть N — множество тех точек, в кото-рых не выполнено условие теоремы, P (N) = 0. Введем случайныевеличины

ξn(ω) =

ξn(ω), ω /∈ N

0, ω ∈ N

ξ(ω) =

ξ(ω), ω /∈ N

0, ω ∈ N

Для ξn(ω) и ξ(ω) выполнено условие теоремы для любого ω. Сле-довательно,

Eξ = limn→∞

Eξn.

Так как мера множества N равна нулю, то Eξ = Eξ = limn→∞

Eξn =

= limn→∞

Eξn.

Следствие 2.2. Пусть для любого ω ∈ Ω имеет место сходи-

мость η(ω) 6 ξn(ω) −−−−→n→∞

ξ(ω) (ξn(ω) 6 ξn+1(ω) для любого ω ∈ Ω).

Пусть Eη > −∞, тогда

limn→∞

Eξn = Eξ.

108

Доказательство. Рассмотрим ξn = ξn− η > 0 и ξ = ξ− η > 0.Для таких ξn, ξ выполнены условия теоремы, следовательно,

Eξn −−−−→n→∞

Eξ.

Тогда Eξn + Eη −−−−→n→∞

Eξ + Eη. В силу свойства аддитивностиполучаем равенства:

Eξn + Eη = Eξn,

Eξ + Eη = Eξ.

Таким образом, следствие доказано.

Следствие 2.3. Пусть для любого ω ∈ Ω имеет место сходи-

мость η(ω) > ξn(ω) −−−−→n→∞

ξ(ω) (ξn(ω) > ξn+1(ω) для любого ω ∈ Ω).

Пусть Eη <∞, тогда

limn→∞

Eξn = Eξ.

Доказательство. Рассмотрим η(ω) = −η(ω), ξ(ω) = −ξ(ω),ξn(ω) = −ξn(ω). Таким образом, мы оказываемся в условиях след-ствия 2.2.

Следствие 2.4. Пусть при всех n: ξn(ω) > 0. Тогда

∫

Ω

∞∑

n=1

ξn(ω)dP =∞∑

n=1

∫

Ω

ξn(ω)dP.

Доказательство. Рассмотрим частичную сумму ряда:

0 6 Sn(ω) =n∑

k=1

ξk(ω) −−−−→n→∞

∞∑

k=1

ξk(ω).

Таким образом, условия теоремы 2.1 выполняются:

∫

Ω

∞∑

k=1

ξk(ω)dP = limn→∞

∫

Ω

n∑

k=1

ξk(ω)dP =

= limn→∞

n∑

k=1

∫

Ω

ξk(ω)dP =

∞∑

k=1

∫

Ω

ξk(ω)dP.

109

§3. Теорема Лебега о мажорируемой сходимости

Лемма 3.1. (Лемма Фату)1. Пусть заданы случайные величины η, ξ1, . . ., ξn, . . . на веро-

ятностном пространстве (Ω,F , P ), при этом η(ω) 6 ξn(ω) длялюбого n, Eη > −∞, тогда lim

n→∞Eξn > E lim

n→∞ξn.

2. Пусть ξn(ω) 6 η(ω) для любого n, Eη < ∞, тогда limn→∞

Eξn 6

E limn→∞

ξn.

3. Пусть заданы случайные величины η, ξ1, . . ., ξn, . . . на вероят-ностном пространстве (Ω,F , P ) такие, что |ξn(ω)| 6 η(ω) длялюбого n, и Eη <∞, тогда

E limn→∞

ξn 6 limn→∞

Eξn 6 limn→∞

Eξn 6 E limn→∞

ξn.

Доказательство. Докажем первое утверждение леммы. Вравенстве lim

n→∞ξn(ω) = lim

n→∞infm>n

ξm(ω) обозначим infm>n

ξm(ω) через

ζn(ω). Тогда по построению η(ω) 6 ζn(ω) 6 ζn+1(ω) и ζn(ω) −−−−→n→∞

limn→∞

ξn(ω). Согласно следствию 2.2 справедливо:

E limn→∞

ξn = limn→∞

Eζn = limn→∞

Eζn 6 limn→∞

Eξn.

Так как ζn(ω) 6 ξn(ω), то Eζn(ω) 6 Eξn(ω).Для доказательства второго утверждения леммы нужно все

случайные величины умножить на −1. Третье утверждение леммыследует из первого и второго утверждений.

Теорема 3.1. (о мажорируемой сходимости) Пусть η(ω), ξ(ω),ξ1(ω), . . ., ξn(ω), . . . — случайные величины, заданные на вероят-

ностном пространстве (Ω,F , P ). Выполнены следующие условия:

Eη <∞, |ξn(ω)| 6 η(ω) для любого n, limn→∞

ξn(ω)п.н.= ξ(ω), тогда

1. Существует конечное математическое ожидание Eξ.2. Имеет место сходимость: Eξn −−−−→

n→∞Eξ.

3. Имеет место сходимость: E|ξ(ω)− ξn(ω)| −−−−→n→∞

0.

110

Доказательство. Докажем первое утверждение теоремы.Так как |ξn(ω)| 6 η(ω) для любых n, можно сделать предельный

переход: |ξ(ω)|п.н.

6 η(ω). Согласно свойству положительности инте-грала Лебега справедливо неравенство: E|ξ| 6 Eη < ∞. Согласносвойству конечности интеграла Лебега Eξ ∈ R.

Докажем второе утверждение теоремы. Условия леммы Фату3.1 выполнены, тогда имеют место неравенства:

E limn→∞

ξn 6 limn→∞

Eξn 6 limn→∞

Eξn 6 E limn→∞

ξn.

Так какlimn→∞

ξnп.н.= lim

n→∞ξn(ω)

п.н.= ξ(ω),

limn→∞

ξnп.н.= lim

n→∞ξn(ω)

п.н.= ξ(ω),

то получаем искомое равенство.Третье утверждение доказывается аналогично.

§4. Теорема о замене переменной под знаком ин-

теграла Лебега

Теорема 4.1. (о замене переменной) Пусть на вероятност-

ном пространстве (Ω,F , P ) задан случайный вектор ξ(ω) =(ξ1(ω), . . . , ξn(ω)), функция g : Rn → R измерима относительно бо-

релевских σ-алгебр. Тогда если существует один из двух интегра-

лов:∫Ωg(ξ1(ω), . . . , ξn(ω))dP ,

∫Rn g(x1, . . . , xn)dPξ, то существует

и второй, и они равны:

∫

Ω

g(ξ1(ω), . . . , ξn(ω))dP =

∫

Rn

g(x1, . . . , xn)dPξ, (4.1)

где Pξ — распределение случайного вектора ξ.

Доказательство. Вспомним определение 1.1, рассмотримкаждый из его пунктов. Покажем, что равенство (4.1) выполняетсядля каждого из них. Заметим также, что борелевская функция g(x)на пространстве (Rn,B(Rn), Pξ) является случайной величиной.

111

1. Пусть g(x) > 0 — простая числовая функция такая, чтоg(x) =

∑mi=1 aiIx ∈ Ai, Ak ∩ Al = ∅, k 6= l,

⋃mk=1 Ak = R

n, Ak ∈B(Rn).

Рассмотрим следующую функцию этого класса:

g(x) = 1 · Ix ∈ A+ 0 · Ix ∈ A.Подставим это выражение в левую часть равенства (4.1) и рассмот-рим интеграл:

∫

Ω

Iξ(ω) ∈ AdP = Pξ ∈ A = Pξ−1(A).

Подставим данное представление в правую часть равенства (4.1),получим: ∫

Rn

Ix ∈ AdPξ = Pξ(A).

Таким образом, для данного вида функции g(x) равенство (4.1)доказано. Следовательно, можно утверждать справедливость фор-мулы: ∫

Ω

Iξ(ω) ∈ AidP =

∫

Rn

Ix ∈ AidPξ.

Домножим обе части равенства на ai и просуммируем, воспользо-вавшись свойством аддитивности:

∫

Ω

g (ξ(ω)) dP =

∫

Rn

g(x)dPξ.

2. Пусть g(x) > 0 — расширенная числовая функция. Су-ществует последовательность простых функций gk(x) такая, чтоgk(x) 6 gk+1(x), 0 6 gk(x) −−−−→

k→∞g(x). По определению 1.1 получа-

ем: ∫

Ω

g (ξ(ω)) dP = limk→∞

∫

Ω

gk (ξ(ω)) dP.

Также можно написать:∫Rn g(x)dPξ = lim

k→∞

∫Rn gk(x)dPξ . Следова-

тельно, ∫

Ω

g(ξ(ω))dP =

∫

Rn

g(x)dPξ.

112

3. Любую расширенную числовую функцию g(x) можно пред-ставить в виде g(x) = g+(x) − g−(x). По отдельности для g+(x) иg−(x) равенство (4.1) доказано:

∫

Ω

g+ (ξ(ω)) dP =

∫

Rn

g+(x)dPξ ,

∫

Ω

g− (ξ(ω)) dP =

∫

Rn

g−(x)dPξ .

Но тогда можем утверждать, что справедливо и равенство:∫

Ω

g (ξ(ω)) dP =

∫

Rn

g(x)dPξ,

так как, если существует левая часть, то существует и правая частьравенства, и наоборот.

Следствие 4.1. Пусть выполнены все условия теоремы 4.1, n = 1,g(x) = x, тогда

Eξ =

∫

Ω

ξ(ω)dP =

∫

R

xdPξ. (4.2)

Замечание 4.1. В равенствах (4.1) и (4.2) интегралы в правых ча-стях зависят от случайных величин только через их распределения,поэтому интегралы в (4.1) и (4.2) могут быть записаны специаль-ным образом:

∫

Rn

g(x1, . . . , xn)dPξ ≡+∞∫

−∞

. . .

+∞∫

−∞

g(x1, . . . , xn)dFξ(x),

∫

R

xdPξ ≡+∞∫

−∞

xdFξ(x).

Эти интегралы называются интегралами Лебега-Стилтьеса.

113

Следствие 4.2. Пусть n = 1, тогда

∫

Ω

g(ξ(ω))dP =

∫

R

g(x)dPξ =

+∞∫

−∞

g(x)dFξ(x).

Здесь важно, что суперпозиция функций также является слу-чайной величиной η(ω) = g(ξ1(ω)). Согласно следствию 4.1 получа-ем:

E(g(ξ)) =

∫

Ω

g(ξ(ω))dP =

∞∫

−∞

g(x)dFξ(x) =

+∞∫

−∞

ydFη(y).

Следствие 4.3. Пусть выполнены все условия теоремы 4.1 и

B ∈ B(Rn), тогда если существует один из интегралов, то су-

ществует и второй, и они равны:

∫

ξ−1(B)

g(ξ1(ω), . . . , ξn(ω))dP =

∫

B

g(x1, . . . , xn)dPξ.

Для доказательства достаточно рассмотреть функциюg(x1, . . . , xn) = Ix ∈ Bg(x1, . . . , xn).

Теорема 4.2. Пусть выполнены условия теоремы 4.1, и у

случайного вектора ξ существует плотность распределения

fξ(x1, . . . , xn). Тогда если существует один из интегралов, то су-

ществует и второй, и они равны:

∫

Rn

g(ξ1, . . . , ξn)dPξ =

=

+∞∫

−∞

. . .

+∞∫

−∞

g(x1, . . . , xn)fξ(x1, . . . , xn)dx1 . . . dxn.

Доказательство. Доказательство теоремы 4.2 аналогичнодоказательству теоремы 4.1, поэтому сделаем только первый шаг вдоказательстве теоремы и укажем дальнейшие шаги.

114

1. Рассмотрим функцию g(x) = Ix ∈ A, A ∈ B(Rn). Тогда∫

Ω

Iξ(ω) ∈ AdP = Pξ−1(A).

Справедливы равенства:

∞∫

−∞

. . .

∞∫

−∞

Ix ∈ Afξ(x)dx =

∫

Rn

Ix ∈ Afξ(x)dx =

=

∫

A

fξ(x)dx = Pξ(A) = Pξ−1(A).

Далее рассуждение повторяется (см. теорему 4.1), имеется толькоодно отличие. В части 2 доказательства теоремы, применив теоремуо монотонной сходимости под знаком интеграла Лебега, получим:

∫

Ω

g(ξ(ω))dP = limk→∞

∫

Ω

gk(ξ(ω))dP,

∫

Rn

g(x)fξ(x)dx = limk→∞

∫

Rn

gk(x)fξ(x)dx,

откуда следует доказываемое утверждение.

Замечание 4.2. (о связи интеграла Лебега и интеграла Римана)1. Пусть g(x) задана на отрезке [a, b], и существует интеграл Ри-

мана, который обозначим через (R)∫ b

ag(x)dx, тогда существу-

ет и интеграл Лебега, который обозначим через (L)∫ b

a g(x)dx,и они равны:

(R)

b∫

a

g(x)dx = (L)

b∫

a

g(x)dx.

2. Пусть g(x) > 0 на [a,+∞) и на любом отрезке [a, b] существу-ет интеграл Римана (R)

∫ b

ag(x)dx, тогда существуют и равны

115

следующие интегралы:

(R)

+∞∫

a

g(x)dx = (L)

+∞∫

a

g(x)dx.

Несобственный интеграл Римана совпадает с интегралом Ле-бега. Отметим, что оба интеграла могут быть равны +∞.

§5. Формулы для вычисления математического

ожидания

1. Пусть ξ(ω) > 0 — простая случайная величина, т. е.

ξ(ω) =

m∑

i=1

aiIω ∈ Ai.

Математическое ожидание простой случайной величины можно вы-числить по формуле:

Eξ =m∑

i=1

aiP (Ai).

Всегда можно добиться того, чтобы все значения ai были бы раз-личными, тогда Ai = ξ−1(ai), получаем формулу для вычисле-ния математического ожидания неотрицательной простой случай-ной величины:

Eξ =

m∑

i=1

aiPξ = ai. (5.1)

2. Пусть ξ(ω) — простая случайная величина, т. е.

ξ(ω) =

m∑

i=1

biIω ∈ Bi.

Также ξ(ω) можно представить в виде:

ξ(ω) = ξ+(ω)− ξ−(ω),

116

где

ξ+(ω) =

m∑

i=1

b+i Iω ∈ Bi,

ξ−(ω) =m∑

i=1

b−i Iω ∈ Bi.

Математическое ожидание простой случайной величины можно вы-числить по формуле:

Eξ = Eξ+ − Eξ− =

m∑

i=1

b+i P (Bi)−m∑

i=1

b−i P (Bi) =

m∑

i=1

biP (Bi),

где bi = b+i −b−i . Всегда можно добиться того, чтобы все значения biбыли бы различными, тогда Bi = ξ−1(bi), получаем формулу длявычисления математического ожидания простой случайной вели-чины:

Eξ =

m∑

i=1

biPξ = bi. (5.2)

3. Пусть ξ(ω) — дискретная случайная величина, ξ ∈ bi, i ∈N, другими словами, множество значений случайной величинысчетно:

ξ(ω) =

∞∑

i=1

biIω ∈ Bi,

где Bi∩Bj = ∅ для всех i 6= j,⋃∞

i=1Bi = Ω. Всегда можно добитьсятого, чтобы bi 6= bj , тогда Bi = ξ−1(bi). Выделим положительную иотрицательную части:

ξ(ω) = ξ+(ω)− ξ−(ω),

где

ξ+(ω) =

∞∑

i=1

b+i Iω ∈ Bi,

ξ−(ω) =∞∑

i=1

b−i Iω ∈ Bi.

117

Тогда

ξ+n (ω) 6 ξ+n+1(ω), 0 6 ξ+n (ω) =

n∑

i=1

b+i Iω ∈ Bi −−−−→k→∞

ξ+(ω),

ξ−n (ω) 6 ξ−n+1(ω), 0 6 ξ−n (ω) =n∑

i=1

b−i Iω ∈ Bi −−−−→k→∞

ξ−(ω).

Следовательно,

Eξ+ = limn→∞

Eξ+n = limn→∞

n∑

i=1

b+i P (Bi) =

∞∑

i=1

b+i P (Bi),

Eξ− = limn→∞

Eξ−n = limn→∞

n∑

i=1

b−i P (Bi) =

∞∑

i=1

b−i P (Bi).

Тогда математическое ожидание случайной величины ξ(ω) можновычислить следующим образом:

Eξ = Eξ+ − Eξ− =

∞∑

i=1

b+i P (Bi)−∞∑

i=1

b−i P (Bi). (5.3)

Справедливы утверждения:• Если Eξ+ = ∞, Eξ− ∈ R, то Eξ = ∞.• Если Eξ+ ∈ R, Eξ− = ∞, то Eξ = −∞.

• Если Eξ+ ∈ R, Eξ− ∈ R, то Eξ =∞∑i=1

biP (Bi), причем, ряд

сходится в абсолютном смысле.• Если Eξ+ = ∞, Eξ− = ∞, то математическое ожидание ξ не

существует.4. Рассмотрим случайную величину ξ, у которой существует

плотность распределения fξ(x). Математическое ожидание такойслучайной величины можно вычислить по формуле:

Eξ =

∞∫

−∞

xfξ(x)dx =

∞∫

0

xfξ(x)dx −0∫

−∞

|x|fξ(x)dx, (5.4)

118

если интеграл Лебега существует. В общем случае верна формула:

Eξ =

∞∫

−∞

xdFξ(x). (5.5)

Если существует плотность распределения, то

Eg(ξ) =

∞∫

−∞

g(x)dFξ(x) =

∞∫

−∞

g(x)fξ(x)dx. (5.6)

Пример 5.1. Пусть случайная величина ξ подчиняется нормаль-ному распределению с параметрами (a, σ2). Плотность ее распреде-

ления имеет вид: fξ(x) = 1√2πσ

e−(x−a)2

2σ2 . Вычислим математическоеожидание этой случайной величины:

Eξ =1√2πσ

∞∫

−∞

xe−(x−a)2

2σ2 dx =

=1√2πσ

∞∫

−∞

(x− a)e−(x−a)2

2σ2 dx+ a

∞∫

−∞

1√2πσ

e−(x−a)2

2σ2 dx = a.

Пример 5.2. Рассмотрим распределение Коши с плотностью рас-пределения fξ(x) = 1

π1

1+x2 . Согласно формуле (5.4), получаем

Eξ =1

π

∞∫

0

x1

1 + x2dx − 1

π

0∫

−∞

|x| 1

1 + x2dx.

Оба интеграла в правой части равны бесконечности, следовательно,математического ожидания у случайной величины, подчиняющейсяраспределению Коши, не существует.

Пример 5.3. Пусть µ — случайная величина, равная числу успе-хов в n независимых испытаниях Бернулли с вероятностью успехав каждом испытании p и вероятностью неудачи q = 1 − p. Мате-матическое ожидание случайной величины µ можно вычислить по

119

формуле

Eµ =n∑

m=0

mCmn p

mqn−m.

Однако, можно получить более удобную формулу. Определим слу-чайные величины ξi = Iуспех в i-ом испытании, тогда µ =∑n

i=1 ξi. Заметим, что Eξi = p, тогда

Eµ =

n∑

i=1

Eξi = np.

§6. Моменты случайных величин. Дисперсия

Рассмотрим вероятностное пространство (Ω,F , P ).

Определение 6.1. Начальным моментом порядка k случайной ве-личины ξ называется интеграл Лебега-Стилтьеса:

ak = E(ξk) =

∞∫

−∞

xkdFξ(x), (6.1)

если математическое ожидание E(ξk) существует и конечно.

Определение 6.2. Центральным моментом порядка k случайнойвеличины ξ называется интеграл Лебега-Стилтьеса:

a0k = E(ξ − Eξ)k =

∞∫

−∞

(ξ − Eξ)kdFξ(x), (6.2)

если интеграл существует и конечен.

Среди центральных моментов особое место занимает моментвторого порядка a02 = E(ξ − Eξ)2, который называется дисперсией

случайной величины ξ и обозначается Dξ. Среднеквадратическимотклонением случайной величины ξ называется число σξ =

√Dξ.

Свойства дисперсии

Будем предполагать, что выполнено условие E(ξ2) <∞.

120

I. Дисперсия случайной величины ξ удовлетворяет условию:

Dξ > 0.

При этом Dξ = 0 тогда и только тогда, когда ξп.н.= const, т. е.

является вырожденной случайной величиной.Доказательство. Очевидно, что Dξ = σ2

ξ > 0. По свойствуинтеграла Лебега Dξ = E(ξ −Eξ)2 = 0 тогда и только тогда, когдаξ(ω)

п.н.= Eξ ∈ R.

II. Пусть случайная величина η связана со случайной величи-ной ξ следующим равенством: η

п.н.= aξ + b, тогда

Dη = a2Dξ.

Доказательство. Согласно определению дисперсии:

Dη = D(aξ + b) = E (aξ + b− E(aξ + b))2 .

Так как E(aξ + b) = aEξ + b, то

Dη = E(aξ − aEξ)2 = E(a(ξ − Eξ))2 = a2Dξ.

III. Пусть случайные величины ξ и η независимы, тогда

D(ξ ± η) = Dξ +Dη.

Доказательство. Согласно определению дисперсии:

D(ξ ± η) = E((ξ − Eξ)± (η − Eη))2 =

= Dξ +Dη ± 2E(ξ − Eξ)(η − Eη) = Dξ +Dη,

так как в силу независимости случайных величин ξ и η слагаемоеE(ξ − Eξ)(η − Eη) можно представить в виде E(ξ−Eξ)E(η−Eη) =0.

IV. Имеет место формула для вычисления дисперсии:

Dξ = E(ξ2)− (Eξ)2.

Доказательство. По определению дисперсии:

Dξ = E(ξ − Eξ)2 = Eξ2 − 2EξEξ + (Eξ)2 = Eξ2 − (Eξ)2.

121

V. Справедливо неравенство:

Dξ 6 E(ξ − a)2,

где a — константа, при этом Dξ = E(ξ − a)2 тогда и только тогда,когда a = Eξ.

Доказательство. Рассмотрим E(ξ − a)2. К выражению вскобках прибавим и вычтем величину Eξ:

E(ξ − a)2 = E((ξ − Eξ) + (Eξ − a))2 = E(ξ − Eξ)2+

+ 2(Eξ − a)E(ξ − Eξ) + (Eξ − a)2 = Dξ + (Eξ − a)2,

где E(ξ−Eξ)2 = Dξ по определению дисперсии, и E(ξ−Eξ) = 0.

Пример 6.1. Пусть случайная величина ξ подчиняется нормаль-ному распределению с параметрами (a, σ2). Математическое ожи-дание случайной величины ξ, как было показано, равно a. Вычис-лим дисперсию:

Dξ =1√2πσ

∞∫

−∞

(x− a)2e−(x−a)2

2σ2 dx =

=1√2πσ2

∞∫

−∞

(x− a

σ

)2

e−(x−a)2

2σ2 d

(x− a

σ

)=

1√2πσ2

∞∫

−∞

y2e−y2

2 dy =

= − 1√2πσ2ye−

y2

2

∣∣∣∣∞

−∞+ σ2

∞∫

−∞

1√2πe−

y2

2 dy = σ2.

Пример 6.2. Пусть µ — случайная величина, равная числу успе-хов в n независимых испытаниях Бернулли с вероятностью успехав каждом испытании p и вероятностью неудачи q = 1 − p. Мате-матическое ожидание случайной величины µ равно np. Вычислимдисперсию µ:

Dµ = E(µ− Eµ)2 =n∑

m=0

(m− np)2Cmn p

mqn−m.

122

Воспользуемся другим способом. Определим случайные величиныξi = Iуспех в i-ом испытании, тогда µ =

∑ni=1 ξi. Используя то,

что случайные величины ξi, i = 1, . . . , n независимы, свойство IIIдисперсии, и, вычислив дисперсию Dξi = pq, получаем:

Dµ =

n∑

i=1

Dξi = npq.

Если из случайной величины ξ вычесть ее математическоеожидание Eξ, то получим центрированную случайную величину,а если центрированную случайную величину разделить на

√Dξ, то

получим нормированную случайную величину. Вычислим диспер-сию нормированной случайной величины:

E

(ξ − Eξ√Dξ

)2

=E(ξ − Eξ)2

(√Dξ)2

= 1.

§7. Неравенство Чебышева. Другие неравенства

Лемма 7.1. (Неравенство Чебышева) Пусть ξ > 0. Тогда для лю-бого ε > 0 справедливо неравенство:

P ξ > ε 6Eξ

ε.

Доказательство. Справедливо неравенство:

ξ(ω) > ξ(ω)Iξ(ω) > ε > εIξ(ω) > ε.

Проинтегрируем неравенство и применим свойство положительно-сти интеграла Лебега:

Eξ > εPξ(ω) > ε.

Следствие 7.1. Справедливо неравенство:

P |ξ − Eξ| > ε 6Dξ

ε2.

123

Доказательство. Преобразуем выражение:

P |ξ − Eξ| > ε = P(ξ − Eξ)2 > ε2

.

Воспользуемся леммой 7.1, получаем неравенство:

P(ξ − Eξ)2 > ε2

6E(ξ − Eξ)2

ε2=Dξ

ε2.

Следствие 7.2. (закон больших чисел для взаимно независимых

случайных величин с равномерно ограниченными дисперсиями)Пусть последовательность взаимно независимых случайных ве-

личин ξn(ω) задана на вероятностном пространстве (Ω,F , P ),Eξn(ω) = a ∈ R для любого n, дисперсии равномерно ограничены

Dξn 6 c для любого n. Тогда для любого ε > 0 имеет место сходи-

мость:

P

∣∣∣∣∣∣∣∣

n∑k=1

ξk

n− a

∣∣∣∣∣∣∣∣> ε

−−−−→n→∞

0.

Доказательство. Рассмотрим последовательность случай-

ных величин ηn = (n∑

k=1

ξk)/n. По свойству линейности математиче-

ского ожидания справедливо равенство: Eηn = a. Применим след-ствие 7.1:

P

∣∣∣∣∣∣∣∣

n∑k=1

ξk

n− a

∣∣∣∣∣∣∣∣> ε

6nc

n2ε2−−−−→n→∞

0,

так как

Dηn = E(ηn − a)2 = E

(1

n

n∑

k=1

(ξk − a)

)2

=1

n2

n∑

k=1

Dξk.

124

Следствие 7.3. (закон больших чисел Бернулли) Пусть в схеме

Бернулли с n независимыми испытаниями число успехов обозна-

чается µn. Тогда для любого ε > 0 имеет место сходимость:

P∣∣∣µn

n− p∣∣∣ > ε

−−−−→n→∞

0.

Доказательство. Доказываемое утверждение представляетсобой частный случай следствия 7.2. Пусть

µn =

n∑

k=1

ξk,

где ξk: P (ξk = 1) = p, P (ξk = 0) = q. Тогда

Eξk = 1 · p+ 0 · q = p,

Dξk = E(ξk − p)2 = (1− p)2p+ (0− p)2q = qp(q + p) = pq 61

4.

Лемма 7.2. (неравенство Йенсена) Пусть ξ — случайная величина,математическое ожидание которой конечно. Пусть g(x) — выпуклаяфункция, заданная на числовой прямой, тогда

E(g(ξ)) > g(E(ξ)).

Доказательство. Для того, чтобы функция была выпуклой,необходимо и достаточно, чтобы для любого x0 существовало числоλ(x0) такое, что

g(x) > λ(x0)(x − x0) + g(x0).

Пусть x0 = Eξ, x = ξ, тогда имеет место неравенство:

g(ξ) > λ(Eξ)(ξ − Eξ) + g(Eξ).

При интегрировании этого неравенства получаем, что E(ξ−Eξ) = 0и E(g(Eξ)) = g(Eξ). Следовательно,

E(g(ξ)) > g(E(ξ)).

125

Замечание 7.1. Если функция g(x) — линейная, то неравенствоЙенсена выполняется как равенство.

Лемма 7.3. (неравенство Коши-Шварца-Буняковского) ПустьE(ξ2) < ∞, E(η2) < ∞, тогда существует E(ξη), причем справед-ливо неравенство:

|E(ξη)| 6√Eξ2

√Eη2. (7.1)

Доказательство. Пусть Eξ2 = 0. Следовательно, ξп.н.=

0, ξηп.н.= 0 и E(ξη) = 0. Тогда неравенство Коши-Шварца-

Буняковского выполнено как равенство. Аналогично для Eη2 = 0.Пусть 0 < Eξ2 <∞, 0 < Eη2 <∞. Введем случайные величи-

ны:

ξ =ξ√Eξ2

и η =η√Eη2

.

Рассмотрим выражение:

(ξ ± η)2 > 0.

Раскроем скобки и преобразуем:

ξ2 + η2 > ±2ξη.

Проинтегрировав последнее неравенство, получаем:

2 > ±2E(ξη),

или эквивалентное неравенство:

±E(ξη) 6√Eξ2

√Eη2.

Последнее неравенство доказывает лемму.

Следствие 7.4. Если Eξ2 6= 0, Eη2 6= 0, то неравенство (7.1) вы-

полняется как равенство тогда и только тогда, когда случайные

величины ξ и η почти наверное пропорциональны, т. е. существу-

ет константа c ∈ R такая, что

η(ω)п.н.= cξ(ω).

126

Доказательство. Достаточность очевидна:

|c|Eξ2 =√c2√Eξ2

√Eξ2.

Докажем необходимость. Пусть неравенство (7.1) выполнено какравенство. Тогда возможны два случая:

1. E(ξη) =√Eξ2

√Eη2;

2. −E(ξη) =√Eξ2

√Eη2.

Рассмотрим первый случай:

E(ξη) = 1,

где ξ = ξ/√Eξ2, η = η/

√Eη2. Домножим обе части равенства

на два и проделаем преобразования из доказательства леммы 7.3,получим:

2E(ξη) = 2 = Eξ2 + Eη2.

Следовательно, E(ξ − η)2 = 0, ξ − ηп.н.= 0 или η

п.н.=√

Eξ2

Eη2 ξ. Анало-гично рассматривается второй случай.

§8. Ковариация, корреляция

Пусть заданы случайные величины ξ и η на вероятностном про-странстве (Ω,F , P ), и существуют конечные математические ожи-дания Eξ ∈ R, Eη ∈ R, а также Dξ > 0 и Dη > 0. Кроме того,полагаем, что Eξ2 <∞ и Eη2 <∞.

Определение 8.1. Ковариация cov(ξ, η) случайных величин ξ и ηопределяется формулой:

cov(ξ, η) = E (ξ − Eξ)(η − Eη) .

Определение 8.2. Коэффициент корреляции (ξ, η) случайныхвеличин ξ и η определяется формулой:

(ξ, η) =cov(ξ, η)√Dξ

√Dη

.

Свойства

127

I. Справедлива формула:

cov(ξ, η) = E(ξη) − EξEη.

Доказательство. Очевидно, что

cov(ξ, η) = E (ξ − Eξ)(η − Eη) = E ξη − ξEη − ηEξ + EξEη =

= E(ξη) − EξEη − EηEξ + EξEη = E(ξη)− EξEη.

II. Пусть ξ и η взаимно независимы, и выполнены все условия,содержащиеся в начале параграфа, тогда

cov(ξ, η) = 0 и (ξ, η) = 0.

Доказательство. Воспользуемся свойством мультиплика-тивности:

cov(ξ, η) = E (ξ − Eξ)(η − Eη) = E(ξ − Eξ)E(η − Eη),

так как случайные величины ξ и η взаимно независимы. Можнотакже записать:

E(ξ − Eξ) = Eξ − Eξ = 0,

E(η − Eη) = Eη − Eη = 0.

Таким образом, cov(ξ, η) = 0. Так как по определению 8.2:

(ξ, η) =cov(ξ, η)√Dξ

√Dη

,

то (ξ, η) = 0.

III. Имеет место неравенство |(ξ, η)| 6 1. Если |(ξ, η)| = 1,тогда существует константа c такая, что η(ω)

п.н.= cξ(ω) + b.

Для доказательства этого свойства следует применить нера-венство Коши-Шварца-Буняковского (см. лемму 7.3) к числителювыражения из определения 8.2.

Случайные величины ξ и η не коррелируют, если cov(ξ, η) = 0 и(ξ, η) = 0. Из независимости случайных величин следует их некор-релированность. Обратное верно лишь в случае, когда случайныевеличины ξ и η имеют совместное нормальное распределение.

128

IV. Пусть ξT = (ξ1, . . . , ξn) — случайный вектор. Определимматрицу

Dξ = E(ξ − Eξ)(ξ − Eξ)T

=

=

Dξ1 Cov(ξ1, ξ2) . . . Cov(ξ1, ξn)Cov(ξ2, ξ1) Dξ2 . . . Cov(ξ2, ξn)

. . . . . . . . . . . .Cov(ξn, ξ1) Cov(ξn, ξ2) . . . Dξn

.

Эта матрица называется ковариационной или дисперсионной мат-рицей случайного вектора ξ и обозначается через Dξ. Нетруднопоказать, что Dξ > 0 — неотрицательно определенная матрица.

§9. Задача о наилучшем линейном прогнозе

Рассмотрим вероятностное пространство (Ω,F , P ). Пусть на немзаданы случайные величины ξ и η. Будем считать, что осуществ-ляются наблюдения случайной величины ξ и по этим наблюдениямделается прогноз случайной величины η.

Рассмотрим функцию ϕ(ξ), которая будет являться прогнозомзначений случайной величины η. Пусть эта функция будет линейна:

ϕ(ξ) = aξ + b.

В качестве критерия точности прогноза выберем функциюQ(a, b) =E(η−ϕ(ξ))2. Тогда задача принимает следующий вид: надо выбратьпараметры a и b, доставляющие минимум Q(a, b), т. е.

mina,b

Q(a, b) = mina,b

E(η − aξ − b)2.

Введем новую случайную величину ζ = η − aξ и сначала будемрешать задачу:

minbE(ζ − b)2.

Как было показано при доказательстве свойства V для дисперсийминимум математического ожидания E(ζ − b)2 достигается в точкеb = Eζ. Найдем математическое ожидание случайной величины ζ:

b = Eζ = E(η − aξ) = Eη − aEξ,

129

и подставим его в функцию Q(a, b). Будем решать задачу:minaQ(a, b).

minaQ(a, b) = min

aE ((η − Eη)− a(ξ − Eξ))

2.

Преобразуем функцию Q(a, b):

Q(a, b) = Dη − 2acov(ξ, η) + a2Dξ =

= Dη − 2a√Dξ√Dη(ξ, η) + a2Dξ = Dη −Dη2(ξ, η)+

+ (Dη2(ξ, η) − 2a√Dξ√Dη(ξ, η) + a2Dξ) =

= Dη(1− 2(ξ, η)) +[√

Dη(ξ, η) − a√Dξ]2.

Минимум функции Q(a, b) по параметру a достигается в точке

a =

√Dη

Dξ(ξ, η).

Оптимальное значение функции: Q(a, b) = Dη(1 − 2(ξ, η)). Полу-чаем оптимальное значение прогноза:

ϕ(ξ) = aξ + b = Eη +

√Dη

Dξ(ξ, η)(ξ − Eξ).

Если |(ξ, η)| = 1, а это возможно при линейной связи ξ и η, тогдаQ(a, b) = 0.

Пусть случайные величины ξ и η не коррелируют (к примеру,ξ и η независимы), т. е. (ξ, η) = 0, тогда величина ошибки мак-симальна: Q(a, b) = Dη. Чем больше |(ξ, η)|, тем точнее линейныйпрогноз, коэффициент корреляции (ξ, η) является величиной, ха-рактеризующей степень линейной зависимости.

130

Глава 7

Условные распределения

§1. Условные математические ожидания простых

случайных величин

Пусть на вероятностном пространстве (Ω,F , P ) заданы две простыеслучайные величины:

ξ(ω) =

n∑

i=1

aiIω ∈ Ai,

где ak 6= al, Ak ∩ Al = ∅, k 6= l,⋃n

k=1Ak = Ω, Ak = ξ−1(ak) и

η(ω) =

m∑

j=1

bjIω ∈ Bj,

где bk 6= bl, Bk ∩Bl = ∅, k 6= l,⋃m

k=1 Bk = Ω, Bk = η−1(bk).Так как справедливы представления:

Ai =

m⋃

j=1

(Ai ∩Bj) и Bj =

n⋃

i=1

(Ai ∩Bj),

то можно записать случайные величины ξ(ω) и η(ω) в следующемвиде:

ξ(ω) =n∑

i=1

m∑

j=1

aiIω ∈ Ai ∩Bj,

η(ω) =n∑

i=1

m∑

j=1

bjIω ∈ Ai ∩Bj.

131

Совместное распределение простых случайных величин ξ(ω) и η(ω)представимо в виде таблицы:

ξ \ η b1 b2 . . . bm Σa1 p11 p12 . . . p1m p1·a2 p21 p22 . . . p2m p2·...

......

. . ....

...an pn1 pn2 . . . pnm pn·Σ p·1 p·2 . . . p·m 1

где

pij = PAi ∩Bj = Pξ−1(ai) ∩ η−1(bj) = Pξ = ai, η = bj,

pi· =m∑

j=1

pij =m∑

j=1

P (Ai ∩Bj) = P

m⋃

j=1

(Ai ∩Bj)

= P (Ai) =

= Pξ = ai,

p·j =n∑

i=1

pij =n∑

i=1

P (Ai ∩Bj) = P

n⋃

i=1

(Ai ∩Bj)

= P (Bj) =

= Pη = bj,n∑

i=1

pi· =m∑

j=1

p·j = 1.

Случайные величины ξ(ω) и η(ω) независимы тогда и только тогда,когда для любых i, j выполняется равенство:

pij = pi·p·j.

Далее будем предполагать, что pi· > 0 для любого i и p·j > 0 длялюбого j. Рассмотрим строку с номером i таблицы совместного рас-пределения простых случайных величин ξ(ω) и η(ω). Рассмотримотношения:

pi1pi·,pi2pi·, . . . ,

pimpi·

.

132

Все эти числа являются неотрицательными, и в сумме дают едини-цу. Рассмотрим условную вероятность:

pijpi·

=PAi ∩BjPAi

= PBj/Ai = Pη = bj/ξ = ai.

Набор вероятностей Pη = b1/ξ = ai, Pη = b2/ξ = ai, . . ., Pη =bm/ξ = ai — условное распределение случайной величины η(ω)при условии, что ξ = ai.

Рассмотрим столбец с номером j таблицы совместного рас-пределения простых случайных величин ξ(ω) и η(ω). Рассмотримотношения:

p1jp·j

,p2jp·j

, . . . ,pnjp·j

.

Все эти числа являются неотрицательными, и в сумме дают едини-цу. Рассмотрим условную вероятность:

pijp·j

=PAi ∩BjPBj

= PAi/Bj = Pξ = ai/η = bj.

Набор вероятностей Pξ = a1/η = bj, Pξ = a2/η = bj, . . ., Pξ =an/η = bj — условное распределение случайной величины ξ(ω) приусловии, что η = bj .

Определение 1.1. Условное математическое ожидание случайнойвеличины η(ω) при условии, что ξ = ai, определяется равенством:

E(η/ξ = ai) =

m∑

j=1

bjPη = bj/ξ = ai. (1.1)

Аналогично можно определить условное математическое ожи-дание случайной величины ξ(ω) при условии, что η = bj :

E(ξ/η = bj) =n∑

i=1

aiPξ = ai/η = bj. (1.2)

Определение 1.2. Условным математическим ожиданием случай-ной величины η(ω) относительно случайной величины ξ называетсяслучайная величина E(η/ξ), распределение которой определяетсяследующим образом:

133

E(η/ξ) E(η/ξ = a1) E(η/ξ = a2) . . . E(η/ξ = an)P Pξ = a1 Pξ = a2 . . . Pξ = an

Случайная величина E(η/ξ) — математическое ожидание простойслучайной величины η(ω) относительно простой случайной величи-ны ξ(ω).

Возможен и другой способ определения случайной величиныE(η/ξ).

Определение 1.3. Пусть

h(ai) = E(η/ξ = ai),

где функция h(x) задана на множестве a1, . . . , an. Тогда случай-ная величина h(ξ(ω)) = E(η/ξ) — условное математическое ожида-ние случайной величины η относительно случайной величины ξ.

Аналогично определяется условное математическое ожиданиеE(ξ/η) случайной величины ξ относительно случайной величиныη. Введенные таким образом определения 1.2 и 1.3 эквивалентны.Случайная величина E(η/ξ) определяется единственным образомс точностью до множества меры нуль, то есть, если ζ

п.н.= E(η/ξ),

то случайная величина ζ также может рассматриваться как услов-ное математическое ожидание случайной величины η относительнослучайной величины ξ.

Сформулируем свойства условного математического ожида-ния.

1. Если случайные величины ξ и η взаимно независимы, то спра-ведливо равенство:

E(η/ξ) = Eη.

Доказательство. Доказательство следует из равенства (1.1).Если случайные величины ξ и η взаимно независимы, то

Pη = bj/ξ = ai = Pη = bj.

2. Пусть случайная величина ηп.н.= c, c ∈ R, тогда

E(η/ξ)п.н.= c.

134

Доказательство. Как отмечалось ранее

E(η/ξ = ai) =m∑

j=1

bjPη = bj/ξ = ai.

Если bj 6= c, тоPη = bj/ξ = ai = 0.

Если bj = c, то нетрудно заметить, что

Pη = c/ξ = ai =Pη−1(c) ∩ ξ−1(ai)

Pξ−1(ai)= 1.

Действительно,

ξ−1(ai) = ξ−1(ai) ∩ η−1(c) + ξ−1(ai) ∩ η−1(c).

Следовательно,

Pξ−1(ai) = Pξ−1(ai) ∩ η−1(c)+ Pξ−1(ai) ∩ η−1(c).

Очевидно, что Pξ−1(ai)∩η−1(c) = 0. Таким образом, Pη =c/ξ = ai = 1.

3. Справедливо равенство:

EE(η/ξ) = Eη.

Доказательство. Как легко заметить,

EE(η/ξ) =

n∑

i=1

Eη/ξ = aiPξ = ai =

=

n∑

i=1

m∑

j=1

bjPη = bj/ξ = aiPξ = ai =

=n∑

i=1

m∑

j=1

bjPη = bj , ξ = ai =m∑

j=1

bjPη = bj = Eη.

135

4. Пусть ϕ(x) — борелевская функция, тогда имеет место равен-ство:

Eηϕ(ξ)/ξ = ϕ(ξ)E(η/ξ).

Доказательство. Воспользуемся определением 1.1:

Eηϕ(ξ)/ξ = ai =

m∑

j=1

ϕ(ai)bjPη = bj/ξ = ai =

= ϕ(ai)E(η/ξ = ai) = g(ai),

где функция g(x) задана на множестве a1, a2, . . . , an. Поопределению 1.3 справедливо равенство:

Eηϕ(ξ)/ξ = g(ξ) = ϕ(ξ)E(η/ξ).

Замечание 1.1. В теории вероятностей все случайные ве-личины определяются с точностью до множества меры нуль,поэтому доказываемое равенство можно записать следующимобразом:

Eηϕ(ξ)/ξ п.н.= ϕ(ξ)E(η/ξ).

5. Пусть ϕ(x) — борелевская функция. Для случайных величинξ и η справедливо неравенство:

E(η − E(η/ξ))2 6 E(η − ϕ(ξ))2, (1.3)

причем неравенство выполняется как равенство только, когдаϕ(ξ)

п.н.= E(η/ξ).

Доказательство. Преобразуем правую часть неравенства(1.3). К выражению в скобках прибавим и вычтем величинуE(η/ξ), раскроем скобки, тогда

E(η − ϕ(ξ))2 = E(η − E(η/ξ)) + (E(η/ξ)− ϕ(ξ))2 =

= E(η − E(η/ξ))2 + E(E(η/ξ)− ϕ(ξ))2+

+ 2E(η − E(η/ξ))(E(η/ξ) − ϕ(ξ)).

136

Рассмотрим последнее слагаемое, воспользуемся третьимсвойством условного математического ожидания:

E (E (η − E(η/ξ))(E(η/ξ) − ϕ(ξ))/ξ) == E [(E(η/ξ)− ϕ(ξ))E (η − E(η/ξ))/ξ] .

Нетрудно проверить, что условное математическое ожиданиеобладает свойством линейности, следовательно,

E(η − E(η/ξ))/ξ = E(η/ξ)− EE(η/ξ))/ξ = E(η/ξ)−− E(η/ξ)E1/ξ = E(η/ξ)− E(η/ξ)

п.н.= 0.

Таким образом, последнее слагаемое равно нулю. Итак, полу-чили равенство:

E(η − ϕ(ξ))2 = E(η − E(η/ξ))2 + E(E(η/ξ) − ϕ(ξ))2. (1.4)

Так как все слагаемые положительные, то очевидно, что имеетместо неравенство:

E(η − ϕ(ξ))2 > E(η − E(η/ξ))2.

Из (1.4) следует, что неравенство выполняется как равенствотолько, когда ϕ(ξ)

п.н.= E(η/ξ).

Замечание 1.2. Доказанное свойство можно записать в виде:

E(η/ξ) = arg infϕ(·)

E(η − ϕ(ξ))2, E(ϕ2(ξ)) ∈ R.

Следовательно, случайная величина E(η/ξ) дает наилучшийв среднеквадратическом смысле прогноз случайной величиныη по случайной величине ξ. Ранее была рассмотрена задача онаилучшем линейном прогнозе.

§2. Условные математические ожидания произ-

вольных случайных величин

Определение 2.1. Пусть на вероятностном пространстве (Ω,F , P )заданы две случайные величины ξ(ω), η(ω). Назовем функцию

137

P (B/x), где B ∈ B(R), x ∈ R, условным вероятностным распреде-лением случайной величины η при условии ξ = x, если выполненыследующие условия:

1. При любом фиксированном x ∈ R функция P (·/x) как функ-ция первого аргумента является вероятностной мерой на бо-релевской прямой (R,B(R)).

2. При любом фиксированном B ∈ B(R) функция P (B/·) какфункция второго аргумента является борелевской функцией(т. е. P (B/·): R → R и полный прообраз любого борелевскогомножества есть борелевское множество).

3. Для любых борелевских множеств A ∈ B(R), B ∈ B(R) спра-ведливо равенство:

Pξ ∈ A, η ∈ B =

∫

A

P (B/x)dPξ. (2.1)

Замечание 2.1. Положим в третьем пункте определения A = R.Тогда событие ξ ∈ R является достоверным:

Pξ−1(A) ∩ η−1(B) = Pξ−1(R) ∩ η−1(B) =

= PΩ ∩ η−1(B) = Pη ∈ B.Следовательно, имеет место равенство:

Pη ∈ B =

∫

R

P (B/x)dPξ.

Данное равенство является аналогом формулы полной вероятно-сти.

Замечание 2.2. Определение 2.1 также справедливо в векторномслучае: ξ = (ξ1, . . . , ξn)

T , η = (η1, . . . , ηm)T , x ∈ Rn, B ∈ B(Rm).

Определение 2.2. Пусть при любом x ∈ R существует интегралЛебега по вероятностной мере:

∫RyP (dy/x). Условным математиче-

ским ожиданием случайной величины η при условии ξ = x назовемвеличину

E(η/ξ = x) =

∫

R

yP (dy/x),

где P (B/x) — условное распределение η при условии ξ = x.

138

Замечание 2.3. Сформулированное определение полностью со-гласуется с определением математического ожидания, если вспом-нить теорему о замене переменной под знаком интеграла Лебега.

Замечание 2.4. Пусть g: R → R — борелевская функция. Тогдаусловным математическим ожиданием случайной величины g(η)при условии ξ = x называется

E(g(η)/ξ = x) =

∫

R

g(y)P (dy/x),

если интеграл существует.

Если существует E(η/ξ = x), то с учетом определения 2.1,а также с учетом определения интеграла Лебега получаем, чтоE(η/ξ = x) = h(x) — борелевская функция.

Определение 2.3. Пусть для любого x ∈ R существует E(η/ξ =x) = h(x). Назовем случайную величину h(ξ) = E(η/ξ) условнымматематическим ожиданием случайной величины η относительнослучайной величины ξ.

Во всех определениях требовалось выполнение условий длялюбых x ∈ R, но достаточно требовать выполнение всех условийпочти для всех x ∈ R относительно меры Pξ.

Если условное математическое ожидание E(η/ξ = x) суще-ствует и конечно почти при всех x ∈ R относительно меры Pξ,и если существует и конечно математическое ожидание E(η), то,как нетрудно показать, все свойства условного математическогоожидания E(η/ξ), рассмотренные в предыдущем параграфе, пол-ностью переносятся на общий случай. В дальнейшем, пусть прилюбом фиксированном x ∈ R условное распределение P (B/x) име-ет плотность fη/ξ(y/x) относительно меры Лебега, т. е. справедливоравенство:

P (B/x) =

∫

B

fη/ξ(y/x)dy

для любого B ∈ B(R), fη/ξ(y/x) > 0 для любых y ∈ R, x ∈ R. Тогда

139

справедливо следующее представление:

Pξ ∈ A, η ∈ B =

∫

A

P (B/x)Pξ(dx) =

∫

A

∫

B

fη/ξ(y/x)dyPξ(dx).

(2.2)Кроме того, будем предполагать, что существует плотность распре-деления fξ(x) относительно меры Лебега, т. е.

Pξ(A) =

∫

A

fξ(x)dx

для любого A ∈ B(R). Тогда равенство (2.2) можно переписать сле-дующим образом:

Pξ ∈ A, η ∈ B =

∫

A

∫

B

fη/ξ(y/x)fξ(x)dydx. (2.3)

Будем называть плотность fη/ξ(y/x) условной плотностью распре-деления случайной величины η при условии ξ = x.

Из равенства (2.3) следует, что

P(ξ, η) ∈ A×B =

∫

A×B

fη/ξ(y/x)fξ(x)dxdy

для любых A ∈ B(R), B ∈ B(R). Тогда для любого D ∈ B(R2)справедливо

P(ξ, η) ∈ D =

∫

D

fη/ξ(y/x)fξ(x)dxdy.

Таким образом, доказана следующая теорема.

Теорема 2.1. Пусть fη/ξ(y/x) — условная плотность распреде-

ления случайной величины η при условии ξ = x. Пусть fξ(x) —

плотность распределения случайной величины ξ. Тогда совмест-

ная плотность распределения fξ,η(x, y) случайных величин ξ, η мо-

жет быть представлена в виде:

fξ,η(x, y) = fη/ξ(y/x)fξ(x).

Аналогично, fξ,η(x, y) = fξ/η(x/y)fη(y).

140

Справедлива и обратная теорема.

Теорема 2.2. Пусть fξ,η(x, y) — совместная плотность распре-

деления случайных величин ξ, η. Тогда имеют место равенства:

fξ(x) =

∞∫

−∞

fξ,η(x, y)dy, (2.4)

fη(y) =

∞∫

−∞

fξ,η(x, y)dx, (2.5)

fη/ξ(y/x) =fξ,η(x, y)

fξ(x), fξ/η(x/y) =

fξ,η(x, y)

fη(y).

Доказательство. Равенства (2.4) и (2.5) были доказаны ра-нее. Справедливо равенство

Pξ ∈ A, η ∈ B =

∫

A

∫

B

fξ,η(x, y)dydx.

В правой его части выражение под знаком интеграла умножим иразделим на величину fξ(x) и перейдем к повторному интегриро-ванию:

Pξ ∈ A, η ∈ B =

∫

A

∫

B

fξ,η(x, y)fξ(x)

fξ(x)dydx =

=

∫

A

∫

B

fξ,η(x, y)

fξ(x)dy

fξ(x)dx.

Выражение в круглых скобках — функция, зависящая от x и отB. В силу определения 2.1 эта функция — условное распределе-ние случайной величины η при условии ξ = x. Таким образом,fξ,η(x, y)/fξ(x) — плотность меры P (B/x) относительно меры Ле-бега.

141

Так как плотность fξ(x) может принимать нулевое значение,то всегда ли корректно делить на fξ(x)? Пусть N = x : fξ(x) = 0,тогда

Pξ(N) =

∫

N

fξ(x)dx = 0.

Таким образом, функция fη/ξ(y/x) не определена на множестве ме-ры нуль, но интегрирование производится по мере Pξ, следователь-но, функцию можно доопределить на этом множестве произволь-ным образом, что не окажет никакого влияния на правую частьрассматриваемого в теореме выражения.

§3. Многомерное нормальное распределение

Пусть ξ1 ∼ N(0, 1), ξ2 ∼ N(0, 1), . . ., ξn ∼ N(0, 1). Предположим,что все случайные величины взаимно независимы. Составим слу-чайный вектор ξ = (ξ1, . . . , ξn)

T . Как было установлено, необходи-мым и достаточным условием независимости случайных величинявляется равенство:

Fξ1,...,ξn(x1, . . . , xn) =n∏

i=1

Fξi(xi),

которое должно выполняться для любого x ∈ Rn. Если есть сов-

местная плотность, то необходимое и достаточное условие имеетвид:

fξ1,...,ξn(x1, . . . , xn) =

n∏

i=1

fξi(xi).

В случае стандартного нормального распределения:

fξi(xi) =1√2πe−x2i2 .

Следовательно,

fξ1,...,ξn(x) =1

(2π)n2e−

12x

Tx, xT = (x1, . . . , xn).

142

Отсюда следует, что величины ξ1,. . .,ξn подчиняются многомерномунормальному распределению ξ ∼ N(0, En), где ξT = (ξ1, . . . , ξn).

Рассмотрим случайный вектор:

η = (η1, . . . , ηn)T = a+ cξ,

где a = (a1, . . . , an)T ∈ R

n, c — квадратная матрица, |c| > 0.Возьмем любое множество B ∈ B(Rn) и рассмотрим случай-

ный вектор η ∈ B. Тогда существует множество D, что следующиесобытия равносильны η ∈ B = ξ ∈ D. Так как y ∈ B, тогда итолько тогда, когда x = c−1(y − a) ∈ D, то

Pη ∈ B = Pξ ∈ D =

∫

D

fξ(x)dx.

Сделаем следующую замену переменной: x = c−1(y − a), тогда

∫

D

fξ(x)dx =

∫

B

1

|c|fξ(c−1(y − a))dy, B ∈ B(Rn).

Следовательно, плотность распределения случайного вектора ηимеет вид:

fη(y) =1

|c|fξ(c−1(y − a)) =

1

(2π)n2 |c|e

−1

2(y−a)T ((c−1)T c−1)(y−a)

,

где (c−1)T c−1 = (ccT )−1, Σ = ccT , |Σ| = |c|2. Тогда можно записатьвыражение для плотности распределения вектора η в следующемвиде:

fη(y) =1

(2π)n2

√|Σ|

e−1

2(y−a)TΣ−1(y−a)

.

Назовем эту плотность плотностью многомерного нормального рас-пределения N(a,Σ).

Найдем математическое ожидание вектора η = a+ cξ:

Eη =

Eη1...

Eηn

= a+ cEξ = a.

143

Найдем ковариационную матрицу:

Dη = E(η − Eη)(η − Eη)T = EcξξT cT = cE(ξξT )cT ,

здесь EξξT — ковариационная матрица случайного вектора ξ. Попредположению справедливо равенство:

E(ξξT ) = En.

Тогда ковариационная матрица вектора η равна:

Dη = E(η − Eη)(η − Eη)T = EcξξT cT = cE(ξξT )cT = Σ.

Далее будем рассматривать двумерное нормальное распреде-ление случайного вектора (ξ, η). В дальнейшем удобно обозначитьпервую компоненту через ξ, а вторую компоненту через η. Пустьслучайный вектор (ξ, η)T ∼ N(a,Σ), где aT = (aξ, aη), aξ = Eξ,aη = Eη. Плотность распределения случайного вектора (ξ, η) имеетвид:

fξ,η(x, y) =1

2π√|Σ|

e−1

2(x−aξ,y−aη)Σ

−1

x− aξy − aη

,

Σ = D(ξ, η) =

(σ2ξ cov(ξ, η)

cov(ξ, η) σ2η

).

Ковариацию случайных величин cov(ξ, η) можно записать в видеσξσηρ, где ρ = ρ(ξ, η) — коэффициент корреляции случайных вели-чин ξ и η. Тогда справедливо равенство:

(σ2ξ cov(ξ, η)

cov(ξ, η) σ2η

)=

(σ2ξ σξσηρ

σξσηρ σ2η

)

Найдем fξ(x), fη(y), не предполагая независимости случайных ве-личин ξ и η, также найдем плотности условных распределенийfξ/η(x/y), fη/ξ(y/x) и условное математическое ожидание E(η/ξ).Нетрудно видеть, что

144

Σ−1 =1

σ2ξσ

2η(1− ρ2)

(σ2η −σξσηρ

−σξσηρ σ2ξ

)=

=1

σ2η(1 − ρ2)

σ2η

σ2ξ

−ση

σξρ

−ση

σξρ 1

Запишем квадратичную форму:

(x− aξ, y − aη)Σ−1

(x− aξy − aη

)=

=1

σ2η(1− ρ2)

(σ2η

σ2ξ

(x− aξ)2 − 2

σησξρ(x− aξ)(y − aη) + (y − aη)

2

)=

=1

σ2η(1− ρ2)

(y − aη −

σησξρ(x− aξ))

2 +σ2η

σ2ξ

(1− ρ2)(x− aξ)2

.

Отсюда следует

fξ,η(x, y) =1

√2π√σ2η(1− ρ2)

exp

(−(y − aη − ση

σξρ(x− aξ))

2

2σ2η(1− ρ2)

)·

· 1√2πσξ

exp

(− (x− aξ)

2

2σ2ξ

)= fη/ξ(y/x)fξ(x),

где fξ(x) = 1√2πσξ

exp(− (x−aξ)

2

2σ2ξ

)— плотность нормального распре-

деления N(aξ, σ2ξ ), fη/ξ(y/x) — плотность условного распределения,

которое также является нормальным распределением. Очевидно,что ∞∫

−∞

fη/ξ(y/x)dy = 1.

Следовательно,

fξ(x) =

∞∫

−∞

fξ,η(x, y)dy.

145

Таким образом, если совместное распределение компонент случай-ного вектора является нормальным, тогда и любая из компонентподчиняется нормальному распределению (независимо от того, за-висимы они или независимы). Аналогичные выражения можно по-лучить для fη(y) и fξ/η(x/y).

Так как условное распределение является также нормальнымN(aη + ρ

ση

σξ(x− aξ), σ

2η(1− ρ2)), то

E(η/ξ = x) =

∞∫

−∞

yfη/ξ(y/x)dy = aη + ρσησξ

(x− aξ).

Следовательно,

E(η/ξ) = aη + ρσησξ

(ξ − aξ).

Из полученного выражения можно сделать вывод: если совместноераспределение случайных величин ξ и η нормальное, то наилучшийпрогноз случайной величины η по случайной величине ξ являетсялинейным.

Необходимое и достаточное условие независимости случайныхвеличин ξ и η, если существует совместная плотность, имеет вид:

fξ,η(x, y) = fξ(x)fη(y).

Для двумерного нормального распределения, как следует из полу-ченных формул, тождество возможно тогда и только тогда, когдакоэффициент корреляции ρ = 0.

146

Глава 8

Некоторые распределения

§1. Дискретные распределения

1. Распределение Бернулли. Случайная величина ξ подчиняетсяраспределению Бернулли, если

Pξ = 1 = p, Pξ = 0 = q = 1− p,

Eξ = p, Dξ = Eξ2 − (Eξ)2 = p− p2 = pq.

2. Биномиальное распределение (рис. 8.1, 8.2).

15 20 25 30 35

0.00

0.02

0.04

0.06

0.08

0.10

n=50, p=0,5

m

P

μ=

m

Рис. 8.1: Биномиальное распределение

147

Пусть µ — число успехов в серии из n испытаний Бернулли, скаждым испытанием можно связать случайную величину:

ξi =

1, в испытании с номером i произошел успех;0, в испытании с номером i произошла неудача.

Тогда µ можно представить в виде:

15 20 25 30 35

0.0

0.2

0.4

0.6

0.8

1.0

n=50, p=0.5

m

Fμ(x)

Рис. 8.2: Функция биномиального распределения

µ =

n∑

i=1

ξi.

Случайная величина µ подчиняется биномиальному распределе-нию:

Pµ = m = Cmn p

mqn−m, m = 0, 1, . . . , n.

Математическое ожидание, дисперсия и среднеквадратическое от-клонение случайной величины µ равны соответственно:

Eµ = np, Dµ = npq, σµ =√npq.

148

3. Распределение Пуассона (рис. 8.3, 8.4). Случайная величинаξ подчиняется распределению Пуассона, если

Pξ = k =λk

k!e−λ, λ > 0, k = 0, 1, . . .

0 2 4 6 8 10

0.00

0.05

0.10

0.15

0.20

λ=3

k

Pξ=k

Рис. 8.3: Распределение Пуассона

Вычислим математическое ожидание случайной величины ξ:

Eξ =

∞∑

k=0

kλk

k!e−λ = λ

∞∑

m=0

λm

m!e−λ = λe−λeλ = λ.

Вычислим дисперсию Dξ. Воспользуемся следующим прие-мом:

Eξ(ξ − 1) =

∞∑

k=0

k(k − 1)λk

k!e−λ =

∞∑

k=2

k(k − 1)λk

k!e−λ =

= λ2∞∑

k=2

λk−2

(k − 2)!e−λ = λ2.

149

0 2 4 6 8 10

0.2

0.4

0.6

0.8

1.0

λ=3

x

Fξ(x)

Рис. 8.4: Функция распределения Пуассона

С другой стороны, справедливы равенства:

Eξ(ξ − 1) = Eξ2 − ξ = Eξ2 − Eξ = λ2.

Следовательно,Eξ2 = λ2 + λ,

тогда дисперсия может быть вычислена следующим образом:

Dξ = Eξ2 − (Eξ)2 = λ2 + λ− λ2 = λ.

§2. Непрерывные распределения

1. Стандартное нормальное распределение N(0, 1) (рис. 8.5, 8.6).Рассмотрим плотность распределения

fξ(x) =1√2πe−

x2

2 .

150

-3 -2 -1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

N(0,1)

x

fξ(x)

Рис. 8.5: Функция плотности стандартного нормального распределения

Вычислим математическое ожидание случайной величины ξ:

Eξ =

∞∫

−∞

x1√2πe−x2

2 dx =

∞∫

0

x1√2πe−x2

2 dx−0∫

−∞

|x|e−x2

21√2πdx =

=

∞∫

0

x1√2πe−x2

2 dx −∞∫

0

x1√2πe−x2

2 dx = 0.

Вычислим дисперсию:

Dξ = Eξ2 =

∞∫

−∞

x21√2πe−x2

2 dx = −x 1√2πe−x2

2∣∣∣∞

−∞+

+

∞∫

−∞

1

2πe−x2

2 dx = 1,

151

-3 -2 -1 0 1 2 3

0.0

0.2

0.4

0.6

0.8

1.0

N(0,1)

x

Fξ(x)

Рис. 8.6: Функция стандартного нормального распределения

следовательно, σξ = 1. Вычислим коэффициент асимметрии:

Ka = Eξ3 =

∞∫

−∞

x31√2πe−x2

2 dx = −x2 1√2πe−x2

2∣∣∣∞

−∞+

+ 2

∞∫

−∞

x1√2πe−x2

2 dx = 0

Коэффициент асимметрии для стандартного нормального распре-деления равен нулю.

152

Найдем коэффициент эксцесса:

Ke = Eξ4 − 3 =

∞∫

−∞

x41√2πe−x2

2 dx− 3 = −x3 1√2πe−x2

2∣∣∣∞

−∞+

+ 3

∞∫

−∞

x21√2πe−x2

2 dx− 3 = 3− 3 = 0.

Коэффициент эксцесса Ke характеризует островершинность рас-пределения.

Коэффициенты Ka и Ke подобраны таким образом, чтобыстандартное нормальное распределение служило шаблоном длядругих распределений.

Для нормально распределенной случайной величины ξ спра-ведливо правило трех сигм:

P−3 < ξ < 3 > 0, 98.

2. Нормальное распределение N(a, σ2) (рис. 8.7, 8.8). Пустьξ подчиняется стандартному нормальному распределению, ξ ∼N(0, 1). Рассмотрим следующую случайную величину:

η = a+ σξ, a ∈ R, σ > 0.

Найдем функцию Fη(x) и плотность распределения fη(x):

Fη(x) = Pη 6 x = Pa+ σξ 6 x = P

ξ 6

x− a

σ

=

= Fξ

(x− a

σ

)=

(x−a)σ∫

−∞

1√2πe−y2

2 dy =

x∫

−∞

1√2πσ

e−(z − a)2

2σ2 dz.

Следовательно,

fη(x) =1√2πσ

e−(x − a)2

2σ2 ,

153

-10 0 10 20 30

0.00

0.01

0.02

0.03

0.04

0.05

0.06

N(10,36)

x

fξ(x)

Рис. 8.7: Функция плотности нормального распределения N(10, 36)

здесь fη(x) — плотность нормального распределения N(a, σ2).Вычислим математическое ожидание и дисперсию случайной

величины η:Eη = a+ σEξ = a,

Dη = E(η − Eη)2 = σ2Dξ = σ2.

Коэффициенты в функции плотности распределения имеют следу-ющий смысл: a — математическое ожидание, σ — среднеквадра-тическое отклонение, σ2 — дисперсия. Если случайная величинаподчиняется распределению η ∼ N(a, σ2), то случайная величинаξ = (η − a)/σ подчиняется стандартному нормальному распределе-нию N(0, 1), следовательно, можно переформулировать свойства,полученные ранее для стандартного нормального распределения.

Например, правило трех сигм можно записать в виде:

P|ξ| < 3 = P

∣∣∣∣η − a

σ

∣∣∣∣ < 3

= P−3σ < η − a < 3σ > 0, 98.

154

-10 0 10 20 30

0.0

0.2

0.4

0.6

0.8

1.0

N(10,36)

x

(

)

Рис. 8.8: Функция нормального распределения N(10, 36)

Вычислим коэффициенты асимметрии и эксцесса:

Ka =E(η − a)3

σ3η

= E

(η − a

σ

)3

= Eξ3 = 0,

Ke =E(η − Eη)4

σ4η

− 3 = E

(η − a

σ

)4

− 3 = Eξ4 − 3 = 0.

КоэффициентыKa и Ke равны нулю для любой нормально распре-деленной случайной величины.

3. Гамма-распределение (рис. 8.9, 8.10). Случайная величинаξ подчиняется гамма-распределению с параметрами p > 0, λ > 0,т. е. ξ ∼ G(p, λ), если плотность распределения имеет вид:

fξ(x) =

0, x 6 0;λp

Γ(p)xp−1e−λx, x > 0.

где p — параметр формы, λ — параметр масштаба, Γ(p) =∫∞0xp−1e−xdx — гамма-функция.Если p = 1, то гамма-распределение называется экспоненци-

альным (показательным) распределением.

155

0 5 10 15

0.00

0.05

0.10

0.15

0.20

0.25

0.30

0.35

x

fξ(x)

p=1

λ=2

p=2

λ=2p=9

λ=0.5

Рис. 8.9: Функции плотности гамма-распределения

Математическое ожидание случайной величины ξ, подчиняю-щейся гамма-распределению с параметрами p и λ равно

Eξ =

∞∫

x

xfξ(x)dx =−λp−1

Γ(p)xpe−λx

∣∣∣∞

0+p

λ

∞∫

0

λp

Γ(p)xp−1e−λxdx =

p

λ,

так как∫∞0

λp

Γ(p)xp−1e−λxdx = 1. Найдем дисперсию случайной ве-

личины ξ:Dξ = Eξ2 − (Eξ)2,

где первое слагаемое Eξ2 может быть вычислено следующим обра-зом:

Eξ2 =

∞∫

0

x2λp

Γ(p)xp−1e−λxdx = − λp

λΓ(p)x2xp−1e−λx

∣∣∣∞

0+

+ (p+ 1)1

λ

∞∫

0

xλp

Γ(p)xp−1e−λxdx =

p(p+ 1)

λ2.

156

0 5 10 15

0.0

0.2

0.4

0.6

0.8

1.0

x

fξ(x)

p=1

λ=2

p=2

λ=2

p=9

λ=0.5

Рис. 8.10: Функции гамма-распределения

Следовательно, получаем, что

Dξ =p

λ2.

4. Экспоненциальное распределение (рис. 8.11, 8.12), то естьгамма-распределение с p = 1, G(λ, 1). Плотность распределенияэкспоненциально распределенной случайной величины ξ имеет вид:

fξ(x) =

λe−λx, x > 0;0, x 6 0.

Математическое ожидание и дисперсия соответственно равны

Eξ =1

λ,

Dξ =1

λ2.

Вычислим вероятность того, что ξ 6 x:

Pξ 6 x = λ

x∫

0

e−λtdt = −e−λt∣∣∣x

0= 1− e−λx,

157

0.0 0.5 1.0 1.5

01

23

4

λ=4

x

fξ(x)

Рис. 8.11: Функция плотности экспоненциального распределения

следовательно,

Fξ(x) = Pξ 6 x =

1− e−λx, x > 0;0, x 6 0.

Часто аргумент x представляет собой время, поэтому будемобозначать его t, тогда

Fξ(t) = 1− e−λt, t > 0.

Найдем условную вероятность

Pξ 6 (t+ τ)/ξ > τ = 1− Pξ > t+ τ/ξ > τ =

= 1− P(ξ > t+ τ) ∩ (ξ > τ)Pξ > τ = 1− Pξ > τ + t

Pξ > τ =

= 1 +1− Fξ(t+ τ)

1− Fξ(τ)= 1− e−λ(t+τ)

e−λτ= 1− e−λt = Fξ(t)

Таким образом, доказано следующее свойство экспоненциальногораспределения:

Pξ 6 t+ τ/ξ > τ = Pξ 6 t.

158

0.0 0.5 1.0 1.5

0.0

0.2

0.4

0.6

0.8

1.0

λ=4

x

Fξ(x)

Рис. 8.12: Функция экспоненциального распределения

Доказанное свойство называется свойством отсутствия последей-ствия.

5. Бета-распределение (рис. 8.13, 8.14). Функцию распределе-ния будем обозначать B(x; p1, p2), где p1 > 0, p2 > 0. Определимплотность бета-распределения:

fξ(x) =

0, x /∈ (0, 1);xp1−1(1− x)p2−1

β(p1, p2), x ∈ (0, 1),

где

β(p1, p2) =

1∫

0

xp1−1(1− x)p2−1dx

— бета-функция.Свойства бета-функции:

1. Имеет место равенство: β(p1, p2) = β(p2, p1).

159

0.0 0.2 0.4 0.6 0.8

0.0

0.5

1.0

1.5

2.0

2.5

3.0

x

fξ(x)

0.0 0.2 0.4 0.6 0.8

0.0

0.5

1.0

1.5

2.0

2.5

3.0

0.0 0.2 0.4 0.6 0.8

0.0

0.5

1.0

1.5

2.0

2.5

3.0

p1=2

p2=5

p1=2

p2=2

p1=5

p2=1

Рис. 8.13: Функция плотности бета-распределения

Нетрудно заметить, что

1∫

0

xp1−1(1 − x)p2−1dx = −0∫

1

(1− t)p1−1tp2−1dt =

=

1∫

0

tp2−1(1− t)p1−1dt.

2. Справедлива формула понижения порядка:

β(p1 + 1, p2) =p1

p1 + p2β(p1, p2).

160

Заметим, что

β(p1 + 1, p2) =

1∫

0

xp1(1− x)p2−1dx = − 1

p2xp1(1− x)p2

∣∣∣1

0+

+p1p2

1∫

0

xp1−1(1 − x)p2dx =p1p2

(β(p1, p2)− β(p1 + 1, p2).

Следовательно,

p2 + p1p1

β(p1 + 1, p2) = β(p1, p2).

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

x

Fξ(x)

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

p1=2

p2=5

p1=2

p2=2

p1=5

p2=1

Рис. 8.14: Функция бета-распределения

Вычислим моменты:

Eξ =

1∫

0

xp1 (1− x)p2−1 1

β(p1, p2)dx =

β(p1 + 1, p2)

β(p1, p2)=

p1p1 + p2

.

161

Eξ2 =1

β(p1, p2)

1∫

0

xp1+1(1− x)p2−1dx =β(p1 + 2, p2)

β(p1, p2)=

=β(p1 + 2, p2)

β(p1 + 1, p2)

β(p1 + 1, p2)

β(p1, p2)=

p1 + 1

p1 + p2 + 1· p1p1 + p2

.

Dξ = Eξ2 − (Eξ)2 =p1

p1 + p2

(p1 + 1

p1 + p2 + 1− p1p1 + p2

)=

=p1p2

(p1 + p2)2(p1 + p2 + 1).

6. Равномерное распределение на [0, 1] (рис. 8.15, 8.16). Равно-мерное распределение — частный случай бета-распределения, когдаp1 = 1, p2 = 1, т. е. B(x; 1, 1). Равномерное распределение обозна-чают U [0, 1]. Плотность равномерного распределения имеет вид:

fξ(x) =

1, x ∈ [0, 1];0, x /∈ [0, 1].

-0.2 0.0 0.2 0.4 0.6 0.8 1.0 1.2

0.0

0.2

0.4

0.6

0.8

1.0

1.2

x

fξ(x)

Рис. 8.15: Функция плотности равномерного распределения U [0, 1]

162

Рассмотрим точки α, α′, β, β′ такие, что β − α = β′ − α′, приэтом (α, β) ⊂ [0, 1], и (α′, β′) ⊂ [0, 1].

-0.2 0.0 0.2 0.4 0.6 0.8 1.0 1.2

0.0

0.2

0.4

0.6

0.8

1.0

x

Fξ(x)

Рис. 8.16: Функция равномерного распределения U [0, 1]

Вычислим вероятность:

Pξ ∈ (α, β) =

∫

(α,β)

1dx =

β∫

α

dx = β − α,

аналогично, получаем:

Pξ ∈ (α′, β′) = β′ − α′.

Таким образом, вероятности событий ξ ∈ (α, β) и ξ ∈ (α′, β′) одина-ковы.

7. Распределение Коши (рис. 8.17). Будем говорить, что слу-чайная величина ξ подчиняется распределению Коши, если плот-ность распределения имеет вид:

fξ(x) =1

π

1

1 + x2, x ∈ R.

163

-2 -1 0 1 2

0.0

0.1

0.2

0.3

0.4

x

fξ(x)

Рис. 8.17: Функция плотности распределения Коши

Распределение Коши имеет «тяжелые» хвосты, в следствиечего

Eξ =

∞∫

−∞

x1

π

1

1 + x2dx =

∞∫

0

x1

π

1

1 + x2dx−

0∫

−∞

|x| 1π

1

1 + x2dx,

здесь каждый из интегралов равен +∞, следовательно, математи-ческое ожидание Eξ не существует.

164

Глава 9

Виды сходимостей случайных величин

§1. Сходимости по вероятности, почти наверное,

по распределению, в среднем, в основном

Будем считать, что в вероятностном пространстве (Ω,F , P ) сигма-алгебра F полна относительно меры P .

Определение 1.1. Пусть случайная величина ξ и последователь-ность случайных величин ξ1,. . .,ξn,. . . заданы на вероятностномпространстве (Ω,F , P ). Будем говорить, что последовательностьξn сходится почти наверное к случайной величине ξ и записы-вать:

ξnп.н.−−−−→

n→∞ξ, (1.1)

если Pω : ξn(ω) 9

n→∞ξ(ω)

= 0 или

Pω : lim

n→∞ξn(ω) = ξ(ω)

= 1.

Определение 1.2. Пусть случайная величина ξ и последователь-ность случайных величин ξ1,. . .,ξn,. . . заданы на вероятностномпространстве (Ω,F , P ). Будем говорить, что последовательностьξn сходится по вероятности к случайной величине ξ и записы-вать:

ξnP−−−−→

n→∞ξ, (1.2)

если для любого ε > 0 имеет место сходимостьP |ξn − ξ| > ε −−−−→

n→∞0 или P |ξn − ξ| 6 ε −−−−→

n→∞1.

165

Определение 1.3. Пусть случайная величина ξ и последователь-ность случайных величин ξ1,. . .,ξn,. . . заданы на вероятностномпространстве (Ω,F , P ). Будем говорить, что последовательностьξn сходится в среднем порядка r к случайной величине ξ и за-писывать:

ξnLr

−−−−→n→∞

ξ, r > 1, (1.3)

если E|ξn − ξ|r −−−−→n→∞

0, Eξr ∈ R, Eξrn ∈ R при любом n.

Определение 1.4. Пусть заданы случайная величина ξ и после-довательность случайных величин ξ1,. . .,ξn,. . .. Будем говорить, чтопоследовательность ξn сходится по распределению к случайнойвеличине ξ и записывать:

ξnd−−−−→

n→∞ξ, (1.4)

если для любой непрерывной и ограниченной функции g(x) выпол-нено Eg(ξn) −−−−→

n→∞Eg(ξ).

Замечание 1.1. В определении 1.4 не требуется, чтобы все слу-чайные величины были заданы на одном и том же вероятностномпространстве.

Действительно, используя теорему о замене переменной подзнаком интеграла, получаем

∞∫

−∞

g(x)dFξn(x) −−−−→n→∞

∞∫

−∞

g(x)dFξ(x).

Интегралы зависят от случайных величин только через закон рас-пределения.

Определение сходимости по распределению можно обобщитьна случайные вектора ξn = (ξ

(n)1 , . . . , ξ

(n)m ). Будем говорить, что по-

следовательность случайных векторов ξn сходится по распределе-нию к случайному вектору ξ и записывать:

ξn = (ξ(n)1 , . . . , ξ(n)m )

d−−−−→n→∞

ξ = (ξ1, . . . , ξm), (1.5)

если для любой непрерывной ограниченной функции g(x1, . . . , xm)выполнено условие: Eg(ξn) −−−−→

n→∞Eg(ξ).

166

Определение 1.5. Пусть задана последовательность случайныхвеличин ξ1,. . .,ξn,. . .. Пусть Fξ(x) = Pξ 6 x — функция рас-пределения случайной величины ξ, Fξn(x) = Pξn 6 x — функ-ция распределения случайной величины ξn, n = 1, . . . , k, . . .. Будемговорить, что последовательность функций распределения Fξn(x)сходится в основном к функции распределения Fξ(x) и записывать

Fξn(x) −−−−→n→∞

Fξ(x), x ∈ C(Fξ), (1.6)

если для любой точки x ∈ C(Fξ) = x ∈ R : Fξ непрерывна в xвыполнено Fξn(x) −−−−→

n→∞Fξ(x).

Определение 1.6. Пусть задана последовательность случайныхвеличин ξ1,. . .,ξn,. . .. Будем говорить, что данная последователь-ность фундаментальна с вероятностью 1, если Pω : ξn(ω) —фундаментальна = 1.

§2. Критерий сходимости почти наверное. Теоре-

ма Бореля-Кантелли

Теорема 2.1. (необходимое и достаточное условие сходимости с

вероятностью единица)Справедливы следующие утверждения:

1. Последовательность случайных величин ξ1,. . .,ξn,. . . сходит-

ся почти наверное к случайной величине ξ тогда и только

тогда, когда для любого ε > 0 имеет место сходимость

P

ω : sup

m>n|ξm − ξ| > ε

−−−−→n→∞

0. (2.1)

2. Последовательность случайных величин ξ1,. . .,ξn,. . . фунда-

ментальна почти наверное тогда и только тогда, когда для

любого ε > 0:

Pω : supm,l>n

|ξm − ξl| > ε −−−−→n→∞

0

Доказательство. Докажем первое утверждение. Выяснимусловия, когда Pξn(ω) 9

n→∞ξ(ω) = 0. Как нетрудно заметить,

167

справедливо равенство:

ξn(ω) 9n→∞

ξ(ω) =⋃

ε>0

∞⋂

n=1

∞⋃

m=n

ω : |ξm(ω)− ξ(ω)| > ε . (2.2)

Очевидно, что

⋃

ε>0

∞⋂

n=1

∞⋃

m=n

ω : |ξm(ω)− ξ(ω)| > ε =

=

∞⋃

r=1

∞⋂

n=1

∞⋃

m=n

ω : |ξn(ω)− ξ(ω)| > 1

r

.

Введем обозначение:

Br =

∞⋂

n=1

∞⋃

m=n

ω : |ξn(ω)− ξ(ω)| > 1

r

.

Таким образом, мы доказали следующее утверждение:

Pξn 9 ξ = 0 ⇐⇒ P

∞⋃

r=1

Br

= 0 (2.3)

Так как для любого r справедливо неравенство: P (Br) 6

P ⋃∞r=1Br 6

∑∞r=1 P (Br), то условие, что P ⋃∞

r=1Br = 0, эк-вивалентно тому, что для любого r вероятность P (Br) равна ну-лю. Обозначим

⋃∞m=n

ω : |ξm − ξ| > 1

r

через An, An ⊃ An+1, то-

гда в силу непрерывности вероятностной меры равенство P (Br) =P ⋂∞

n=1An = 0 эквивалентно равенству limn→∞

P (An) = 0. Послед-

нее равенство эквивалентно тому, что для любого r имеет местосходимость:

P

∞⋃

m=n

ω : |ξm − ξ| > 1

r

−−−−→n→∞

0. (2.4)

Справедливо: ∞⋃

m=n

ω : |ξm − ξ| > 1

r

=

ω : sup

m>n|ξm − ξ| > 1

r

,

168

поэтому утверждение о том, что для любого r имеет место сходи-мость lim

n→∞P (An) = 0, эквивалентно утверждению, что для любого

r имеет место сходимость:

P

supm>n

|ξm − ξ| > 1

r

−−−−→n→∞

0. (2.5)

Сходимость (2.5) для любого r эквивалентна тому, что для любого

ε > 0 выполнено: P

supm>n

|ξm − ξ| > ε

−−−−→n→∞

0.

Докажем второе утверждение. Запишем в явном виде следу-ющее событие:

ξn(ω) не фундаментальна =

=⋃

ε>0

∞⋂

n=1

∞⋃

m=nl=n

ω : |ξm(ω)− ξl(ω)| > ε .

Далее все рассуждения повторяются аналогично доказательствупункта 1.

Замечание 2.1. Необходимое и достаточное условие фундамен-тальности с вероятностью единица можно записать иначе, а имен-но: для любого ε > 0 справедливо:

P

ω : sup

k>0|ξn+k − ξn| > ε

−−−−→n→∞

0.

Докажем, что данное условие эквивалентно условию 2 из тео-ремы 2.1. Достаточно заметить, что

supk>0

|ξn+k − ξn| 6 supl,m>n

|ξl − ξm| 6 2 supk>0

|ξn+k − ξn|.

Тогда для любого ε > 0 справедливы неравенства:

P

supk>0

|ξn+k − ξn| > ε

6 P

sup

l,m>n|ξl − ξm| > ε

6

6 P

supk>0

|ξn+k − ξn| >ε

2

.

169

Следовательно, утверждение, что P

supk>0

|ξn+k − ξn| > ε

→ 0

для любого ε > 0 эквивалентно утверждению, что

P

sup

l,m>n|ξl − ξm| > ε

−−−−→n→∞

0 для любого ε > 0.

Лемма 2.1. (Лемма Бореля-Кантелли) Пусть An — бесконечнаяпоследовательность событий, An ∈ F для любого номера n. ПустьA∗ =

⋂∞n=1

⋃∞m=nAm, тогда справедливы утверждения:

1. Если ряд сходится∑∞

k=1 P (Ak) <∞, тогда P (A∗) = 0.2. Если ряд расходится

∑∞k=1 P (Ak) = ∞, и события Ak взаимно

независимы, тогда P (A∗) = 1.

Доказательство. Докажем первый пункт леммы. Если рядсходится, то при n→ ∞ справедливо:

P

( ∞⋃

k=n

Ak

)6

∞∑

k=n

P (Ak) −−−−→n→∞

0.

Из следующего соотношения событий

∞⋃

k=n

Ak ⊃∞⋃

k=n+1

Ak

и из непрерывности счетно-аддитивной меры получаем:

P (A∗) = limn→∞

P

( ∞⋃

k=n

Ak

)= 0.

Докажем второй пункт леммы. Для этого достаточно показать, чтоP (A∗) = 0. Применяя законы двойственности, получим:

A∗ =

∞⋂

n=1

∞⋃

m=n

Am =

∞⋃

n=1

∞⋃

m=n

Am =

∞⋃

n=1

( ∞⋂

m=n

Am

).

По свойству непрерывности вероятностной меры сверху, так как⋂∞m=n Am ⊂ ⋂∞

m=n+1 Am, то P (A∗) = limn→∞

P(⋂∞

m=n Am

).

170

Проделаем следующие преобразования:

P

( ∞⋂

m=n

Am

)= P

( ∞⋂

N=n

N⋂

m=n

Am

)= lim

N→∞P

(N⋂

m=n

Am

),

учитывая, что⋂N

m=n Am ⊃ ⋂N+1m=n Am Рассмотрим вероятность:

P

(N⋂

m=n

Am

)=

N∏

m=n

P (Am) =

N∏

m=n

(1− P (Am)) =

= exp

(N∑

m=n

ln(1 − P (Am))

)(2.6)

Докажем, что из неравенства 1 > x > 0 следует неравенство ln(1−x) 6 −x. Для этого рассмотрим функцию:

F (x) = ln(1− x) + x, x ∈ [0, α),

где 0 < α < 1. Очевидно, что F (0) = 0, F ′(x) = −1/(1 − x) + 1 =−x/(1 − x) < 0. Следовательно, F (x) < 0 при x ∈ (0, α). Справед-ливо неравенство:

P

(N⋂

m=n

Am

)6 exp

(−

N∑

m=n

P (Am)

)−−−−→N→∞

0.

Как видим,∑∞

m=1 P (Am) = ∞ при условии взаимной независимо-

сти событий влечет: limN→∞

P(⋂N

m=nAm

)= 0, тогда P (A∗) = 0.

Замечание 2.2. Установим содержательный смысл события A∗.Событие A∗ =

⋂∞n=1 (

⋃∞k=n Ak) происходит, если одновременно про-

исходят события ⋃∞k=n Ak. Таким образом, событие A∗ происхо-

дит тогда и только тогда, когда совместно происходит бесконечномного событий, входящих в последовательность An.

Теорема 2.2. (иерархия видов сходимости) Пусть заданы после-

довательность случайных величин ξ1,. . .,ξn,. . . и случайная вели-

чина ξ, тогда справедливы утверждения:

171

1. Если ξnп.н.−−−−→n→∞

ξ, тогда ξnP−−−−→

n→∞ξ.

2. Если ξnLr

−−−−→n→∞

ξ, тогда ξnP−−−−→

n→∞ξ.

3. Если ξnP−−−−→

n→∞ξ, тогда ξn

d−−−−→n→∞

ξ.

Доказательство. Докажем первый пункт теоремы. Очевид-но, что для любого ε > 0 имеет место неравенство:

P

supm>n

|ξm − ξ| > ε

> P|ξn − ξ| > ε.

Докажем второй пункт теоремы. Применим неравенство Чебышева:

P|ξn − ξ| > ε = P|ξn − ξ|r > εr 6E|ξn − ξ|r

εr−−−−→n→∞

0.

Докажем третье утверждение теоремы. Пусть g(x) — любая непре-рывная и ограниченная функция, |g(x)| 6 k, тогда справедливыследующие неравенства:

|Eg(ξn)− Eg(ξ)| = |E(g(ξn)− g(ξ))| 66 EI|ξn−ξ| 6 δ|g(ξn)−g(ξ)|+EI|ξn−ξ| > δ|g(ξn)−g(ξ)| =

= EI|ξ| > NI|ξn − ξ| 6 δ|g(ξn)− g(ξ)|++ EI|ξ| 6 NI|ξn − ξ| 6 δ|g(ξn)− g(ξ)|+

+ EI|ξn − ξ| > δ|g(ξn)− g(ξ)|.Рассмотрим отдельно слагаемые в правой части неравенства:

EI|ξ| > NI|ξn − ξ| 6 δ|g(ξn)− g(ξ)| 6 2kP|ξ| > N 6

6 2k(Fξ(−N) + 1− Fξ(N)) −−−−→N→∞

0.

Выберем δ0 так, чтобы |g(x) − g(y)| < ε/3 для всех x, y ∈ [−N −1, N + 1], |x− y| 6 δ, при δ < δ0, тогда справедливы соотношения:

EI|ξ| 6 NI|ξn − ξ| 6 δ|g(ξn)− g(ξ)| < ε/3,

EI|ξn − ξ| > δ|g(ξn)− g(ξ)| < 2kP|ξn − ξ| > δ −−−−→n→∞

0.

Легко заметить, что последовательно выбирая N , δ и n для произ-вольного ε > 0, можно добиться, чтобы каждое слагаемое оказалосьменьше ε/3, следовательно, сумма окажется меньше ε.

172

Пример 2.1. Пусть Ω = [0, 1], F = B[0, 1]. В качестве мерывозьмем меру Лебега. Построим последовательность случайных ве-личин: ξ(1)1 (ω) = Iω ∈ [0, 1], ξ(1)2 (ω) = Iω ∈ [0, 1/2], ξ(2)2 (ω) =

Iω ∈ [1/2, 1], ξ(1)3 (ω) = Iω ∈ [0, 1/3], ξ(2)3 (ω) = Iω ∈ [1/3, 2/3],ξ(3)3 (ω) = Iω ∈ [2/3, 1],. . ., ξ(1)n (ω) = Iω ∈ [0, 1/n] и так да-

лее. Расположим случайные величины следующим образом: ξ(1)1 ,

ξ(1)2 , ξ(2)2 , ξ(1)3 , ξ(2)3 , ξ(3)3 , . . .. Изучим сходимость этой последова-

тельности по вероятности. Очевидно, что для любого ε ∈ (0, 1):

P|ξ(m)n | > ε = 1/n −−−−→

n→∞0, следовательно, имеет место сходи-

мость: ξ(m)n

P−−−−→n→∞

0.

Теперь проверим сходимость в среднем. Возьмем r > 0 и рас-смотрим E|ξ(m)

n |r = 1/n −−−−→n→∞

0, следовательно, имеет место сходи-

мость ξ(m)n

Lr

−−−−→n→∞

0. Проверим наличие сходимости почти наверное.

Для этого рассмотрим точку ω ∈ [0, 1] и рассмотрим ξ(m)n (ω). В

этой числовой последовательности есть бесконечная подпоследова-тельность с бесконечным числом единиц, следовательно, ни в однойточке ω сходимости нет. Этот пример показывает, что из сходимостипо вероятности и сходимости в среднем любого порядка не следуетсходимости почти наверное.

Пример 2.2. Пусть имеется такое же вероятностное пространство,что и в примере 2.1. Зададим последовательность случайных вели-чин отличным от предыдущего примера образом:

ξn(ω) =

en, если 0 6 ω 6 1

n ,

0, если ω > 1n .

Возьмем любое ε > 0, тогда P |ξn| > ε = 1/n −−−−→n→∞

0, следова-

тельно, ξnP−−−−→

n→∞0.

Нетрудно заметить, что для любого ω ∈ (0, 1], если рассмат-ривать последовательность ξn в этой точке ω, т. е. ξn(ω), начинаяс некоторого номера, все члены последовательности будут равнынулю: ξn(ω) −−−−→

n→∞0. Это верно для всех точек, за исключением

точки ω = 0, следовательно, ξnп.н.−−−−→

n→∞ξ.

173

Проверим сходимость в среднем порядка r. Очевидно, чтоE|ξn|r = enr/n −−−−→

n→∞∞, следовательно, сходимости в среднем по-

рядка r нет. Из сходимости почти наверное не следует сходимостив среднем порядка r.

§3. Эквивалентность сходимости в основном и

сходимости по распределению. Свойства сходимо-

сти в основном

Теорема 3.1. Пусть заданы последовательность случайных ве-

личин ξ1,. . .,ξn,. . . и случайная величина ξ, Fξ(x) — функция рас-

пределения случайной величины ξ, Fξn(x) — функция распределения

случайной величины ξn, n = 1, . . .. Последовательность ξ1,. . .,ξn,. . .сходится по распределению к ξ при n→ ∞ тогда и только тогда,

когда функции Fξn(x) сходятся в основном при n → ∞ к функции

Fξ(x).

Доказательство. Необходимость. Возьмем любое a ∈ C(F ).Пусть

g(x) =

1, x ∈ (−∞, a],−x+a+ε

ε , x ∈ (a, a+ ε],

0, x ∈ (a+ ε,∞).

Справедливы рассуждения:

Fξn(a) = EIξn ∈ (−∞, a] 6 Eg(ξn) −−−−→n→∞

Eg(ξ) 6

6 EIξ ∈ (−∞, a+ ε] = Fξ(a+ ε). (3.1)

Следовательно, limn→∞

Fξn(a) 6 Fξ(a+ ε).

Рассмотрим функцию g(x) следующего вида: g(x) = g(x + ε).Аналогично рассуждая, получаем

Fξn(a) = EIξn ∈ (−∞, a] > Eg(ξn) → Eg(ξ) >

> EIξ ∈ (−∞, a− ε] = Fξ(a− ε).

Следовательно,limn→∞

Fξn(a) > Fξ(a− ε). (3.2)

174

Объединив (3.1) и (3.2), получаем неравенства:

Fξ(a− ε) 6 limn→∞

Fξn(a) 6 limn→∞

Fξn(a) 6 Fξ(a+ ε). (3.3)

Функция Fξ(x) непрерывна в точке x = a, следовательно,limn→∞

Fξn(a) существует и равен Fξ(a).

Достаточность. Возьмем любую ограниченную непрерыв-ную функцию g(x). Пусть |g(x)| 6 k при любом x ∈ R. Возьмемпроизвольный полуинтервал (a, b]: a, b ∈ C(Fξ) — точки непрерыв-ности. Покажем, что

∫

(a,b]

g(x)dPξn −−−−→n→∞

∫

(a,b]

g(x)dPξ . (3.4)

Рассмотрим замкнутый промежуток [a, b], g(x) равномерно непре-рывна на нем, т. е. для любого ε > 0 существует δ > 0, что имеетместо неравенство: |x − y| < δ, тогда |g(x) − g(y)| < ε/3. Разобьем[a, b] с шагом меньше δ на части: ∆1 ∪ . . . ∪ ∆m = [a, b]. Причем,∆i ∩∆j = ∅, ∆i = (ai−1, ai] для всех i 6= 1, ∆1 = [a0, a1], где a0 = a,∆m = (am−1, am], am = b, ai+1 − ai < δ.

Пусть g(x) =m∑i=1

g(xi)Ix ∈ ∆i, где xi ∈ ∆i, следовательно

|g(x)− g(x)| < ε/3 при x ∈ [a, b]. Рассмотрим выражение:

∣∣∣∣∣∣∣

∫

(a,b]

g(x)dPξn −∫

(a,b]

g(x)dPξ

∣∣∣∣∣∣∣=

∣∣∣∣∣∣∣

∫

(a,b]

g(x)dPξn −∫

(a,b]

g(x)dPξ±

±∫

(a,b]

g(x)dPξn ∓∫

(a,b]

g(x)dPξ

∣∣∣∣∣∣∣6

∫

(a,b]

|g(x)− g(x)|dPξn+

+

∫

(a,b]

|g(x)− g(x)|dPξ +

m∑

i=1

|g(xi)| · |Pξn(∆i)− Pξ(∆i)|. (3.5)

Первый и второй интегралы по отдельности не больше ε/3. Оче-

175

видно, что

Pξn(∆i)− Pξ(∆i) = Fξn(ai)− Fξn(ai−1)− Fξ(ai) + Fξ(ai−1) =

= (Fξn(ai)− Fξ(ai)) + (Fξn(ai−1)− Fξ(ai−1)).

В качестве точек дробления ai были выбраны точки непрерывностиFξ, следовательно, с ростом n выражения в скобках стремятся кнулю. Выберем n0 таким, чтобы для любого n > n0 и для всех iбыло выполнено:

|Fξn(ai)− Fξ(ai)| <ε

3km.

Тогда абсолютная величина разности двух интегралов окажетсяменьше ε. Соотношение (3.4) доказано.

Теперь покажем, что (3.4) будет верно и при интегрированиипо всей оси R. Для этого выберем ε > 0 и отрезок (a, b] такие, чтоFξ(a) < ε/(6k), 1−Fξ(b) < ε/(6k), a, b ∈ C(Fξ). Очевидно, что мож-но выбрать n1, чтобы при n > n1 было выполнено неравенство:|Fξn(a) − Fξ(a)| < ε/(6k). Аналогично, чтобы для n > n2 было вы-полнено неравенство: |Fξn(b) − Fξ(b)| < ε/(6k). Тогда справедливырассуждения:

∣∣∣∣∣∣

∫

R

g(x)dPξn −∫

R

g(x)dPξ

∣∣∣∣∣∣=

∣∣∣∣∣∣∣

∫

(−∞,a]

g(x)dPξn +

∫

(b,∞)

g(x)dPξn−

−∫

(−∞,a])

g(x)dPξ −∫

(b,∞)

g(x)dPξ +

∫

(a,b]

g(x)dPξn −∫

(a,b]

g(x)dPξ

∣∣∣∣∣∣∣6ε

3+

+ε

3+ε

6+ε

6+

∣∣∣∣∣∣∣

∫

(a,b]

g(x)dPξn −∫

(a,b]

g(x)dPξ

∣∣∣∣∣∣∣6 2ε,

где n3 выбрано так, чтобы при n > n3 последнее слагаемое быломеньше ε, после чего для n > max(n1, n2, n3) полученная оценкасправедлива.

176

Замечание 3.1. Теорема справедлива и в конечномерных про-странствах, когда рассматриваются последовательности случайныхвекторов.

Теорема 3.2. Пусть последовательность функций распределения

Fξn(x) сходится в основном к функции распределения Fξ(x). Пусть

множество C(Fξ) = R, т. е. предельная функция Fξ(x) непрерыв-

на во всех точках R, тогда последовательность Fξn(x) равномерно

сходится к Fξ(x), т. е.

supx∈R

|Fξn(x)− Fξ(x)| −−−−→n→∞

0.

Доказательство. Для любого ε > 0, выберем точки a и b так,чтобы выполнялись неравенства: Fξ(a) < ε, 1−Fξ(b) < ε. Разобьемпромежуток [a, b] на непересекающиеся отрезки:

[a, b] = [a0, a1] + (a1, a2] + . . .+ (am−1, am] : Fξ(ai)− Fξ(ai−1) < ε.

Для любой точки ai существует ni, что при n > ni выполнено|Fξn(ai) − Fξ(ai)| < ε. Пусть n = max

i=0,mni. Будем считать, что

n > n. Возьмем точку x ∈ [ai, ai+1], тогда справедливы неравен-ства:

Fξn(x)− Fξ(x) 6 Fξn(ai+1)− Fξ(ai) 6 Fξn(ai+1)− Fξ(ai+1) + ε 6 2ε,

Fξn(x)− Fξ(x) > Fξn(ai)− Fξ(ai+1) > Fξn(ai)− Fξ(ai)− ε > −2ε

Следовательно, неравенство |Fξn(x) − Fξ(x)| 6 2ε справедливо длявсех x ∈ [a, b].

Пусть x ∈ (−∞, a], тогда Fξn(x)−Fξ(x) 6 Fξn(a) 6 2ε, Fξn(x)−Fξ(x) > −Fξ(a) > −ε.

Пусть x ∈ [b,+∞), тогда Fξn(x)−Fξ(x) 6 1−Fξ(b) < ε, Fξn(x)−Fξ(x) > Fξn(b)− 1± Fξ(b) > −2ε.

Следовательно, для всех x справедливо неравенство: |Fξn(x)−Fξ(x)| < 2ε, что означает равномерную сходимость.

Замечание 3.2. Теорема справедлива и в конечномерных про-странствах.

177

Определение 3.1. Случайная величина называется вырожден-ной, если с вероятностью единица она принимает постоянное зна-чение: P ξ = a = 1.

Теорема 3.3. Пусть последовательность случайных величин

ξ1,. . .,ξn,. . . сходится по распределению при n → ∞ к случайной

величине ξп.н.= a, тогда ξn

P−−−−→n→∞

a.

Доказательство. Покажем, что для любого ε > 0 выполнено:P|ξn − ξ| > ε −−−−→

n→∞0. Справедливы рассуждения:

P|ξn−ξ| > ε = Pξn−ξ < −ε+Pξn−ξ > ε = Pξn < a−ε++ Pξn > a+ ε 6 Pξn 6 a− ε+ Pξn > a+ ε =

= Fξn(a− ε) + (1 − Fξn(a+ ε)).

Последние два слагаемых стремятся к нулю, следовательно, схо-димость по вероятности имеется: P|ξn − ξ| > ε −−−−→

n→∞0 или

P|ξn− a| > ε −−−−→n→∞

0, так как P|ξn− a| > ε = P|ξn− ξ| > ε.

178

Глава 10

Характеристические функции

§1. Свойства характеристических функций

Рассмотрим вероятностное пространство (Ω,F , P ), на котором за-даны случайные величины ξ(ω) и η(ω).

Определение 1.1. Под комплексной случайной величиной будемпонимать случайную величину

ζ(ω) = ξ(ω) + iη(ω).

Комплексную случайную величину можно представить по-другому:

ζ(ω) = |ζ(ω)|eiArg(ζ(ω)).

Пусть существуют и конечны математические ожидания слу-чайных величин ξ и η. Математическое ожидание ζ определяетсяследующим образом:

Eζ = Eξ + iEη.

Определение 1.2. Комплексные случайные величины ζ1(ω) =ξ1(ω) + iη1(ω) и ζ2(ω) = ξ2(ω) + iη2(ω) называются независимыми,если вектора (ξ1(ω), η1(ω))

T и (ξ2(ω), η2(ω))T взаимно независимы.

Свойства комплексных случайных величин

1. Мультипликативность.Если комплексные случайные величины ζ1 и ζ2 независимы исуществуют математические ожидания Eζ1, Eζ2, тогда имеетместо равенство:

E(ζ1ζ2) = Eζ1Eζ2.

179

Доказательство. По правилу умножения комплексных чи-сел замечаем, что

ζ1ζ2 = (ξ1ξ2 − η1η2) + i(ξ1η2 + ξ2η1).

Следовательно, используя определение, линейность и попар-ную взаимную независимость элементов, получаем равенства:

E(ζ1ζ2) = E(ξ1ξ2 − η1η2) + iE(ξ1η2 + ξ2η1) =

= Eξ1Eξ2 − Eη1Eη2 + i(Eξ1Eη2 + Eξ2Eη1) =

= (Eξ1 + iEη1)(Eξ2 + iEη2) = Eζ1Eζ2.

2. Пусть ζ = ξ + iη и существует математическое ожидание Eζ,тогда |Eζ| 6 E|ζ|.Доказательство. 1) Пусть ξ(ω) =

∑nk=1 akIω ∈ Ak и

η(ω) =∑m

l=1 blIω ∈ Bl — простые случайные величины.Индикатор множества Ak определяется следующим образом:

Iω ∈ Ak =

1, если ω ∈ Ak;

0, если ω /∈ Ak,

где Ak ∩ Ak′ = ∅ для любых k 6= k′,⋃n

k=1 Ak = Ω, Ak ∈F . Аналогичные свойства выполнены для Bl. Тогда можнозаписать равенства:

ξ(ω) =

n∑

k=1

m∑

l=1

akIω ∈ Ak ∩Bl,

η(ω) =

n∑

k=1

m∑

l=1

blIω ∈ Ak ∩Bl.

Нетрудно заметить, что справедливо равенство:∑n

k=1 I(ω ∈Ak ∩Bl) = IBl. Следовательно, имеет место равенство:

ζ(ω) = ξ(ω) + iη(ω) =

n∑

k=1

m∑

l=1

(ak + ibl)Iω ∈ Ak ∩Bl.

180

Очевидно, что

|ζ(ω)| =n∑

k=1

m∑

l=1

|ak + ibl|Iω ∈ Ak ∩Bl.

По определению интеграла Лебега для простой функции по-лучаем равенство:

E|ζ(ω)| =n∑

k=1

m∑

l=1

|ak + ibl|P (Ak ∩Bl). (1.1)

Учитывая, что

Eξ(ω) =

n∑

k=1

m∑

l=1

akP (Ak ∩Bl),

Eη(ω) =

n∑

k=1

m∑

l=1

blP (Ak ∩Bl),

получаем выражение:

|Eζ(ω)| =∣∣∣∣∣

n∑

k=1

m∑

l=1

(ak + ibl)P (Ak ∩Bl)

∣∣∣∣∣ . (1.2)

Сравним (1.1) и (1.2). Очевидно, что |Eζ(ω)| 6 E|ζ(ω)|.2) Рассмотрим общий случай: Eξ ∈ R, Eη ∈ R, существуетпоследовательность ξn(ω) простых случайных величин такая,что ξn(ω) −−−−→

n→∞ξ(ω) для всех ω ∈ Ω, и, кроме того, выполня-

ется неравенство: |ξn(ω)| 6 |ξ(ω)|.Существует последовательность ηn(ω) простых случайных ве-личин: ηn(ω) −−−−→

n→∞η(ω) для всех ω ∈ Ω, и, кроме того,

|ηn(ω)| 6 |η(ω)|.По теореме о мажорируемой сходимости получаем:Eξn(ω) −−−−→

n→∞Eξ, Eηn(ω) −−−−→

n→∞Eη.

Введем последовательность ζn(ω) = ξn(ω) + iηn(ω) −−−−→n→∞

ζ(ω) = ξ(ω) + η(ω), но тогда Eζn −−−−→n→∞

Eζ.

181

Очевидно, что

|ζn(ω)| =√ξ2n(ω) + η2n(ω) −−−−→n→∞

|ζ(ω)| =√ξ2(ω) + η2(ω).

При этом выполняется неравенство: |ζn(ω)| 6 |ζ(ω)|. Крометого, уже доказано, что для всех n справедливо неравенство:|Eζn(ω)| 6 E|ζn(ω)|.Устремим n к бесконечности. Так как E|ζ(ω)| 6 E|ξ(ω)| +E|η(ω)|, E|ζ(ω)| ∈ R, то применима теорема Лебега о мажори-руемой сходимости, следовательно, мы можем перейти к пре-делу в неравенстве, в результате получим неравенство:

|Eζ(ω)| 6 E|ζ(ω)|.

Определение 1.3. Характеристической функцией случайной ве-личины ξ назовем функцию

ϕξ(t) = Eeiξt, t ∈ R. (1.3)

Замечание 1.1. По существу, ϕξ(t) =∫ΩeiξtdP =

∫∞−∞ eitxdFξ(x).

Так как eiξt = cos(ξt) + i sin(ξt), получаем еще одну форму пред-ставления характеристической функции:

ϕξ(t) = E (cos(ξt) + i sin(ξt)) = E cos(ξt) + iE sin(ξt) =

=

∞∫

−∞

cos(xt)dFξ(x) + i

∞∫

−∞

sin(xt)dFξ(x).

Как видим, характеристическая функция ϕξ(t) порождаетсяфункцией распределения Fξ(x) и зависит только от распределенияслучайной величины ξ.

Определение 1.4. Характеристической функцией случайноговектора ξ = (ξ1, . . . , ξm) назовем функцию

ϕξ(t) = ϕ(ξ1,...,ξm)(t1, . . . , tm) = EeiξT t. (1.4)

182

Характеристическую функцию случайного вектора ξ =(ξ1, . . . , ξm) можно найти по формуле:

ϕξ(t) =

∫

Ω

eiξT tdP =

∞∫

−∞

. . .

∞∫

−∞

eixT tdFξ(x).

Очевидно, что характеристическая функция существует для любойфункции распределения.

Свойства характеристических функций

1. Для любого t ∈ R имеет место неравенство:

|ϕξ(t)| 6 1 = ϕξ(0).

Доказательство. Запишем определение характеристическойфункции:

ϕξ(t) = Eeiξt = E cos(ξt) + iE sin(ξt).

Очевидно, что

|ϕξ(t)| = |Eeiξt| 6 E|eiξt| = 1.

При t = 0: ϕξ(0) = 1.

2. Пусть η = a+ bξ, где a, b ∈ R, тогда справедливо равенство:

ϕη(t) = eiatϕξ(bt).

Доказательство. Легко заметить:

ϕη(t) = Eeitη = E(eiateitbξ) = eiatEeitbξ = eiatϕξ(bt).

3. Пусть Sn = ξ1 + . . .+ ξn, случайные величины ξ1, . . ., ξn неза-висимы, тогда характеристическая функция случайной вели-чины Sn имеет вид:

ϕSn(t) =

n∏

k=1

ϕξk(t). (1.5)

183

Доказательство. Достаточно доказать формулу (1.5) длядвух слагаемых:

ϕS2(t) = E(eiξ1teiξ2t) = ϕξ1(t)ϕξ2 (t).

Результат переносится на случай произвольного числа n.

4. Характеристическая функция ϕξ(t) случайной величины ξравномерно непрерывна на R.Доказательство. Рассмотрим модуль разности:

|ϕξ(t+ h)−ϕξ(t)| = |Eeiξ(t+h) −Eeiξt| = |E(eiξt(eiξh − 1))| 66 E|eiξh − 1| = E|(cos(ξh)− 1) + i sin(ξh)|,

где мажоранта не зависит от t.По теореме Лебега о мажорируемой сходимости справедливасходимость:

E|(cos(ξh)− 1) + i sin(ξh)| −−−→h→0

0,

следовательно, характеристическая функция равномернонепрерывна на R.

5. Имеют место равенства:

ϕξ(t) = Eeiξt = Eeiξt = Ee−iξt = ϕξ(−t) = ϕ−ξ(t).

Определение 1.5. Распределение случайной величины ξсимметрично, если для любого x ∈ R выполняется неравен-ство: P ξ 6 x = P ξ > −x.

Для симметричной случайной величины ξ справедливо равен-ство Fξ(x) = F−ξ(x). Распределение случайной величины ξсимметрично тогда и только тогда, когда функции распреде-ления случайных величин ξ и −ξ совпадают.

6. Характеристическая функция ϕξ(t) является вещественной,т. е. ϕξ(t) = ϕξ(t), тогда и только тогда, когда распределениеслучайной величины ξ симметрично, Fξ(x) = F−ξ(x).Доказательство. 1) Достаточность. Пусть распределениесимметрично, то есть Fξ(x) ≡ F−ξ(x). Из свойства 5 следует,

184

что ϕξ(t) = ϕ−ξ(t) = ϕξ(t).

2) Необходимость. Пусть ϕξ(t) = ϕξ(t) = ϕ−ξ(t). Это озна-чает, что характеристические функции случайных величин ξи −ξ совпадают. Далее будет доказано, что характеристиче-ским функциям взаимно однозначно соответствуют функциираспределения, следовательно, выполняется равенство:

Fξ(x) = F−ξ(x).

7. Пусть существует начальный момент порядка n, и он коне-чен, Eξn ∈ R, тогда для любого номера k 6 n существуетϕ(k)ξ (t) = E

ikξkeitξ

и ϕ(k)

ξ (0) = ikEξk. Кроме того, справед-ливо представление:

ϕξ(t) =

n∑

k=0

(it)k

k!Eξk +

(it)n

n!ε(t),

где ε(t) −−−→t→0

0.

Доказательство. Как легко видеть,

ϕξ(t+ h)− ϕξ(t)

h=E(eiξ(t+h) − eiξt)

h=

= E

(eiξt

eiξh − 1

h

)= E

(eiξt

(cos(ξh)− 1

h+ i

sin(ξh)

h

)).

(1.6)

Рассмотрим h > 0. Используем формулу конечных прираще-ний Лагранжа для синуса и косинуса:

cos(ξh)− 1 = −ξ sin(Θ1ξh)h,

sin(ξh) = ξ cos(Θ2ξh)h,

где Θ1 ∈ (0, 1) и Θ2 ∈ (0, 1). Тогда

ϕξ(t+ h)− ϕξ(t)

h= E(eiξt(−ξ sin(Θ1ξh) + iξ cos(Θ2ξh)))

185

Очевидно, что справедливо неравенство:

|eiξt(−ξ sin(Θ1ξh) + iξ cos(Θ2ξh))| 6 2|ξ|,

причем, по условию E|ξ| ∈ R. Таким образом, по теореме Ле-бега о мажорируемой сходимости имеет место сходимость:

ϕξ(t+ h)− ϕξ(t)

h−−−→h→0

E(iξeiξt).

Аналогичным образом можно рассмотреть (ϕ′ξ(t + h) −

ϕ′ξ(t))/h, мажорантой будет 2ξ2, если n > 2, то E|ξ|2 ∈ R. Рас-

суждения повторяются последовательно нужное число раз.При рассмотрении (ϕ

(n−1)ξ (t + h) − ϕ

(n−1)ξ (t))/h мажорантой

будет 2|ξ|n, так как E|ξ|n ∈ R, можно применить теорему Ле-бега и получить соответствующий предел.Далее запишем формулу Тейлора для подинтегральной функ-ции:

cos(ξt)+i sin(ξt) =

n−1∑

k=0

(it)k

k!ξk+

(it)n

n!ξn(cos(ξtΘ1)+i sin(ξtΘ2)),

где Θ1 ∈ (0, 1) и Θ2 ∈ (0, 1).Прибавим и вычтем единицу в последнем слагаемом, введемобозначение: εn(t) = Eξn(cos(Θ1ξt)− 1+ i sin(Θ2ξt)). Выра-жение в фигурных скобках стремится к 0 при t→ 0, оно такжеограничено сверху по модулю величиной 3|ξ|n. Теорема Лебе-га о мажорируемой сходимости в данном случае применима,поэтому можно поменять местами интегрирование и предель-ный переход, следовательно, εn(t) → 0 при t→ 0.

8. Следующее свойство представляет собой теорему.

Теорема 1.1. (о взаимной однозначности функций распреде-

ления и характеристических функций) Пусть F (x) и G(x) —

функции распределения, заданные на R. Если в каждой точке

t ∈ R имеет место равенство∫∞−∞ eixtdF (x) =

∫∞−∞ eixtdG(x),

тогда F (x) ≡ G(x).

Доказательство. Возьмем любые a ∈ R и b ∈ R, a < b. Рас-смотрим для любого положительного ε функцию h(x, ε, a, b)

186

следующего вида:

h(x, ε, a, b) =

0, x 6 a,x−aε , a < x 6 a+ ε,

1, a+ ε < x 6 b,b+ε−x

ε , b < x 6 b+ ε,

0, x > b+ ε.

Очевидно, что h(x, ε, a, b) → I(a, b] при ε → 0, при этом0 6 h(x, ε, a, b) 6 1. Мы хотим доказать справедливость сле-дующего равенства:

+∞∫

−∞

h(x, ε, a, b)dF (x) =

+∞∫

−∞

h(x, ε, a, b)dG(x). (1.7)

Можем утверждать, что как только будет доказана истин-ность (1.7), то будет доказана вся теорема. Действительно,переходя к пределу при ε→ 0, по теореме Лебега из (1.7) по-лучаем, что F (b) − F (a) = G(b) − G(a), устремляя a → −∞,переходим к равенству F (b) = G(b) при любом b ∈ R.Выберем ε > 0 и натуральное число n такое, что (−n, n) ⊃[a, b+ ε]. Рассмотрим функцию h(x, ε, a, b) на сегменте [−n, n],найдем преобразование, которое устанавливает взаимноодно-значное соответствие между промежутками [−n, n] и [−π, π].Пусть y = π

nx, тогда x = nπy. Рассмотрим функцию:

g(y) = h(nπy, ε, a, b

),

g(−π) = g(π) = 0. Воспользуемся теоремой Вейерштрасса,которая говорит о том, что непрерывная функция на отрез-ке [−π, π], принимающая на его концах одинаковые значенияв равномерной метрике с любой степенью точности, аппрок-симируется тригонометрическим многочленом, а именно: длялюбого δn из интервала (0, 1) существует тригонометрическиймногочлен

Tm(y) = A0 +

m∑

k=1

(Ak cos(ky) +Bk sin(ky)) ,

187

такой что для любого y ∈ [−π, π] выполняется неравенство:

|g(y)− Tm(y)| 6 δn. (1.8)

Так какeiky = cos(ky) + i sin(ky),

e−iky = cos(ky)− i sin(ky),

то

cos(ky) =eiky + e−iky

2,

sin(ky) =eiky − e−iky

2i,

и, следовательно, можно записать тригонометрический мно-гочлен Tm(y) в виде:

Tm(y) =

m∑

k=−m

Ckeiky ,

где Ck — комплексные числа. При этом |Tm(y)| 6 2 для любогоy ∈ R, так как −δn − g(y) 6 Tm(y) 6 δn + g(y). Перепишем(1.8), сделав замену:

∣∣∣h(x, ε, a, b)− Tm

(πnx)∣∣∣ 6 δn (1.9)

для любого x ∈ [−n, n].∣∣∣∣∣∣

+∞∫

−∞

h(x, ε, a, b)dF (x)−+∞∫

−∞

h(x, ε, a, b)dG(x)

∣∣∣∣∣∣=

=

∣∣∣∣∣∣

n∫

−n

h(x, ε, a, b)dF (x)−n∫

−n

h(x, ε, a, b)dG(x)

∣∣∣∣∣∣=

=

∣∣∣∣∣∣

n∫

−n

(h(x, ε, a, b)− Tm

(πnx))

dF (x)+

+

n∫

−n

(Tm

(πnx)− h(x, ε, a, b)

)dG(x) +

n∫

−n

Tm

(πnx)dF (x)−

188

−n∫

−n

Tm

(πnx)dG(x)

∣∣∣∣∣∣6

n∫

−n

∣∣∣h(x, ε, a, b)− Tm

(πnx)∣∣∣ dF (x)+

+

n∫

−n

∣∣∣Tm(πnx)− h(x, ε, a, b)

∣∣∣ dG(x) +

∣∣∣∣∣∣

n∫

−n

Tm

(πnx)dF (x)−

−n∫

−n

Tm

(πnx)dG(x)

∣∣∣∣∣∣6 2δn +

∣∣∣∣∣∣

+∞∫

−∞

Tm

(πnx)dF (x)−

−+∞∫

−∞

Tm

(πnx)dG(x) −

∫

S

Tm

(πnx)dF (x)+

+

∫

S

Tm

(πnx)dG(x)

∣∣∣∣∣∣6 2δn+

+

∣∣∣∣∣∣

m∑

k=−m

Ck

+∞∫

−∞

eiknπxdF (x)−

+∞∫

−∞

eiknπxdG(x)

∣∣∣∣∣∣+

+

∫

S

∣∣∣Tm(πnx)∣∣∣ dF (x) +

∫

S

∣∣∣Tm(πnx)∣∣∣ dG(x) 6

6 2δn + 2(F (−n) + 1− F (n)) + 2(G(−n) + 1−G(n)) → 0.

где S = (−∞,−n)∪(n,+∞). Правая часть стремится к нулю сростом n, в то время как левая часть от n не зависит. Теоремадоказана.

Замечание 1.2. Теорема остается справедливой, если речьидет о функциях распределения в пространстве Rn.

9. Пусть задан случайный вектор ξT = (ξ1, . . . , ξn), случайныевеличины ξ1, . . ., ξn взаимно независимы тогда и только тогда,когда ϕξ(t1, . . . , tn) =

∏nk=1 ϕξk(tk).

Доказательство. Необходимость очевидна. Если компонен-ты взаимнонезависимы, то можно применить свойство муль-типликативности.

189

Докажем достаточность:

+∞∫

−∞

. . .

+∞∫

−∞

eitT xdF (x) =

+∞∫

−∞

. . .

+∞∫

−∞

eitT xd(Fξ1(x1) · . . . · Fξn(xn)).

Следовательно, применяя многомерный аналог теоремы 1.1,получаем равенство:

Fξ1,...,ξn(x1, . . . , xn) = Fξ1(x1) · . . . · Fξn(xn),

что является необходимым и достаточным условием взаимнойнезависимости случайных величин.

10. Справедливо следующее равенство:

ϕξ1,...,ξn(t1, . . . , tn)|tk+1=0,...,tn=0 = ϕξ1,...,ξk(t1, . . . , tk).

Доказательство следует из определения характеристическойфункции.

Замечание 1.3. Свойство сохраняется, если мы выберем лю-бой набор аргументов (они не обязательно должны идти попорядку), которые затем приравниваем к нулю.

11. Свойство представляет собой теорему.

Теорема 1.2. (Теорема Бохнера-Хинчина) Непрерывная

функция ϕ(t), заданная на числовой прямой, ϕ(0) = 1, явля-

ется характеристической тогда и только тогда, когда она

неотрицательно определенна, т. е. для любых t1, . . ., tn и

любых комплексных чисел c1, . . ., cn выполнено неравенство:

n∑

r=1

n∑

k=1

ϕ(tr − tk)cr ck > 0.

Сформулированная теорема дает необходимое и достаточноеусловие того, что функция является характеристической.

190

§2. Примеры характеристических функций

Пример 2.1. Пусть случайная величина ξ почти наверное равняет-ся константе a, тогда ее характеристическая функция будет иметьвид: ϕξ(t) = eita. Действительно, ϕξ(t) = Eeiξt = Eeiat = eita.

Пример 2.2. Пусть случайная величина η подчиняется распреде-лению Бернулли, т. е. она принимает значение 1 с вероятностью pи значение 0 с вероятностью q = 1−p, тогда ее характеристическаяфункция будет иметь вид: ϕξ(t) = Eeiξt = peit + q.

Пример 2.3. Пусть случайная величина µ подчиняется биноми-альному распределению, Pµ = m = Cm

n pmqn−m, m = 0, . . . , n.

Заметим, что µ =∑n

k=1 ξk, где ξk — случайная величина, прини-мающая значение «1», если в k-ом испытании произошел успех, изначение «0», если k-ое испытание закончилось неудачей. Случай-ные величины ξ1, . . ., ξn взаимно независимые бернуллевские вели-чины, тогда, используя свойство 3 характеристических функций,получаем

ϕµ(t) =n∏

k=1

ϕξk(t) = (peit + q)n.

Пример 2.4. Рассмотрим распределение Пуассона: Pξ = k =λk

k! e−λ, k = 0, 1, 2, . . . Найдем характеристическую функцию слу-

чайной величины ξ:

ϕξ(t) = Eeiξt =

∞∑

k=0

eiktλk

k!e−λ = e−λeλe

it

= eλ(eit−1).

§3. Формулы обращения

Рассмотрим характеристичскую функцию

ϕ(t) =

+∞∫

−∞

eitxdF (x). (3.1)

Каждой функции распределения случайной величины взаимно од-нозначным образом соответствует характеристическая функция.

191

Хотелось бы получить формулу преобразования, обратного преоб-разованию (3.1).

Пусть существует плотность распределения f(x), тогда поопределению:

F (x) =

x∫

−∞

f(y)dy.

В этом случае:

ϕ(t) =

+∞∫

−∞

eitxf(x)dx. (3.2)

Формула (3.2) представляет собой преобразование Фурье функцииплотности распределения f(x). В математическом анализе есть тео-рема об обратном преобразовании: пусть интеграл

∫ +∞−∞ |ϕ(t)|dt ∈ R

сходится, тогда плотность распределения f(x) представима следу-ющим образом:

f(x) =1

2π

+∞∫

−∞

e−itxϕ(t)dt. (3.3)

Задача — опираясь на выражение (3.3), найти общую формулу об-ращения.

Пусть дана случайная величина ξ и характеристическая функ-ция ϕξ(t). Пусть случайная величина η подчиняется стандартномунормальному распределению, и случайные величины ξ и η взаимнонезависимы. Введем малый параметр σ > 0 и рассмотрим суммуслучайных величин ξ + ση. Ее характеристической функцией поранее доказанным свойствам будет следующее выражение:

ϕξ+ση(t) = ϕξ(t)e− σ2

2 t2 ,

при этом, как будет показано в следующем параграфе, ϕη(t) =

e−12 t

2

, в силу первого свойства характеристических функций по-лучаем, что для любого σ 6= 0 справедливо неравенство:

+∞∫

−∞

|ϕξ+ση(t)|dt =+∞∫

−∞

|ϕξ(t)|e−σ2

2 t2dt < +∞,

192

так как |ϕξ(t)| 6 1.Найдем плотность распределения случайной величины ξ+ση:

Fξ+ση(z) = Pξ + ση 6 z =

∫∫

L

dFξ(x1)dFση(x2) =

=

∫∫

L

dFξ(x1)fση(x2)dx2 =

+∞∫

−∞

z−x1∫

−∞

fση(x2)dx2dFξ(x1), (3.4)

где L = (x1, x2) : x1 + x2 6 z.Сделаем замену переменных s = x1 + x2, тогда ds = dx2, ра-

венство (3.4) примет следующий вид:

Fξ+ση(z) =

+∞∫

−∞

z∫

−∞

fση(s− x1)dsdFξ(x1) =

так как по теореме Тонелли-Фубини можно поменять порядок ин-тегрирования:

=

z∫

−∞

+∞∫

−∞

fση(s− x1)dFξ(x1)

ds. (3.5)

Выражение в скобках согласно определению будет плотностью рас-пределения. Таким образом, плотность распределения случайнойвеличины ξ + ση существует, и характеристическая функция инте-грируема, следовательно, справедливо представление:

fξ+ση(x) =1

2π

+∞∫

−∞

e−itxϕξ(t)e− σ2

2 t2dt. (3.6)

Возьмем любые точки a и b, являющиеся точками непрерывностифункции Fξ(x), пусть a < b. Проинтегрируем выражение (3.6) на

193

промежутке (a, b]:

Fξ+ση(b)− Fξ+ση(a) =

b∫

a

fξ+ση(x)dx =

=1

2π

+∞∫

−∞

e−ita − e−itb

itϕξ(t)e

− σ2

2 t2dt.

Следовательно, справедлива формула обращения:

Fξ(b)− Fξ(a) =1

2πlimσ→0

+∞∫

−∞

e−ita − e−itb

itϕξ(t)e

− σ2

2 t2dt. (3.7)

Получим эквивалентное представление формулы обращения. Дей-ствительно,

limσ→0

limA→∞

A∫

−A

e−ita − e−itb

itϕξ(t)e

− σ2

2 t2dt =

= limA→∞

A∫

−A

e−ita − e−itb

itϕξ(t)dt.

Следовательно, в точках непрерывности a и b справедливо пред-ставление:

Fξ(b)− Fξ(a) =1

2πlim

A→∞

A∫

−A

e−ita − e−itb

itϕξ(t)dt. (3.8)

Покажем обоснованность предельного перехода в формуле (3.7).Возьмем любую последовательность σn −−−−→

n→∞0, σn > 0, тогда для

любого положительного ε выполнено следующее:

P|ξ + σnη − ξ| > ε = P|σnη| > ε = P

|η| > ε

σn

6

6 1− Fη

(ε

σn

)+ Fη

(−εσn

)−−−−→n→∞

0.

194

Следовательно, имеет место сходимость по вероятности:

ξ + σnηP−−−−→

n→∞ξ.

Как известно, из сходимости по вероятности следует сходимость пораспределению:

ξ + σnηd−−−−→

n→∞ξ,

что эквивалентно сходимости:

Fξ+σnη(x) −−−−→n→∞

Fξ(x),

если точка x — точка непрерывности функции распределения Fξ.

§4. Характеристические функции для нормально-

го распределения

Пусть случайная величина ξ подчиняется стандартному нормаль-ному распределению с плотностью. Распределение симметрично,следовательно, по свойству 6 характеристическая функция прини-мает только вещественные значения:

ϕξ(t) = Eeiξt =1√2π

∞∫

−∞

eitxe−x2

2 dx.

Используя свойство 7 характеристических функций, возьмем про-изводную от характеристической функции, получим

ϕ′

ξ(t) =1√2π

∞∫

−∞

ixeitxe−x2

2 dx =

= − i√2πeitxe−

x2

2

∣∣∣∣∞

−∞+

i2t√2π

∞∫

−∞

eitxe−x2

2 dx = −tϕξ(t).

Таким образом, получается дифференциальное уравнение ϕ′

ξ(t) =−tϕξ(t) с начальным условием ϕξ(0) = 1, у которого существуетединственное решение:

ϕξ(t) = e−t2

2 . (4.1)

195

Рассмотрим теперь случайную величину η = σξ + a, σ > 0.Запишем выражение для функции распределения случайной вели-чины η:

Fη(x) = Pη 6 x = P

ξ 6

x− a

σ

= Fξ

(x− a

σ

).

Плотность распределения случайной величины η имеет вид:

fη(x) =1

σfξ

(x− a

σ

)=

1√2πσ

e−(x−a)2

2σ2 .

Говорят, что случайная величина η распределена нормально с пара-метрами a и σ2,N(a, σ2). Используя свойство 2 характеристическихфункций, найдем ϕη(t):

ϕη(t) = eiatϕξ(σt) = eiat−σ2t2

2 . (4.2)

Перейдем к случайному вектору ξT = (ξ1, . . . , ξn), где ξk при лю-бом номере k подчиняется стандартному нормальному распределе-нию, N(0, 1), и случайные величины ξ1, . . ., ξn взаимно независимы.Плотность распределения вектора ξ имеет вид:

fξ(x1, . . . , xn) =n∏

k=1

1√2πe−

x2k2 =

1

(2π)n/2e−

n∑

k=1x2k

2 =1

(2π)n/2e−

12x

T x.

Характеристическая функция случайного вектора ξ будет иметьвид:

ϕξ(t1, . . . , tn) =

n∏

k=1

ϕξk(tk) =

n∏

k=1

e−t2k2 = e−

12 t

T t. (4.3)

Рассмотрим теперь случайный вектор η = Aξ + a, где A —матрица размерности n× n, причем |A| > 0, aT = (a1, . . . , an). Длялюбого борелевского множества B ∈ B(Rn):

Pη ∈ B = PAξ + a ∈ B.

Пусть B = x — множество векторов, Ay + a = x, y = A−1(x− a).Все возможные вектора y образуют множество B = y. Очевидно,

196

что между множествами B и B существует взаимно однозначноесоответствие:

P η ∈ B = Pξ ∈ B =

∫

B

1

(2π)n/2e−

12 y

T ydy =

=

∫

B

1

(2π)n/21

|A|e− 1

2 (x−a)T (A−1)TA−1(x−a)dx,

При интегрировании перешли к новым переменным и вычисли-ли якобиан линейного преобразования, который оказался равным1/|A|. Нетрудно заметить, что справедливо равенство:

Eη = (Eη1, . . . , Eηn)T = AEξ + a = a.

Выпишем ковариационную матрицу случайного вектора η:

Dη = E(η − Eη)(η − Eη)T

= ADξAT = AAT = Σ.

Очевидно, что |Σ| = |A|2. Запишем плотность распределения слу-чайного вектора η:

fη(x) =1

(2π)n/2√|Σ|

e−12 (x−a)TΣ−1(x−a)

— плотность многомерного нормального распределения с парамет-рами (a,Σ), где a = Eη, Σ = Dη, т. е. N(a,Σ). Найдем вид харак-теристической функции случайного вектора η:

ϕη(t1, . . . , tn) = EeiηT t = Eeia

T t+iξT AT t =

= eiaT tϕξ(A

T t) = eiaT t− 1

2 tTΣt. (4.4)

Нетрудно убедиться, что линейное преобразование не меняет типнормального распределения. Пусть ζ = b+ Cη, где b ∈ Rk, размер-ность C равна k × n, тогда

ϕζ(t) = Eei(bT+ηTCT )t = eib

T tϕη(CT t) =

= ei(bT+aTCT )t− 1

2 tTCΣCT t, (4.5)

т.е. вектор ζ распределен нормально с вектором математическихожиданий b + Ca и ковариацонной матрицей CΣCT , другими сло-вами, ζ подчиняется распределению N(b+ Ca,CΣCT ).

197

§5. Метод характеристических функций в доказа-

тельстве предельных теорем

В параграфе рассматривается скалярный случай, но все утвержде-ния можно перенести и на векторный случай.

Определение 5.1. Обобщенной функцией распределения на чис-ловой прямой называется функция G(x), обладающая свойствами:

1. Для любых точек x1 6 x2 справедливо неравенство G(x1) 6G(x2).

2. Для любой точки x ∈ R имеет место сходимость G(y) −−−−−→y→x+0

G(x).3. Выполняются соотношения: lim

x→∞G(x) = G(∞) 6 1,

limx→−∞

G(x) > 0.

Обозначим через J класс обобщенных функций на числовойпрямой.

Теорема 5.1. Пусть Gn — последовательность обобщенных

функций распределения, тогда существует функция G ∈ J и

подпоследовательность Gnk такие, что подпоследовательность

Gnk сходится в основном к функции G, т. е. для любой точки

x из множества непрерывности функции G имеет место сходи-

мость Gnk(x) −−−−→

nk→∞G(x).

Доказательство. Рассмотрим счетное множество S =x1, x2, . . . плотное в R. Последовательность Gn(x1) ограниче-на, следовательно, существует сходящаяся подпоследовательностьG

n(1)k

(x1), k = 1, 2, . . . Перебирая последовательно точки из S по-

строим «диагональную» последовательность Gn(k)k

(xl), сходящую-

ся к некоторому пределу, который обозначим через Gs(xl). Здесьпредполагается, что подпоследовательности вложены друг в друга,n(k+1)

l ⊂ n(k)l . Далее определим функцию G(x) = infGs(xk) :

xk ∈ S, xk > x. Нетрудно показать, что функция G(x) являетсяобобщенной функцией распределения и для всех точек x на пря-мой, где G(x) непрерывна, выполняется:

G(x) = limk→∞

Gn(k)k

(x).

198

Теорема 5.2. (метод характеристических функций)1. Пусть задана последовательность функций распределения

Fn, причем эта последовательность сходится в основном

к функции распределения F . Пусть

ϕn(t) =

∞∫

−∞

eitxdFn(x), (5.1)

ϕ(t) =

∞∫

−∞

eitxdF (x). (5.2)

Тогда для любой точки t имеет место сходимость

limn→∞

ϕn(t) = ϕ(t). Таким образом, из сходимости в основном

функций распределения следует поточечная сходимость ха-

рактеристических функций.

2. Пусть ϕn(t) из (5.1) — характеристическая функция, соот-

ветствующая функции распределения Fn(x). Пусть в каж-

дой точке t существует предел limn→∞

ϕn(t) = ϕ(t). Предполо-

жим, что функция ϕ(t) непрерывна в точке 0, тогда функ-

ция ϕ(t) также является характеристической, т. е. суще-

ствует функция распределения F (x) такая, что ϕ(t) удо-

влетворяет (5.2), и при этом, последовательность функций

распределения Fn(x) сходится в основном к функции распре-

деления F (x).

Доказательство. Докажем первый пункт теоремы. Для лю-бой функции Fn(x) существует случайная величина ξn такая, чтоFξn(x) = Fn(x), то есть, Fn(x) = Pξn 6 x. Для функции распреде-ления F (x) существует случайная величина ξ такая, что выполненоравенство Fξ(x) ≡ F (x), т. е. F (x) = Pξ 6 x. Так как сходимостьв основном равносильна сходимости по распределению, то имеетместо следующая сходимость:

Eg(ξn) −−−−→n→∞

Eg(ξ) (5.3)

199

для любой непрерывной и ограниченной функции g(x).Рассмотрим g(x) = cos(tx) и g(x) = sin(tx). Подставим их в

выражение (5.3) и получим:

E cos(tξn) −−−−→n→∞

E cos(tξ),

E sin(tξn) −−−−→n→∞

E sin(tξ).

Но тогда очевидно, что

E cos(tξn) + iE sin(tξn) −−−−→n→∞

E cos(tξ) + iE sin(tξ),

илиϕξn(t) −−−−→

n→∞ϕξ(t).

Докажем второе утверждение теоремы. Для любой случайнойвеличины ζ при любых положительных вещественных постоянныхx и τ , удовлетворяющих условию xτ > 1 справедливо неравенство:

P|ζ| 6 x >

∣∣∣∣∣12τ

τ∫−τ

ϕζ(t)dt

∣∣∣∣∣−1xτ

1− 1xτ

. (5.4)

Докажем неравенство (5.4). Преобразуем выражение под знакоммодуля:∣∣∣∣∣∣1

2τ

τ∫

−τ

ϕζ(t)dt

∣∣∣∣∣∣=

∣∣∣∣∣∣1

2τ

τ∫

−τ

Eeiζtdt

∣∣∣∣∣∣=

=

∣∣∣∣∣∣1

2τE

τ∫

−τ

eiζt(Iζ = 0+ I|ζ| > 0)

dt

∣∣∣∣∣∣. (5.5)

Используя формулу Эйлера для экспоненты и равенство

1

2τ

τ∫

−τ

eiζtI|ζ| > 0

dt =

1

2τ

sin(ζt)

ζI|ζ| > 0

∣∣∣∣τ

−τ

=

=sin(ζτ)

ζτI|ζ| > 0,

200

запишем выражение (5.5) в следующем виде:∣∣∣∣∣∣1

2τ

τ∫

−τ

ϕζ(t)dt

∣∣∣∣∣∣=

∣∣∣∣EIζ = 0+ E

sin(ζτ)

ζτI|ζ| > 0

∣∣∣∣ 6

6 Pζ = 0+ P0 < |ζ| 6 x+ 1

xτP|ζ| > x =

= P|ζ| 6 x + 1

xτ(1− P|ζ| 6 x).

Неравенство (5.4) доказано.Положим xτ = 2, тогда

P

|ζ| 6 2

τ

> 2

∣∣∣∣∣∣1

2τ

τ∫

−τ

ϕζ(t)dt

∣∣∣∣∣∣− 1. (5.6)

для любого положительного τ . Неравенство (5.6) справедливо прилюбом τ > 0 для случайных величин ξn, т. е. для последовательно-сти Fn(x). Справедлива теорема 5.1, поэтому существует подпо-следовательность Fnk

(x) такая, что при k → ∞ имеет место сходи-мость в основном последовательности Fnk

(x) к функции G(x) ∈ J.Далее будем рассматривать последовательность Fnk

(x). Справед-ливо неравенство:

1 6

∣∣∣∣∣∣1

2τ

τ∫

−τ

ϕ(t)dt

∣∣∣∣∣∣+

1

2τ

τ∫

−τ

|1− ϕ(t)|dt.

Так как для любого n выполняются соотношения:

ϕn(0) = 1, limn→∞

ϕn(0) = ϕ(0) = 1,

то для любого положительного ε существует такое положительноеτ0, что при |t| 6 τ0 выполнено следующее неравенство:

|1− ϕ(t)| < ε

4.

Будем выбирать τ < τ0, но тогда выполнено неравенство:

1− ε

46

∣∣∣∣∣∣1

2τ

τ∫

−τ

ϕ(t)dt

∣∣∣∣∣∣.

201

Преобразуем интеграл:

τ∫

−τ

ϕ(t)dt =

τ∫

−τ

ϕn(t)dt+

τ∫

−τ

(ϕ(t) − ϕn(t))dt,

тогда

1− ε

46

∣∣∣∣∣∣1

2τ

τ∫

−τ

ϕ(t)dt

∣∣∣∣∣∣6

∣∣∣∣∣∣1

2τ

τ∫

−τ

ϕn(t)dt

∣∣∣∣∣∣+

1

2τ

τ∫

−τ

|ϕ(t)−ϕn(t)|dt, (5.7)

причем |ϕ(t) − ϕn(t)| −−−−→n→∞

0 для любого t, кроме того, |ϕ(t) −ϕn(t)| 6 2, что следует из свойств характеристической функции.Из данных двух условий следует, что применима теорема Лебегао мажорируемой сходимости, поэтому из неравенства (5.7) следуетвыполнение следующего неравенства:

1− ε

26

∣∣∣∣∣∣1

2τ

τ∫

−τ

ϕn(t)dt

∣∣∣∣∣∣

при n > n0, где n0 выбрано из условия, что последнее слагаемоев (5.7) не превосходит ε/4. Из неравенства (5.6) и, учитывая, чтоϕn(t) =

∫ +∞−∞ eitxdFn(x), Fn(x) ≡ FξN (x) следует, что

P

|ξn| 6

2

τ

> 2

(1− ε

2

)− 1 = 1− ε.

Теперь возьмем любое n > n0, 0 < τ 6 τ0, A < −2/τ , B > 2/τ ,где точки A и B являются точками непрерывности функции G(x).Будет выполняться неравенство:

Fn(B)− Fn(A) > P

|ξn| 6

2

τ

> 1− ε.

Рассмотрим разность Fnk(B)−Fnk

(A) > 1− ε. Устремив k к беско-нечности, получим

G(B) −G(A) > 1− ε,

202

тогда G(∞) = 1, G(−∞) = 0, иначе возникло бы противоре-чие. Поэтому G(x) — обычная функция распределения. ОбозначимG(x) ≡ F (x).

Так как Fnk(x) сходится в основном к F (x) при k → ∞, то

применимо уже доказанное первое утверждение теоремы, тогда длялюбого t имеет место сходимость:

ϕnk(t) →

+∞∫

−∞

eitxdF (x),

с другой стороны, для любого t выполняется:

ϕnk(t) → ϕ(t).

Из этого следует, что ϕ(t) =∫ +∞−∞ eitxdF (x) — характеристическая

функция. Теперь докажем сходимость в основном Fn(x) к F (x). До-кажем методом от противного. Пусть сходимости нет, тогда суще-ствует точка x0, которая является точкой непрерывности функциираспределения F (x) такая, что нет сходимости Fn(x0) к F (x0). То-гда пусть F

n(1)k

(x0) сходится к q 6= F (x0) при k → ∞. Вернемся к

началу доказательства и будем рассматривать последовательностьF

n(1)k

(x), повторяя все рассуждения.

Существует Fn(2)k

(x) такая, что

Fn(2)k

(x) ⊂ Fn(1)k

(x),

и Fn(2)k

(x) сходится в основном к F (x), следовательно, имеют местоследующие сходимости:

ϕn(2)k

(t) −−−−→k→∞

+∞∫

−∞

eitxdF (x),

ϕn(2)k

(t) −−−−→k→∞

ϕ(t).

Но тогда для любого t справедливы равенства:

+∞∫

−∞

eitxdF (x) = ϕ(t) =

+∞∫

−∞

eitxdF (x).

203

Пришли к противоречию, так как F (x) ≡ F (x), и F (x0) = q 6=F (x0).

Замечание 5.1. Утверждение теоремы переносится на многомер-ный случай.

204

Глава 11

Предельные теоремы

§1. Закон больших чисел для независимых одина-

ково распределенных случайных величин

Определение 1.1. Пусть ξ1,. . ., ξn,. . . — последовательность слу-чайных величин, определенных на (Ω,F , P ). Будем говорить, чток этой последовательности применим закон больших чисел (ЗБЧ),если

n∑k=1

ξk

n−

n∑k=1

Eξk

n

P−−−−→n→∞

0. (1.1)

Замечание 1.1. В определении 1.1 предполагается, что все мате-матические ожидания существуют и конечны.

Если Eξk = a, k = 1, 2, . . ., тогда сходимость (1.1) можно запи-сать в виде:

n∑k=1

ξk

n

P−−−−→n→∞

a. (1.2)

Теорема 1.1. Пусть ξ1,. . .,ξn,. . . — последовательность взаимно

независимых одинаково распределенных случайных величин. Пусть

Eξk = a ∈ R для любого k = 1, 2, . . ., тогда к последовательности

ξk применим закон больших чисел, т. е.

ζn =1

n

n∑

k=1

ξkP−−−−→

n→∞a. (1.3)

205

Доказательство. Воспользуемся методом характеристиче-

ских функций и докажем, что ζnd−−−−→

n→∞ζ

п.н.= a, тогда, по теореме

3.3 из главы 9 имеет место сходимость: ζnP−−−−→

n→∞a. Рассмотрим

характеристическую функцию:

ϕζn(t) = Eeitζn = Eei tn

n∑

k=1

ξk= E

n∏

k=1

eitn ξk =

=n∏

k=1

Eeitn ξk = ϕn

ξ1

(t

n

)= en lnϕξ1

( tn ).

Выберем главную ветвь ln 1 = 0. С ростом n аргумент будетстремится к нулю. Тогда из свойства 7 характеристических функ-ций следует равенство:

ϕξ1

(t

n

)= 1 +

ita

n+ o

(1

n

),

ln(1 + ε) = ε+ o(ε).

Таким образом, en lnϕξ1( tn ) = eni

tna+o( 1

n ) = eita+no( 1n ) −−−−→

n→∞eita,

где eita взаимно однозначно соответствует вырожденному в точкеa распределению Pζ = a = 1. Получаем, что сходимость в ос-новном последовательности Fζn(x) к функции Fζ(x) равносильна

сходимости ζnd−−−−→

n→∞ζ.

Следствие 1.1. Пусть ξ1,. . .,ξn,. . . — последовательность слу-

чайных величин, причем Pξk = 1 = p, Pξk = 0 = q = 1−p. Обо-

значим через µ число успехов в n испытаниях (схема Бернулли),т. е. µ =

∑nk=1 ξk. Так как ξk — последовательность незави-

симых и одинаково распределенных случайных величин, и Eξk =1 · p+ 0 · q = p, тогда

µ

n

P−−−−→n→∞

p. (1.4)

Доказательство. Очевидным образом следует из теоремы1.1.

206

§2. Центральная предельная теорема для незави-

симых одинаково распределенных случайных ве-

личин и случайных векторов

Определение 2.1. Пусть η1,. . ., ηk,. . . — последовательность слу-чайных величин, определенных на (Ω,F , P ). Будем говорить, что кпоследовательности ηk применима центральная предельная тео-рема (ЦПТ), если для любого x ∈ R имеет место сходимость

P

ηk − Eηk√

Dηk6 x

−−−−→k→∞

1√2π

x∫

−∞

e−y2

2 dy. (2.1)

Замечание 2.1. В определении 2.1 предполагается, что все ма-тематические ожидания Eηk и дисперсии Dηk существуют и ко-нечны. Обозначим через η случайную величину, подчиняющуюсястандартному нормальному распределению. Функция распределе-ния случайной величины η будет иметь вид:

Fη(x) =1√2π

x∫

−∞

e−y2

2 dy.

Тогда сходимость (2.1) можно записать следующим образом:

ηk − Eηk√Dηk

d−−−−→k→∞

η. (2.2)

Теорема 2.1. (центральная предельная теорема для независимых

одинаково распределенных случайных величин) Пусть ξ1,. . .,ξn,. . .— последовательность взаимно независимых, одинаково распреде-

ленных случайных величин. Пусть Eξk = a ∈ R, Dξk = σ2 ∈ (0,∞)для любого k = 1, 2, . . ., тогда для последовательности случайных

величин имеет место сходимость:

ζn =

n∑k=1

(ξk − a)

√nσ

d−−−−→n→∞

ζ ∼ N(0, 1),

207

т. е. функция распределения сходится равномерно по x ∈ R:

Fζn(x) = Pζn 6 x −−−−→n→∞

x∫

−∞

1√2πe

−y2

2 dy.

Доказательство. Воспользуемся методом характеристиче-ских функций:

ϕζn(t) = Eeitζn = Eei tσ√

n

n∑

k=1

(ξk−a)= E

n∏

k=1

ei tσ√

n(ξk−a)

=

=

n∏

k=1

ϕ(ξk−a)

(t

σ√n

)= ϕn

(ξ1−a)

(t

σ√n

)= e

n lnϕ(ξ1−a)(t

σ√

n).

Выберем главную ветвь ln 1 = 0, ln(1 + ε) = ε + o(ε). Используясвойство 7 характеристических функций, получаем равенство:

ϕξ1−a

(t

σ√n

)= 1 +

(i tσ√n

)2

2!σ2 + o

(1

n

).

По условию теоремы E(ξ1 − a) = 0, E(ξ1 − a)2 = Dξ1 = σ2, тогдаимеет место сходимость:

en lnϕ(ξ1−a)(

tσ√

n)= en−

t2

2n+o( 1n ) −−−−→

n→∞e−

t2

2 .

Таким образом, получили характеристическую функцию e−t2

2 вза-имно однозначно соответствующую стандартному нормальному

распределению, тогда ζnd−−−−→

n→∞ζ ∼ N(0, 1).

Замечание 2.2. В теореме 2.1 пусть ηn =n∑

l=1

ξl, тогда Dηn = σ2n.

Следствие 2.1. Пусть ξ1,. . .,ξn,. . . — последовательность слу-

чайных величин, причем Pξk = 1 = p, Pξk = 0 = q = 1 − p.Обозначим через µ число успехов в серии из n испытаний (схема

208

Бернулли), т. е. µ =∑n

k=1 ξk. Для любого k = 1, 2, . . .: Eξk = p,Dξk = pq, тогда Dµ = npq. Имеет место сходимость:

P

a 6

µ− np√npq

6 b

−−−−→n→∞

1√2π

b∫

a

e−y2

2 dy (2.3)

равномерно по a < b.

Доказательство. Из теоремы 2.1 следует, что

P

a <

µ− np√npq

6 b

−−−−→n→∞

1√2π

b∫

a

e−y2

2 dy.

По локальной предельной теореме имеет место сходимость:

P

µ− np√npq

= a

−−−−→n→∞

0.

Следствие 2.2. Пусть справедливы условия теоремы 2.1. Обозна-

чим через ςn =

n∑

k=1

(ξk−a)

√n

. Тогда имеет место сходимость

ςnd−−−−→

n→∞ς ∼ N(0, σ2), (2.4)

что эквивалентно равномерной по x ∈ R сходимости:

P ςn 6 x −−−−→n→∞

1√2πσ

x∫

−∞

e−y2

2σ2 dy. (2.5)

Доказательство. Рассмотрим P ςn 6 x и применим теоре-му 2.1:

P ςn 6 x = P

ςnσ

6x

σ

−−−−→n→∞

xσ∫

−∞

1√2πe

−y2

2 dy.

209

Сделаем замену v = σy, dy = dv/σ, тогда функция распределе-

ния∫ x

σ

−∞1√2πe

−y2

2 dy =∫ x

−∞1√2πσ

e−v2

2σ2 dv, соответствует нормально-

му распределению N(0, σ2), что и означает сходимость в основном,а из сходимости в основном следует сходимость по распределению.

Следствие 2.3. (центральная предельная теорема для независи-

мых одинаково распределенных случайных векторов) Пусть ξTn =(ξ1n, . . . , ξmn) — последовательность взаимно независимых оди-

наково распределенных случайных векторов (компоненты внут-

ри векторов могут быть зависимы). Пусть Eξkn = ak ∈ R, и

Eξn = (a1, . . . , am)T = a. Пусть дисперсионная матрицаDξn суще-

ствует, обозначим ее через Σ = Dξn = E(ξn−a)(ξn−a)T, тогда

случайный вектор ςn = 1/√n∑n

k=1(ξk − a) сходится по распреде-

лению к случайному вектору ς, распределенному по многомерному

нормальному закону с параметрами (0,Σ), т. е.

ςnd−−−−→

n→∞ς ∼ N(0,Σ). (2.6)

Доказательство. Теорема о методе характеристическихфункций в доказательстве предельных теорем верна и в многомер-ном случае. Рассмотрим многомерную характеристическую функ-цию и докажем, что справедлива сходимость:

ϕςn(t1, . . . , tm) = Eei(t1,...,tm)ςn −−−−→n→∞

e−12 (t1,...,tm)Σ(t1,...,tm)T .

Возьмем произвольный вектор θ = (θ1, . . . , θm)T , тогда θT ξn —последовательность независимых случайных величин с математи-ческими ожиданиями E(θT ξn) = θTa и дисперсиями D(θT ξn) =E(θT ξn − θT a)2 = EθT (ξn − a)(ξn − a)T θ = θTE(ξn − a)(ξn −a)T θ = θTΣθ.

Таким образом, можно применить теорему 2.1, тогда

θT ςn =

n∑k=1

(θT ξk − θT a)

√n

d−−−−→n→∞

δ ∼ N(0, θTΣθ).

Следовательно, имеет место сходимость:

EeitθT ςn −−−−→

n→∞e−

12 tθ

TΣθt,

210

где t ∈ R, tθT = (tθ1, . . . , tθm) = (t1, . . . , tm). Таким образом, полу-чаем:

ϕςn(t1, . . . , tm) = Eei(t1,...,tm)ςn −−−−→n→∞

e−12 (t1,...,tm)Σ(t1,...,tm)T .

§3. Закон больших чисел для независимых произ-

вольно распределенных случайных величин. Схе-

ма серий

Рассмотрим последовательность ξk взаимно независимых и про-извольно распределенных случайных величин. Пусть существуетEξk = ak ∈ R. Определим, при каком условии имеет место сходи-мость по вероятности:

1

n

n∑

k=1

ξk − 1

n

n∑

k=1

akP−−−−→

n→∞0. (3.1)

Обозначим через ςn = 1n

n∑k=1

(ξk−ak), тогда сходимость в (3.1) можно

записать в виде:

ςnP−−−−→

n→∞0.

Обозначим через ξkn случайную величину ξkn = (ξk − ak)/n, тогдаςn = 1

n

∑nk=1(ξk − ak) =

∑nk=1 ξkn. Далее будем рассматривать бо-

лее общую задачу, введя произвольную схему серий, которая будетудовлетворять сформулированным ниже условиям.

Назовем бесконечную последовательность конечных наборовслучайных величин ξ1n, ξ2n, . . . , ξnn, n = 1, 2, . . ., схемой серий,будем предполагать, что для любых n и k:

Eξkn = 0. (3.2)

В любом конечном наборе ξ1n,ξ2n,. . .,ξnn случайные величины вза-имно независимы.

Как видим, определенные ранее случайные величины ξknпредставляют собой частный случай схемы серий. Докажем вспо-могательные леммы.

211

Лемма 3.1. Пусть β — комплексное число такое, что Reβ 6 0,тогда имеют место неравенства:

|eβ − 1| 6 |β|, (3.3)

|eβ − 1− β| 6 |β|22, (3.4)

|eβ − 1− β − β2

2| 6 |β|3

6. (3.5)

Доказательство. Применим формулу Ньютона-Лейбница накомплексной плоскости к аналитической функции:

eβ − 1 =

β∫

0

ezdz = β

1∫

0

eβvdv,

где v ∈ [0, 1], тогда справедливо неравенство:

|eβ − 1| 6 |β|1∫

0

|eβv|dv 6 |β|.

Аналогично доказывается второе неравенство:

eβ − 1− β =

β∫

0

(ez − 1)dz = β

1∫

0

(eβv − 1)dv,

где v ∈ [0, 1], тогда

|eβ − 1− β| 6 |β|1∫

0

|eβv − 1|dv 6|β|22.

Третье неравенство доказывается аналогичными рассуждениями.

212

Лемма 3.2. Пусть существуют комплексные числа a1,. . .,an,b1,. . .,bn и для любого k = 1, . . . , n имеют место неравенства:|ak| 6 1, |bk| 6 1. Тогда, если Am =

∏mk=1 ak, Bm =

∏mk=1 bk, при

m = 1, . . . , n, то справедливо неравенство:

|Bn −An| 6n∑

k=1

|bk − ak|. (3.6)

Доказательство. Сделаем преобразования:

Bn −An = Bn−1bn −An−1an = Bn−1bn −Bn−1an+

+Bn−1an − An−1an = Bn−1(bn − an) + an(Bn−1 −An−1).

Заметим, что |Bn−1| =∏n−1

k=1 |bk| 6 1, тогда |Bn − An| 6 |bn − an|+|Bn−1 − An−1|. Повторяя рассуждения, получаем искомую оценку.

Будем рассматривать определенную выше схему серий.

Определение 3.1. Будем говорить, что выполнено условие (M1),если для любого τ > 0 имеет место сходимость:

M1n(τ) =n∑

k=1

E |ξkn|I|ξkn| > τ −−−−→n→∞

0. (3.7)

Определение 3.2. Будем говорить, что выполнено условие (D1),если существует s ∈ (1, 2] такое, что имеет место сходимость:

D1n(s) =

n∑

k=1

E min(|ξkn|, |ξkn|s) −−−−→n→∞

0. (3.8)

Замечание 3.1. Если s1 < s2, то D1n(s1) > D1n(s2) для s1 ∈ (1, 2],s2 ∈ (1, 2], т. е. функция D1n убывает.

Замечание 3.2. Если τ1 < τ2, то M1n(τ1) > M1n(τ2) для τ > 0,т. е. функция M1n убывает.

Функцию D1n(s) из определения 3.2 можно эквивалентно за-писать в виде:

D1n(s) =

n∑

k=1

E(|ξkn|I|ξkn| > 1) +n∑

k=1

E(|ξkn|sI|ξkn| 6 1).

213

Лемма 3.3. Пусть существует константа c > 0, что для любого nимеет место неравенство

n∑

k=1

E|ξkn| < c, (3.9)

тогда условия (M1) и (D1) эквиваленты.

Доказательство. Доказательство следует из двух нера-венств. Для любого τ ∈ (0, 1) справедливы неравенства:

D1n(s) 6M1n(τ) + τs−1c,

M1n(τ) 61

τs−1D1n(s).

Теорема 3.1. (закон больших чисел для схемы серий) Рассмотрим

схему серий. Пусть выполнено условие (D1), тогда имеет место

сходимость по вероятности:

ζn =n∑

k=1

ξknP−−−−→

n→∞0. (3.10)

Доказательство. Сходимость по вероятности будет следо-вать из сходимости по распределению. Таким образом, достаточно

показать, что выполнено ζnd−−−−→

n→∞ζ

п.н.= 0. Применим метод харак-

теристических функций:

|ϕζn(t)− ϕζ(t)| =∣∣∣∣∣Ee

itn∑

k=1

ξkn − 1

∣∣∣∣∣ =∣∣∣∣∣

n∏

k=1

Eeitξkn −n∏

k=1

1

∣∣∣∣∣ 6

6

n∑

k=1

∣∣Eeitξkn − 1∣∣ =

n∑

k=1

∣∣E(eitξkn − 1− itξkn)∣∣ 6

6

n∑

k=1

E∣∣eitξkn − 1− itξkn

∣∣ .

214

Проанализируем отдельные слагаемые. Если β = itξkn, то из леммы3.1 следует справедливость неравенств:

∣∣eitξkn − 1− itξkn∣∣ 6 |itξkn|2

2,

∣∣eitξkn − 1− itξkn∣∣ 6

∣∣eitξkn − 1∣∣+ |itξkn| 6 2|itξkn|.

Тогда имеют место неравенства:

n∑

k=1

E∣∣eitξkn − 1− itξkn

∣∣ 6n∑

k=1

E

min

(2|tξkn|,

|tξkn|22

)6

6 max

2|t|, |t|

2

2

D1n(2) 6 h(t)D1n(s),

где h(t) = max2|t|, |t|

2

2

. Так как выполнено условие (D1), то

h(t)D1n(s) −−−−→n→∞

0.

Замечание 3.3. Вернемся к последовательности случайных вели-чин ξkn = (ξk − ak)/n, тогда при выполнении условий теоремы 3.1имеет место сходимость:

ςn =1

n

n∑

k=1

(ξk − ak) =

n∑k=1

ξk

n−

n∑k=1

Eξk

n

P−−−−→n→∞

0, (3.11)

где ak = Eξk.Для ξkn = (ξk−ak)/n справедливы следующие представления:

D1n(s) =1

n

n∑

k=1

E

min

|ξk − ak|,

|ξk − ak|sns−1

, (3.12)

M1n(τ) =1

n

n∑

k=1

E |ξk − ak|I |ξk − ak| > τn . (3.13)

215

Теорема 3.2. Пусть ξn — последовательность взаимно неза-

висимых случайных величин, причем Eξk = ak ∈ R для любого k.Если D1n(s) −−−−→

n→∞0 при некотором s, 1 < s 6 2, тогда

ςn =1

n

n∑

k=1

(ξk − ak)P−−−−→

n→∞0, (3.14)

т. е. к последовательности случайных величин ξn применим за-

кон больших чисел.

Доказательство. Доказательство следует из теоремы 3.1.

Замечание 3.4. ЗБЧ для одинаково распределенных независимыхслучайных величин является прямым следствием теоремы 3.2.

Для доказательства рассмотрим сумму:

n∑

k=1

E

( |ξk − ak|n

)=

1

n

n∑

k=1

E|ξk − ak| = E|ξ1 − a| = c,

считая, что все ak = a. Таким образом, можно применить лемму3.3, следовательно, условие (D1) эквивалентно условию (M1). Каклегко видеть,

M1n(τ) =

n∑

k=1

E|ξk − a|I|ξk − a| > τnn

=

=1

n

n∑

k=1

E|ξ1 − a|I|ξ1 − a| > τn =

= E|ξ1 − a|I|ξ1 − a| > τn.

Так как |ξ1(ω)−a|I|ξ1(ω)−a| > τn п.н.−−−−→n→∞

0 и |ξ1(ω)−a|I|ξ1(ω)−a| > τn 6 |ξ1(ω)| + |a|, то по теореме Лебега имеет место сходи-мость:

E|ξ1 − a|I|ξ1 − a| > τn −−−−→n→∞

0,

следовательно, выполнены условия (M1) и (D1).

216

§4. Центральная предельная теорема для незави-

симых произвольно распределенных случайных

величин. Схема серий

Рассмотрим последовательность ξn взаимно независимых и про-извольно распределенных случайных величин. Пусть существуютEξk = ak ∈ R и Dξk = σ2

k ∈ R. Введем обозначение:

B2n =

n∑

k=1

σ2k = D

(n∑

k=1

ξk

).

Определим условия, при выполнении которых имеют место сходи-мости:

ςn =

n∑k=1

(ξk − ak)

Bn

d−−−−→n→∞

ς ∼ N(0, 1)

или

Pςn 6 x −−−−→n→∞

x∫

−∞

1√2πe−

y2

2 dy.

Введем обозначение: ξkn = ξk−ak

Bn. Очевидно, что Eξkn = 0, σ2

kn =

Dξkn,∑n

k=1 σ2kn = 1, тогда ςn =

∑nk=1 ξkn. Далее будем рассматри-

вать более общую задачу, введя произвольную схему серий, котораябудет удовлетворять сформулированным ниже условиям.

Пусть для любого n задана конечная последовательность слу-чайных величин ξkn, k = 1, . . . , n. Рассмотрим схему серий ςn =ξ1n + . . . + ξnn, n = 1, . . .. Предположим, что внутри последова-тельности ξ1n, ξ2n, . . . , ξnn случайные величины взаимно независи-мы, причем для любого k и для любого n: Eξkn = 0, σ2

kn = Dξkn,∑nk=1 σ

2kn = 1. Очевидно, что ранее введенные случайные величи-

ны ξkn = (ξk−ak)/Bn являются частным случаем рассматриваемойсхемы серий.

Определение 4.1. Будем говорить, что выполнено условие (M2)(условие Линдеберга), если для любого τ > 0 имеет место сходи-мость:

M2n(τ) =

n∑

k=1

Eξ2knI|ξkn| > τ

−−−−→n→∞

0. (4.1)

217

Замечание 4.1. Функция M2n(τ) — невозрастающая, т. е. еслиτ1 < τ2, то M2n(τ1) >M2n(τ2).

Доказательство. Преобразуем M2n(τ1):

M2n(τ1) =n∑

k=1

Eξ2knIτ1 < |ξkn| 6 τ2+n∑

k=1

Eξ2knI|ξkn| > τ2 =

=

n∑

k=1

Eξ2knIτ1 < |ξkn| 6 τ2+M2n(τ2).

Так как∑n

k=1 Eξ2knIτ1 < |ξkn| 6 τ2 > 0, то M2n(τ1) > M2n(τ2).

Определение 4.2. Будем говорить, что выполнено условие (D2),если существует s > 2 такое, что имеет место сходимость:

D2n(s) =

n∑

k=1

Emin(ξ2kn, |ξkn|s)

−−−−→n→∞

0. (4.2)

Замечание 4.2. Левую часть в условии (4.2) можно записать ввиде:

D2n(s) =

n∑

k=1

E|ξkn|sI|ξkn| 6 1+n∑

k=1

Eξ2knI|ξkn| > 1.

Замечание 4.3. ФункцияD2n(s) — невозрастающая, т. е. если s1 <s2, то D2n(s1) > D2n(s2).

Определение 4.3. Будем говорить, что выполнено условие (L)(условие Ляпунова), если существует s > 2 такое, что имеет местосходимость:

Ln(s) =

n∑

k=1

E|ξkn|s −−−−→n→∞

0. (4.3)

Определение 4.4. Будем говорить, что выполнено условие (S)(условие равномерной малости дисперсий), если имеет место схо-димость:

maxk=1,n

σ2kn −−−−→

n→∞0. (4.4)

218

Замечание 4.4. Пусть выполнено условие (S). По неравенству Че-бышева: для любого ε > 0 и любого k > 0: P|ξkn| > ε 6 σ2

kn/ε2.

Неравенство останется верным и в том случае, если взять максимумпо k:

maxk=1,n

P|ξkn| > ε 6

maxk=1,n

σ2kn

ε2.

По условию (S) имеет место сходимость:

maxk=1,n

σ2kn

ε2−−−−→n→∞

0,

тогда и maxk=1,n

P|ξkn| > ε −−−−→n→∞

0. Таким образом, все случайные

величины, входящие в серию, равномерно малы по вероятности.

Лемма 4.1. Условия (M2) и (D2) эквивалентны.

Доказательство. Достаточность. Покажем, что из (M2)следует (D2). Пусть τ ∈ (0, 1), тогда справедливо неравенство:

D2n(s) =n∑

k=1

E|ξkn|sI|ξkn| 6 1+n∑

k=1

Eξ2knI|ξkn| > 1 6

6 τs−2n∑

k=1

Eξ2knI|ξkn| 6 τ +M2n(τ) 6 τs−2 +M2n(τ)

Величину τ можно выбрать сколь угодно малой и устремить n кбесконечности.

Необходимость. Покажем, что из (D2) следует (M2). Для лю-бого τ ∈ (0, 1) справедливы неравенства:

M2n(τ) =

n∑

k=1

Eξ2knI|ξkn| > 1+n∑

k=1

Eξ2knIτ < |ξkn| 6 1 6

6

n∑

k=1

Eξ2knI|ξkn| > 1+ 1

τs−2

n∑

k=1

EξsknIτ < |ξkn| 6 1 6

61

τs−2D2n(s).

219

Замечание 4.5. Из доказательства леммы следует, что условие(D2) инвариантно относительно s, т. е. если условие (D2) выполненодля произвольного s0 > 2, то оно будет выполнено для любого s >2.

Лемма 4.2. Справедливы следующие утверждения:1. Из условия (L) следуют условия (M2) и (D2).2. Из условия (M2) следует условие (S).

Доказательство.

1) Очевидно, что Ln(s) =∑n

k=1E|ξkn|s >∑nk=1Eminξ2kn, |ξkn|s для любого s > 2. Таким образом, из

(L) следует (D2). Выполнение условия (M2) следует из леммы 4.1.2) Как легко видеть,

σ2kn = Dξkn = Eξ2kn = Eξ2knI|ξkn| 6 τ+

+ Eξ2knI|ξkn| > τ 6 τ2 +M2n(τ)

для любого τ ∈ (0, 1). Следовательно,

0 6 maxk=1,n

σ2kn 6 τ2 +M2n(τ).

Для произвольного ε > 0 можно выбрать τ так, что τ2 < ε/2, повыбранному τ можно взять n0 таким образом, что M2n(τ) < ε/2для любого n > n0. Следовательно,

maxk=1,n

σ2kn −−−−→

n→∞0.

Таким образом, условие (S) выполнено.

Теорема 4.1. (центральная предельная теорема для схемы серий)Пусть задана схема серий ςn =

∑nk=1 ξkn, n = 1, 2, . . .. Все случай-

ные величины, входящие в любую серию ξ1n, ξ2n,. . .,ξnn, взаимно

независимы. Для любых k и n выполнены равенства: Eξkn = 0,Dξkn = σ2

kn < ∞, причем Dςn =∑n

k=1 σ2kn = 1. Пусть выполнено

условие (M2) (или эквивалентное ему (D2)), тогда имеет место

сходимость по распределению:

ςnd−−−−→

n→∞ς ∼ N(0, 1), (4.5)

220

или, что эквивалентно, имеет место равномерная по x ∈ R схо-

димость:

Pςn 6 x −−−−→n→∞

1√2π

x∫

−∞

e−y2

2 dy. (4.6)

Доказательство. Воспользуемся методом характеристиче-ских функций. Докажем, что для любого t выполняется:

∣∣∣ϕςn(t)− e−t2

2

∣∣∣ −−−−→n→∞

0.

Заметив, что 1 = σ21n + . . .+σ2

nn =∑n

k=1 σ2kn и применив лемму 3.2,

получаем следующее неравенство:

∣∣∣ϕςn(t)− e−t2

2

∣∣∣ =

=

∣∣∣∣∣n∏

k=1

ϕξkn−

n∏

k=1

e−t2

2 σ2kn

∣∣∣∣∣ 6n∑

k=1

∣∣∣Eeitξkn − e−t2

2 σ2kn

∣∣∣ =

=

n∑

k=1

|Eeitξkn − e−t2

2 σ2kn + (1− 1

2σ2knt

2)− (1− 1

2σ2knt

2)| 6 I1 + I2,

где

I1 =

n∑

k=1

∣∣∣∣E(e−itξkn − 1− itξkn − (iξkn)

2

2t2)∣∣∣∣ ,

I2 =

n∑

k=1

∣∣∣∣e−σ2kn2 t2 − 1−

(−σ

2kn

2t2)∣∣∣∣ .

Положив β = −σ2kn

2 t2 и применив лемму 3.1, получим:

I2 6

n∑

k=1

σ4kn

8t4 =

t4

8

n∑

k=1

σ2knσ

2kn 6

t4

8maxk=1,n

σ2kn −−−−→

n→∞0.

Оценим сверху I1, получаем:

I1 6

n∑

k=1

E

∣∣∣∣eitξkn − 1− itξkn − (itξkn)2

2

∣∣∣∣ .

221

Положив β = itξkn, из леммы 3.1 следует неравенство:∣∣∣∣eitξkn − 1− itξkn − (itξkn)

2

2

∣∣∣∣ 6|itξkn|3

6.

Кроме того,∣∣∣∣eitξkn − 1− itξkn − (itξkn)

2

2

∣∣∣∣ 6 t2ξ2kn.

В итоге получаем:

I1 6

n∑

k=1

min

|t|3|ξkn|36

, t2ξ2kn

6 max

|t|36, t2D2n(3) −−−−→

n→∞0.

Замечание 4.6. В теореме 4.1 условие (M2) (или эквивалентноеему (D2)) является не только достаточным, но и необходимым, есливыполнено условие равномерной малости дисперсий (S).

§5. Теорема Линдеберга. Теорема Ляпунова

Теорема 5.1. (Теорема Линдеберга) Пусть ξk — последователь-

ность взаимно независимых случайных величин. Пусть для любо-

го k существуют и конечны Eξk = ak ∈ R, Dξk = σ2k <∞. Обозна-

чим B2n =

∑nk=1 σ

2k. Пусть для любого τ имеет место сходимость:

M2n(τ) =1

B2n

n∑

k=1

E(ξk − ak)

2I |ξk − ak| > τBn−−−−→n→∞

0,

тогда

ςn =

n∑k=1

(ξk − ak)

Bn

d−−−−→n→∞

ς ∼ N(0, 1), (5.1)

или, что эквивалентно, имеет место равномерная по x ∈ R схо-

димость:

Pςn 6 x −−−−→n→∞

1√2π

x∫

−∞

e−y2

2 dy. (5.2)

222

Замечание 5.1. Теорема 5.1 является частным случаем теоремы4.1. Условие теоремы будет необходимым и достаточным, если вы-полнено условие равномерной малости дисперсий (S).

Теорема 5.2. (Теорема Ляпунова) Пусть ξk — последователь-

ность взаимно независимых случайных величин. Пусть для лю-

бого k существуют и конечны Eξk = ak ∈ R, Dξk = σ2k < ∞.

Обозначим B2n =

∑nk=1 σ

2k. Пусть существует s > 2, что имеет

место сходимость:

Ln(s) =

n∑k=1

E|ξk − ak|s

Bsn

−−−−→n→∞

0,

тогда

ςn =

n∑k=1

(ξk − ak)

Bn

d−−−−→n→∞

ς ∼ N(0, 1), (5.3)

или, что эквивалентно, имеет место равномерная по x ∈ R схо-

димость:

Pςn 6 x −−−−→n→∞

1√2π

x∫

−∞

e−y2

2 dy. (5.4)

Доказательство. Следует из леммы 4.2 и теоремы 4.1.

§6. Усиленный закон больших чисел для произ-

вольно распределенных независимых случайных

величин

Лемма 6.1. (Неравенство Колмогорова) Пусть ξ1, ξ2,. . .,ξn — со-вокупность взаимно независимых случайных величин, Eξk = 0 иDξk ∈ R для любого k. Пусть sm =

∑mk=1 ξk, m = 1, . . . , n. Тогда

для любого ε > 0 выполняется:

P

maxk=1,n

|sk| > ε

6Dsnε2

. (6.1)

223

Доказательство. Рассмотрим событие:

A =

maxk=1,n

|sk| > ε

,

A =

n⋃

k=1

Ak,

где Ak = |s1| < ε, . . . , |sk−1| < ε, |sk| > ε. Очевидно, что Ak ∩Al =∅ для всех k 6= l. Тогда Iω ∈ A =

∑nk=1 Iω ∈ Ak.

Справедливы неравенства:

Dsn = Es2n > Es2nIω ∈ A

=

n∑

k=1

Es2nIω ∈ Ak

=

=

n∑

k=1

E[sk + (sn − sk)]

2Iω ∈ Ak

=

=n∑

k=1

Es2kIω ∈ Ak

+

n∑

k=1

E(sn − sk)

2Iω ∈ Ak+

+ 2

n∑

k=1

E [skIω ∈ Ak] (sn − sk) >

n∑

k=1

Es2kIω ∈ Ak

>

> ε2n∑

k=1

EIω ∈ Ak = ε2EIω ∈ A = ε2P (A).

Поделив обе части неравенства на ε2, получим:

P

maxk=1,n

|sk| > ε

6Dsnε2

для любого положительного ε. В доказательстве использовалосьутверждение, что

E[skIω ∈ Ak](sn − sk) = E[skIω ∈ Ak]E(sn − sk) = 0.

224

Лемма 6.2. Пусть ξn(ω) — последовательность взаимно неза-висимых случайных величин, Eξn = 0, Dξn < ∞ для лю-

бого n,∑∞

k=1Dξk < ∞, тогда∑∞

k=1 ξk(ω)п.н.∈ R или

P ω :∑∞

k=1 ξk(ω) ∈ R = 1.

Доказательство. Равенство P ω :∑∞

k=1 ξk(ω) ∈ R = 1 вер-но тогда и только тогда, когда почти наверное существует пределпоследовательности частичных сумм:

limn→∞

sn(ω) = limn→∞

n∑

k=1

ξk(ω)п.н.∈ R.

Для выполнения указанного свойства необходимо и достаточно,чтобы последовательность sn(ω) была фундаментальна с вероят-ностью единица. Покажем, что для любого положительного ε имеетместо сходимость:

P

supk>1

|sn+k − sn| > ε

−−−−→n→∞

0,

и, следовательно, последовательность частичных сумм почти на-верное фундаментальна. Введем событие

A(n) = supk>1

|sn+k − sn| > ε =

∞⋃

k=1

|sn+k − sn| > ε =

=∞⋃

N=1

N⋃

k=1

|sn+k−sn| > ε =∞⋃

N=1

maxk=1,N

|sn+k−sn| > ε =∞⋃

N=1

A(n)N .

Заметим, что A(n)N ⊂ A

(n)N+1, следовательно, имеет место равенство:

P(A(n)

)= lim

N→∞P(A

(n)N

).

Из леммы 6.1 следует неравенство:

P(A

(n)N

)6

N∑k=1

D(ξn+k)

ε2=

n+N∑l=n+1

D(ξl)

ε2.

225

Устремим N к бесконечности, получаем:

P(A(n)

)6

∞∑l=n+1

Dξl

ε2−−−−→n→∞

0,

так как последовательность остаточных сумм стремится к нулю.

Таким образом,∑∞

k=1 ξk(ω)п.н.∈ R.

Лемма 6.3. (Лемма Теплица) Пусть xn — числовая последо-вательность, причем, xn −−−−→

n→∞x ∈ R. Последовательность an

состоит из положительных элементов. Пусть последовательностьbn =

∑nk=1 ak монотонно стремится к бесконечности при n → ∞,

тогда имеет место сходимость:n∑

k=1

akxk

bn−−−−→n→∞

x. (6.2)

Доказательство. Рассмотрим ε > 0 и сделаем следующуюоценку:

∣∣∣∣∣∣∣∣

n∑k=1

akxk

bn− x

∣∣∣∣∣∣∣∣=

∣∣∣∣n∑

k=1

ak(xk − x)

∣∣∣∣bn

6

n∑k=1

ak|xk − x|

bn.

Из условий леммы следует, что для произвольного положительно-го ε найдется n0 такое, что для любого n > n0 будет выполненонеравенство: |xk − x| < ε/2, k > n0. Тогда для любого n > n0 спра-ведлива оценка:

n∑k=1

ak|xk − x|

bn=

n0∑k=1

ak|xk − x|

bn+

n∑k=n0+1

ak|xk − x|

bn6

6

n0∑k=1

ak|xk − x|

bn+ε

26ε

2+ε

2= ε,

так как bn → ∞, то существует номер n1, что при n > n1 первоеслагаемое в правой части меньше ε/2.

226

Следствие 6.1. Пусть выполнены условия леммы 6.3. Выберем

ak = 1 для любого k. Тогда имеет место сходимость:

n∑k=1

xk

n−−−−→n→∞

x.

Доказательство. Очевидным образом следует из леммы 6.3.

Лемма 6.4. (Лемма Кронекера) Пусть задан ряд∑∞

k=1 yk = s ∈ R.Последовательность bn −−−−→

n→∞∞ и для любого n: bn > 0, bn+1 > bn,

тогда имеет место сходимость:

n∑k=1

bkyk

bn−−−−→n→∞

0. (6.3)

Доказательство. Пусть sn =∑n

k=1 yk — частичные суммы,y0 = 0, b0 = 0, s0 = 0. Справедливы равенства:

n∑

k=1

bkyk =

n∑

k=1

bk(sk − sk−1) =

n∑

k=1

bksk −n∑

k=1

bksk−1 = bnsn+

+

n−1∑

k=1

bksk −n∑

k=1

bksk−1 = bnsn +

n∑

k=1

bk−1sk−1 −n∑

k=1

bksk−1 =

= bnsn −n∑

k=1

(bk − bk−1)sk−1 = bnsn −n∑

k=1

akxk,

где xk = sk−1, ak = bk − bk−1. Поделив обе части равенства на bn иустремив n к бесконечности, в силу леммы 6.3 получим:

n∑k=1

bkyk

bn= sn −

n∑k=1

akxk

bn−−−−→n→∞

0.

227

Следствие 6.2. Имеет место сходимость:

n∑k=1

1k

n−−−−→n→∞

0.

Доказательство. Для доказательства достаточно положитьbn = n, yk = 1/k2.

Теорема 6.1. (усиленный закон больших чисел для независимых

произвольно распределенных случайных величин) Пусть ξn(ω) —

последовательность взаимно независимых случайных величин, за-

данных на (Ω,F , P ). Пусть для любого k существуют и конечны

Eξk = ak ∈ R, Dξk ∈ R. Последовательность bn −−−−→n→∞

∞ и для

любого n: bn > 0, bn+1 > bn. Пусть также ряд∑∞

n=1Dξn/b2n схо-

дится, тогда имеет место сходимость:

n∑k=1

(ξk − ak)

bn

п.н.−−−−→n→∞

0. (6.4)

Доказательство. Как следует из условия теоремы:

∞∑

k=1

Dξkb2k

=

∞∑

k=1

D

(ξk − akbk

)=

∞∑

k=1

Dηk <∞,

где ηk = (ξk −ak)/bk, причем, ηk удовлетворяет всем условиям лем-мы 6.2, следовательно,

∞∑

k=1

ξk − akbk

=

∞∑

k=1

ηkп.н.∈ R.

По лемме 6.4 имеет место сходимость:

n∑k=1

bkηk

bn=

n∑k=1

(ξk(ω)− ak)

bn

п.н.−−−−→n→∞

0.

228

Следствие 6.3. Пусть ξk — последовательность взаимно неза-

висимых случайных величин, заданных на (Ω,F , P ). Пусть для лю-

бого k существуют и конечны Eξk = ak ∈ R, Dξk < ∞. Пусть

также ряд∑∞

k=1Dξk/k2 сходится, тогда имеет место сходи-

мостьn∑

k=1

(ξk − ak)

n

п.н.−−−−→n→∞

0.

Доказательство. Доказательство следует из теоремы 6.1, ес-ли положить bn = n.

§7. Усиленный закон больших чисел для одинако-

во распределенных независимых случайных вели-

чин

Лемма 7.1. Математическое ожидание произвольной случайнойвеличины ξ конечно тогда и только тогда, когда сходится ряд∑∞

k=0 P|ξ| > k.

Доказательство. Из свойств интеграла Лебега следует, чтоEξ ∈ R тогда и только тогда, когда E|ξ| ∈ R. Очевидно, что

∞∑

k=1

(k − 1)Ik − 1 < |ξ(ω)| 6 k 6

6 |ξ(ω)| 6∞∑

k=1

kIk − 1 < |ξ(ω)| 6 k.

Следовательно,

∞∑

k=1

(k − 1)Pk − 1 < |ξ(ω)| 6 k 6

6 E|ξ(ω)| 6∞∑

k=1

kPk − 1 < |ξ(ω)| 6 k.

229

Таким образом, математическое ожидание конечно, тогда и толькотогда, когда ряд

∑∞k=1 kPk − 1 < |ξ(ω)| 6 k сходится. Все сла-

гаемые положительны, поэтому можно поменять местами порядоксуммирования:

∞∑

k=1

kPk − 1 < |ξ(ω)| 6 k =

∞∑

k=1

k∑

n=1

Pk − 1 < |ξ(ω)| 6 k =

=

∞∑

n=1

∞∑

k=n

Pk − 1 < |ξ(ω)| 6 k =

∞∑

n=1

P|ξ(ω)| > n− 1.

Если начнем суммировать со второго слагаемого, то результат неизменится, то есть, ряд

∑∞n=1 P|ξ(ω)| > n сходится тогда и только

тогда, когда Eξ ∈ R.

Теорема 7.1. (усиленный закон больших чисел Колмогорова

для независимых одинаково распределенных случайных величин)Пусть ξn — последовательность взаимно независимых одинако-

во распределенных случайных величин, заданных на (Ω,F , P ). Схо-

димость1

n

n∑

k=1

ξkп.н.−−−−→n→∞

a ∈ R (7.1)

имеет место тогда и только тогда, когда существует Eξ1 и

Eξ1 = a.

Доказательство. Достаточность. Предположим, чтоEξ1 = a ∈ R. Покажем, что имеет место сходимость (7.1).Определим случайную величину:

ξn(ω) = ξn(ω)I|ξn(ω)| 6 n.

230

Тогда можно записать равенства:

1

n

n∑

k=1

ξk(ω)− a =

n∑k=1

ξk(ω)− na+n∑

k=1

ξk(ω)−n∑

k=1

ξk(ω)

n+

+

n∑k=1

Eξk(ω)−n∑

k=1

Eξk(ω)

n=

n∑k=1

(ξk(ω)− ξk(ω))

n+

+

n∑k=1

(ξk(ω)− Eξk(ω))

n+

n∑k=1

(Eξk(ω)− a)

n.

Рассмотрим каждую дробь по отдельности. Преобразуем послед-нюю дробь:

n∑k=1

(Eξk(ω)− a)

n=

n∑k=1

(Eξk(ω)− Eξk(ω))

n=

= −

n∑k=1

Eξk(ω)I|ξk(ω)| > k

n= −

n∑k=1

Eξ1(ω)I|ξ1(ω)| > k

n.

Введем следующее обозначение: Eξ1(ω)I|ξ1(ω)| > k = xk. Оче-видно, что имеет место сходимость:

ξ1(ω)I|ξ1(ω)| > k п.н.−−−−→k→∞

0.

Справедливо неравенство: |ξ1(ω)I|ξ1(ω)| > k| 6 |ξ1(ω)|. Так какматематическое ожидание Eξ1(ω) конечно, то конечно и математи-ческое ожидание E|ξ1(ω)| (следует из свойств интеграла Лебега).Таким образом, по теореме Лебега о мажорируемой сходимости:xk −−−−→

k→∞0. Из следствия к лемме Теплица получаем сходимость:

n∑k=1

(Eξk(ω)− a)

n−−−−→n→∞

0.

Рассмотрим первую дробь. Введем событие:

Ak = ξk(ω) = ξk(ω) = |ξk(ω)| 6 k,

231

Ak = |ξk(ω)| > k.Рассмотрим событие A =

⋃∞m=1

⋂∞k=m Ak. Пусть ω0 ∈ A, тогда су-

ществует m0 такое, что ω0 ∈ ⋂∞k=m0

Ak. Тогда при выбранном ω0

выполняется сходимость:

m0−1∑k=1

(ξk(ω0)− ξk(ω0)

)

n−−−−→n→∞

0.

Применяя законы двойственности, получаем равенство:

A =

∞⋂

m=1

∞⋃

k=m

Ak.

Из первого утверждения леммы Бореля-Кантелли следует, что,если сходится ряд

∑∞k=1 P (Ak), то P (A) = 0. Так как∑∞

k=1 P|ξk(ω)| > k =∑∞

k=1 P|ξ1(ω)| > k < ∞, то P (A) = 0,следовательно, P (A) = 1. Таким образом, выполняется сходимость:

n∑k=1

(ξk(ω)− ξk(ω))

n

п.н.−−−−→n→∞

0.

Для доказательства сходимости второй дроби достаточно показать,что ряд

∑∞n=1Dξn(ω)/n

2 сходится. Так как |ξn(ω)|2 6∑n

k=1 k2Ik−

1 < |ξk(ω)| 6 k, то справедливо неравенство:

Dξn 6 Eξ2n 6

n∑

k=1

k2Pk − 1 < |ξk(ω)| 6 k.

Рассмотрим ряд и произведем оценку сверху:

∞∑

n=1

Dξnn2

6

∞∑

n=1

n∑

k=1

k2Pk − 1 < |ξk(ω)| 6 kn2

6

6

∞∑

k=1

k2Pk − 1 < |ξk(ω)| 6 k∞∑

n=k

1

n2.

232

Так как

∞∑

n=k

1

n2=

1

k2+

∞∑

n=k+1

1

n26

∞∫

k

1

x2dx +

1

k2=

1

k+

1

k2=

1 + k

k2,

то справедливы неравенства:

∞∑

k=1

k2Pk − 1 < |ξk(ω)| 6 k∞∑

n=k

1

n26

6

∞∑

k=1

(1 + k)Pk − 1 < |ξ1(ω)| 6 k 6

6

∞∑

k=1

(k − 1)Pk − 1 < |ξ1(ω)| 6 k+ 2P|ξ1(ω)| > 0 6

6 E|ξ1(ω)|+ 2P|ξ1(ω)| > 0.

Последнее неравенство следует из леммы 7.1. Таким образом, рядсходится.

Необходимость. Введем обозначения: Sn =∑n

k=1 ξk, Sn−1 =∑n−1k=1 ξk. Пусть Sn/n

п.н.−−−−→n→∞

a, тогда Sn−1

n−1

п.н.−−−−→n→∞

a.

Так какSn

n=ξnn

+n− 1

n

Sn−1

n− 1,

при этом (n− 1)/n −−−−→n→∞

1, тогда ξn/nп.н.−−−−→

n→∞0.

Введем событие

B =

∞⋂

m=1

∞⋃

n=m

Bn,

где Bn = |ξn(ω)| > n, событияBn — независимые. Тогда из леммыБореля-Кантелли следует, что, если

∑∞n=1 P (Bn) <∞, то P (B) = 0,

и если∑∞

n=1 P (Bn) = ∞, то P (B) = 1.Если выполнено событие B, то

B ⊂ω :

ξnn

9 0

.

233

Следовательно, P (B) = 0 и∑∞

n=1 P (Bn) =∑∞

n=1 P|ξ1(ω)| < n <∞. Таким образом, по лемме 7.1 получаем, что Eξ1(ω) ∈ R, но тогдаиз первой части теоремы следует, что Eξ1(ω) = a.

234

Глава 12

Выборочное пространство

§1. Выборка. Выборочное пространство

Рассмотрим случайную величину

ξ(ω) : Ω −→ R

и вероятностное пространство значений случайной величины

(R,B(R), Pξ),

где B(R) — сигма-алгебра борелевских множеств числовой прямой,Pξ — вероятностная мера такая, что Pξ(−∞, x] = Fξ(x) = Pξ 6 x.

Если речь идет о наборе случайных величин (ξ1, . . . , ξn) : Ω −→R

n, то вероятностное пространство определим следующим образом:

(Rn,B(Rn), Pξ) ,

здесь Pξ — совместное распределение случайных величин:Pξ(−∞, x1]× . . .× (−∞, xn] = Fξ(x1, . . . , xn).

Часто, в практических задачах, функция распределения неиз-вестна. Аппроксимация неизвестных функций распределения — од-на из задач математической статистики.

Определение 1.1. Совокупность взаимно независимых реализа-ций случайной величины ξ образует выборку X[n] объема n:

X[n] = (X1, . . . , Xn) ,

где Xi — числовая реализация случайной величины ξ в i-ом экспе-рименте (i = 1, . . . , n).

235

Определение 1.2. Случайная величина ξ, реализации которой мынаблюдаем, называется генеральной совокупностью.

Следует отметить, что требование взаимной независимостисужает допустимую область исследований. Однако, требование вза-имной независимости наблюдений необходимо для построения стро-гой математической теории.

Функция распределения выборки строится по функции рас-пределения генеральной совокупности:

FX[n](x1, . . . , xn) = Fξ(x1) · . . . · Fξ(xn),

где xi — числовая переменная, соответствующая i-ой координатнойоси.

Получили выборочное пространство

(R

n,B(Rn), PX[n]

),

соответствующее выборкам объема n, где вероятностная мера PX[n]

взаимно однозначно соответствует функции распределения FX[n].

Учитывая необходимость предельного перехода, когда n→ ∞,рассмотрим бесконечномерное пространство:

(R

∞,B(R∞), PX[∞]

).

Элементарным событием в этом пространстве является бесконеч-ная числовая последовательность (бесконечная выборка). Указан-ное выше конечномерное пространство размерности n для выбо-рок объема n, является подпространством бесконечномерного про-странства, соответствующим первым n координатам.

Пусть B ∈ B(Rn), рассмотрим цилиндрическое множествоJn(B) = x ∈ R∞ : x = (x1, . . . , xn, . . .), (x1, . . . , xn) ∈ B, тогдаPX[∞]

(Jn(B)) = PX[n](B). Мера PX[∞]

определяется единственнымобразом по мерам PX[n]

, n = 1, 2, . . . (см. теорему Ионеску Тулчи вкниге Ж. Неве [24]).

Определение 1.3. Статистикой будем называть любую борелев-скую функцию, заданную на выборочном пространстве.

236

Если ξ = (ξ1, . . . , ξm)T — случайный вектор, то при проведенииэкспериментов фиксируются значения всей совокупности, получа-ются взаимно независимые вектора

X1 =

X11

X21

...Xm1

, . . . , Xn =

X1n

X2n

...Xmn

.

Аналогично скалярному случаю можно построить выборочное ве-роятностное пространство для выборок такого типа.

Введем обозначения X = Rm, получаем(Xn,B(X )⊗ . . .⊗ B(X ), PX[n]

),

где PX[n](B1 × . . . × Bn) = Pξ(B1)Pξ(B2) . . . Pξ(Bn), а B1 ∈

B(X ),. . .,Bn ∈ B(X ). Можно считать, что все построенные конеч-номерные пространства являются проекциями бесконечномерногопространства

(X∞,B(X∞)⊗ . . .⊗ B(X∞), PX[∞]

).

Элементарными событиями будут бесконечные выборки. МераPX[∞]

определяется единственным образом по мерам PX[n], n =

1, 2, . . .

§2. Эмпирическая вероятностная мера. Гисто-

грамма

Пусть имеется генеральная совокупность ξ, представляющая собойслучайную величину, и выборка X[n] = (X1, . . . , Xn).

Определение 2.1. Эмпирическим распределением назовем веро-ятностную меру, определенную следующим образом

P ∗n(B) =

ν(B)

n,

где B ∈ B(R), а ν(B) — количество элементов выборки, попавшихв B.

237

Если n фиксировано, и выборка X[n] фиксирована, то P ∗n(·)

является вероятностной мерой на (R,B(R)), следовательно, ей со-ответствует единственная функция распределения.

Определение 2.2. Эмпирической функцией распределения назы-вается функция

F ∗n(x) = P ∗

n(−∞;x] =ν(−∞;x]

n, x ∈ R.

Введем порядковые статистики:X(1) = min X1, . . . , Xn — первая порядковая статистика,X(2) = min

X1, . . . , Xn \X(1)

— вторая порядковая статистика,

. . .X(n) = max X1, . . . , Xn — n-ая порядковая статистика.

Очевидно, что X(1) 6 X(2) 6 . . . 6 X(n). Величины X(1), X(2),. . ., X(n) образуют вариационный ряд. Если предположить, что всеэлементы вариационного ряда различны, то есть X(1) < X(2) <. . . < X(n), то можно определить эмпирическую функцию распре-деления следующим образом:

F ∗n (x) =

0, если x < X(1);1n , если X(1) 6 x < X(2);2n , если X(2) 6 x < X(3);

. . .kn , если X(k) 6 x < X(k+1);

. . .

1, если x > X(n).

(2.1)

Имея вариационный ряд, можно построить гистограмму.Возьмем интервал (a, b), где a < X(1) и X(n) < b, разобьем этотинтервал на конечную совокупность непересекающихся промежут-ков:

a0 = a < a1 < a2 < . . . < am = b,

(ai−1, ai], i = 1, . . . ,m.

Пусть ni — количество элементов выборки, попавших в полуинтер-вал (ai−1, ai]. Тогда

n1 + n2 + . . .+ nm = n,

238

li = ai − ai−1,

hi =ni

lin.

Получаем гистограмму:

f∗n(x) =

0, если x 6 a0;

h1, если a0 < x 6 a1;

. . .

hm, если am−1 < x 6 am;

0, если x > am.

Гистограмма f∗n(x) — эмпирический аналог плотности распре-

деления. Если в знаменателе при вычислении hi убрать li, полу-чится гистограмма относительных частот, если, кроме того, в зна-менателе убрать n, то получится гистограмма частот ni. Часто припостроении гистограммы полагают li = l = const.

§3. Теорема Гливенко-Кантелли. Теорема о пре-

дельном распределении эмпирических вероятно-

стей

Справедливы следующие теоремы.

Теорема 3.1. Для любого B ∈ B(R) выполняется:

P ∗n(B)

п.н.−−−−→n−→∞

Pξ(B). (3.1)

и для любого x ∈ R выполняется:

F ∗n(x)

п.н.−−−−→n−→∞

Fξ(x). (3.2)

Доказательство. Очевидно, что справедливо равенство:

P ∗n(B) =

1

n

n∑

k=1

IXk ∈ B,

239

все слагаемые в этой сумме являются случайными величинами, онинезависимы и одинаково распределены. Каждая случайная величи-на принимает значение 1 с вероятностью Pξ(B) и 0 с вероятностью1− Pξ(B). Очевидны равенства:

PXk ∈ B = Pξ ∈ B = Pξ(B),

тогдаEIXk ∈ B = Pξ(B),

откуда, учитывая усиленный закон больших чисел Колмогороваследует (3.1):

P ∗n(B) =

1

n

n∑

k=1

IXk ∈ B п.н.−−−−→n−→∞

Pξ(B).

Для доказательства второго утверждения возьмем B = (−∞, x].

Теорема 3.2. (Теорема Гливенко-Кантелли) Пусть заданы функ-

ция распределения Fξ(x) и эмпирическая функция распределения

F ∗n(x), тогда

supx∈R

|F ∗n (x)− Fξ(x)| п.н.−−−−→

n−→∞0

Доказательство. 1. Рассмотрим случай, когда Fξ(x) непре-рывна на R. Выберем любое ε > 0, разобьем ось ординат шагомменьше ε, на оси абсцисс получим точки дробления:

−∞ = z0 < z1 < . . . < zr = ∞.

При этом:0 6 Fξ(zk+1)− Fξ(zk) < ε.

Введем событие Ak = F ∗n(zk) −−−−→n→∞

Fξ(zk), тогда по теореме 3.1:

P (Ak) = 1 для всех k = 1, . . . , r − 1. Рассмотрим событие A =⋂r−1k=1 Ak, тогда справедливо равенство A =

⋃r−1k=1 Ak. Очевидно, что

P (A) 6∑r−1

k=1 P (Ak) = 0, следовательно, P (A) = 0 или P (A) = 1.Будем рассматривать только события ω ∈ A. В каждой из

точек z1,. . .,zr−1 выполняется сходимость, тогда существует номер

240

n0 такой, что для всех номеров n > n0 и для любого k = 1, . . . , r− 1выполнено:

|F ∗n(zk)− Fξ(zk)| < ε.

Возьмем любую точку x ∈ R. Она обязательно попадет в какой-нибудь промежуток zk 6 x < zk+1. Оценим сверху и снизу разностьF ∗n(x)− Fξ(x):

F ∗n(x) − Fξ(x) 6 F ∗

n(zk+1)− Fξ(zk) 6 F ∗n(zk+1)− Fξ(zk+1) + ε 6 2ε,

F ∗n(x)− Fξ(x) > F ∗

n(zk)− Fξ(zk+1) > F ∗n(zk)− Fξ(zk)− ε > −2ε,

Следовательно, для любого x ∈ R справедливо неравенство:

|F ∗n(x) − Fξ(x)| 6 2ε.

Таким образом, мы доказали утверждение о равномерной сходимо-сти с вероятностью единица, так как P (A) = 1.

2. Pассмотрим случай, когда Fξ(x) может иметь разрывы, т.е. существует точка x, для которой: Fξ(x − 0) < Fξ(x). Выберемпроизвольное ε > 0 и такие точки разрыва, для которых имеетместо неравенство:

Fξ(yk)− Fξ(yk − 0) >ε

2.

Таких точек yk конечное число, включаем их в точки дробления.Обозначим через zi, i = 1, . . . , r−1 все получившиеся в итоге точкидробления:

−∞ = z0 < z1 < . . . < zr = ∞,

Fξ(zk+1 − 0)− Fξ(zk) < ε.

Рассмотрим события Ak = F ∗n(zk) −−−−→n→∞

Fξ(zk) и A−k = F ∗

n(zk −0) −−−−→

n→∞Fξ(zk − 0). Очевидно, что P (Ak) = 1, P (A−

k ) = 1,

так как Fξ(zk − 0) = Pξ(−∞, zk) и B = (−∞, zk). РассмотримA =

⋂r−1k=1(Ak ∩ A−

k ). Далее полностью повторяются рассужденияпредыдущего пункта доказательства.

241

Теорема 3.3. Для любого борелевского множества B ∈ B(R) вы-

полняется:

√n (P ∗

n(B)− Pξ(B))d−−−−→

n→∞

√Pξ(B)(1 − Pξ(B)) ζ,

где ζ ∼ N(0, 1).

Доказательство. Справедливо равенство:

P ∗n(B)− Pξ(B) =

1

n

n∑

k=1

(IXk ∈ B − Pξ(B)).

Применим центральную предельную теорему для одинаково рас-пределенных слагаемых:

√n(P ∗

n(B)− Pξ(B)) =

n∑k=1

(IXk ∈ B − Pξ(B))

√n

.

Из чего следует доказательство теоремы.

Замечание 3.1. Теоремы 3.1, 3.2, 3.3 справедливы и в многомер-ном случае.

§4. Описательная статистика

В описательную статистику входят оценки числовых характери-стик генеральной совокупности ξ, найденные по имеющейся у ста-тистика выборке X[n] = (X1, . . . , Xn) объема n, а также всевоз-можные функции от выборки. Если элементы одномерной выборкиупорядочить по возрастанию (построить вариационный ряд X(1) 6

X(2) 6 . . . 6 X(n)) и отметить повторяемость наблюдений (подсчи-тать частоту), то получится статистический ряд, построенныйпо одномерной выборке X[n].

Разность между максимальным и минимальным элементамивыборки называется размахом, R = Xmax − Xmin. При большомобъеме выборки ее элементы иногда объединяются в группы, пред-ставляя результаты опытов в виде группированного статистиче-

ского ряда. Для этого интервал, содержащий все элементы выборки,

242

разбивается на k непересекающихся интервалов. Обычно разбиениепроизводится на интервалы одинаковой длины b = R/k. После чегонетрудно определить частоты — количества ni элементов выборки,попавших в i-ый интервал. Статистический ряд часто записыва-ют в виде таблицы. В первой строке таблицы указывают серединыинтервалов группировки Xi, а во второй — частоты ni. Подсчи-тываются также накопленные частоты

∑ij=1 nj , относительные

частоты ni/n, накопленные относительные частоты∑i

j=1 nj/n.Для наглядного представления выборки применяют гисто-

грамму и полигон частот. Полигоном частот называется ломанаяс вершинами в точках (Xi, ni/b), а полигоном относительных ча-стот — ломаная с вершинами в точках (Xi, ni/(nb)). Эмпирическаяфункция распределения определяется равенством (2.1).

Выборочный начальный момент r-го порядка определяется ра-венством

a∗r =1

n

n∑

i=1

Xri ,

если выборка представлена статистическим рядом, то

a∗r =1

n

k∑

i=1

niXri ,

выборочный центральный момент r-го порядка определяется ра-венством

a0∗r =1

n

n∑

i=1

(Xi − X

)r,

если выборка представлена статистическим рядом, то

a0∗r =1

n

k∑

i=1

ni

(Xi − X

)r,

где X = a∗1 = 1n

∑ni=1Xi — выборочное среднее, для статистическо-

го ряда X = a∗1 = 1n

∑ki=1 niXi.

Выборочная квантиль xp порядка p определяется как элементвариационного ряда X(1) 6 X(2) 6 . . . 6 X(n) выборки X[n] с номе-ром [np] + 1, где [a] — целая часть числа a. В описательной стати-стике используют ряд квантилей, имеющих специальные названия

243

персентили (квантили порядков 0.01; 0.02;. . . ;0.99), децили (кван-тили порядков 0.1; 0.2;. . . ;0.9), квартили (квантили порядков 0.25;0.5; 0.75).

Наиболее распространенными характеристиками положенияявляются выборочное среднее, выборочная медиана (медианой на-зывается число, которое делит вариационный ряд на две части, со-держащие равное количество элементов; если n = 2k + 1, то меди-аной выборки является элемент вариационного ряда X(k+1), еслиn = 2k, то медианой выборки является число (X(k) + X(k+1))/2),выборочная мода (модой называется элемент выборки, имеющийнаибольшую частоту).

Наиболее распространенными мерами рассеяния являютсяразмах (размах R = Xmax−Xmin), средний межквартильный раз-

мах (три квартили Q1, Q2, Q3 делят вариационный ряд на четыречасти с равным числом элементов, тогда средний межквартиль-ный размах равен (Q3 −Q1)/2), персентильный размах (персен-тильный размах равен разности персентилей P90 − P10), дисперсия

(дисперсия s2 = a0∗2 ; исправленная дисперсия s2 = ns2/(n − 1))и среднее квадратическое отклонение (среднее квадратическое от-клонение s =

√s2).

В качестве меры относительного разброса используют коэф-фициент вариации v = s/X, иногда коэффициент записывают впроцентах Cv = v · 100%.

Для оценки формы распределения служат коэффициент

асимметрии Sk1 = a0∗3 /s3 и коэффициент эксцесса K = a0∗4 /s

4 −3, для нормального распределения теоретические коэффициентыасимметрии и эксцесса, вычисляемые по распределению генераль-ной совокупности, равны нулю. Еще один показатель асимметриивычисляется на основе квантилей Sk2 = (Q3+Q1− 2Q2)/(Q3−Q1).

244

Глава 13

Статистики. Предельные распределения

§1. Статистики первого типа

Будем рассматривать функционал G(F ), заданный на множествефункций распределения, следуя [5]:

G(F ) = h

∞∫

−∞

g(x)dF (x)

,

где g : R → Rm — заданная борелевская функция,a =

∫∞−∞ g(x)dFξ(x) ∈ Rm, некоторая борелевская функция

h : Rm → R

l непрерывная в точке a. Тогда назовем статистикуS(X[n]) = G(F ∗

n) статистикой первого типа. Таким образом,

S(X[n]) = G(F ∗n ) = h

(∫∞−∞ g(x)dF ∗

n(x))= h

(1n

∑ni=1 g(Xi)

).

Замечание 1.1. Если h(t) ≡ t, g(x) = xk то G(F ∗n ) = a∗k начальный

эмпирический момент порядка k. Нетрудно заметить, что централь-ный эмпирический момент также является статистикой первого ти-па. Покажем это для дисперсий (центральный момент второго по-рядка):

s2 = a0∗2 =1

n

n∑

i=1

(Xi − a∗1)2 =

1

n

n∑

i=1

X2i −

(1

n

n∑

i=1

Xi

)2

,

245

a02 =

+∞∫

−∞

(x− a1)2dFξ(x) =

+∞∫

−∞

x2dFξ(x) −

+∞∫

−∞

xdFξ(x)

2

.

Выберем функции h и g следующего вида:

h(t1, t2) = t2 − t21,

g(x) = (g1(x), g2(x)) = (x, x2).

Тогда получаем равенства:

a02 = h

+∞∫

−∞

g(x)dFξ(x)

,

a0∗2 = h

(1

n

n∑

i=1

g(xi)

).

Теорема 1.1. Пусть S(X[n]) = G(F ∗n ) — статистика первого ти-

па, тогда имеет место сходимость:

S(X[n])п.н.−−−−→n→∞

h(a) = G(Fξ).

Доказательство. Из усиленного закона больших чисел Кол-могорова следует сходимость:

1

n

n∑

i=1

g(Xi)п.н.−−−−→

n→∞Eg(ξ) =

+∞∫

−∞

g(x)dFξ(x),

так как все слагаемые взаимно независимые, одинаково распреде-ленные случайные величины. Функция h(·) непрерывна в точке a,следовательно,

G(F ∗n) = h

(1

n

n∑

i=1

g(Xi)

)п.н.−−−−→

n→∞h

+∞∫

−∞

g(x)dFξ(x)

.

246

Следствие 1.1. Пусть у генеральной совокупности ξ существу-

ет теоретический начальный момент порядка k, ak = Eξk ∈ R,

тогда

a∗kп.н.−−−−→n→∞

ak.

Следствие 1.2. Пусть у генеральной совокупности ξ существует

теоретический центральный момент порядка k, a0k = E(ξ−Eξ)k ∈R, тогда

a0∗kп.н.−−−−→n→∞

a0k.

Замечание 1.2. Рассмотрим случайный вектор ξ = (ξ1, . . . , ξm)T

с m компонентами. Пусть имеется выборка:

(X1, X2, . . . , Xn) =

X11 X12 . . . X1n

X21 X22 . . . X2n

. . . . . . . . . . . .Xm1 Xm2 . . . Xmn

.

Рассмотрим компоненты ξk и ξl, им соответствуют элементы выбор-ки: Xk1, . . . , Xkn и Xl1, . . . , Xln. Вычислим выборочные моменты:

a∗1k = Xk =1

n

n∑

i=1

Xkiп.н.−−−−→

n→∞Eξk,

a∗1l = Xl =1

n

n∑

i=1

Xliп.н.−−−−→

n→∞Eξl.

Кроме того,

a∗2k = s2k =1

n

n∑

i=1

(Xki − Xk)2 п.н.−−−−→

n→∞Dξk,

a∗2l = s2l =1

n

n∑

i=1

(Xli − Xl)2 п.н.−−−−→

n→∞Dξl.

Коэффициент корреляции равен

(ξk, ξl) =cov(ξk, ξl)√Dξk

√Dξl

,

247

где

cov(ξk, ξl) = E(ξk − Eξk)(ξl − Eξl) = E(ξkξl)− E(ξk)E(ξl).

Подберем эмпирический аналог ковариации. Рассмотрим элементывыборки: (

Xk1

Xl1

),

(Xk2

Xl2

), . . . ,

(Xkn

Xln

).

Надо центрировать величины:(Xk1 − Xk

Xl1 − Xl

),

(Xk2 − Xk

Xl2 − Xl

), . . . ,

(Xkn − Xk

Xln − Xl

).

Перемножив их, получаем выборочную ковариацию:

cov(ξk, ξl) =1

n

n∑

i=1

(Xki − Xk)(Xli − Xl) =

=1

n

n∑

i=1

XkiXli − XkXlп.н.−−−−→

n→∞cov(ξk, ξl).

Так как имеют место сходимости:

1

n

n∑

i=1

XkiXliп.н.−−−−→

n→∞E(ξkξl),

XkXlп.н.−−−−→

n→∞EξkEξl,

тогда имеет место сходимость почти наверное для выборочного ко-эффициента корреляции:

ˆ(ξkξl) =cov(ξk, ξl)√

s2ks2l

п.н.−−−−→n→∞

(ξkξl).

Напомним, что под одномерной выборкой понимаем взаимно неза-висимые случайные величины, распределенные так же, как гене-ральная совокупность.

248

§2. Теоремы непрерывности

Теорема 2.1. Пусть η — случайная величина, заданная на веро-

ятностном пространстве (Ω,F , P ), последовательность случай-

ных величин ηn также задана на (Ω,F , P ). Пусть борелевская

функция H : R −→ R непрерывна на борелевском множестве

B ∈ B(R), Pη ∈ B = 1, тогда справедливы утверждения:

1. Если ηnп.н.−−−−→n→∞

η, тогда H(ηn)п.н.−−−−→n→∞

H(η).

2. Если ηnP−−−−→

n→∞η, тогда H(ηn)

P−−−−→n→∞

H(η).

Доказательство. Докажем первое утверждение. Определиммножество A следующим образом:

A = ω : ηn(ω) −−−−→n→∞

η(ω).

По условию: P (A) = 1. Рассмотрим множество A ∩ η−1(B). Опре-делим вероятность:

P (A ∩ η−1(B)) = P (A ∪ η−1(B) 6 P (A) + P (η−1(B)) = 0,

тогда P (A ∩ η−1(B)) = 1.Теперь рассмотрим событие ω ∈ A ∩ η−1(B). Тогда

ηn(ω) −−−−→n→∞

η(ω) ∈ B.

Следовательно, имеет место сходимость:

H(ηn(ω)) −−−−→n→∞

H(η(ω)).

Докажем второе утверждение теоремы от противного. Пустьутверждение 2 неверно. Это означает, что существует ε > 0, суще-ствует δ > 0, и существует последовательность n(1)

k , что справед-ливо неравенство

P|H(ηn(1)k

)−H(η)| > ε > δ.

Последовательность ηn(1)k

сходится по вероятности к η,

ηn(1)k

P−−−−→k→∞

η, следовательно, существует подпоследовательность

249

n(2)k ⊂ n(1)

k , для которой имеет место сходимость почти наверно:

ηn(2)k

п.н−−−−→k→∞

η.

Возникло противоречие, так как

ηn(2)k

п.н−−−−→k→∞

η,

но с другой стороны

P|H(ηn(2)k

)−H(η)| > ε > δ,

отсюда следует, что утверждение 2 верно.

Теорема 2.2. Пусть для последовательности случайных век-

торов имеет место сходимость по распределению: ηn =

(η(1)n , . . . , η

(m)n )

d−−−−→n→∞

η = (η(1), . . . , η(m)). Пусть задана функция

H : Rm → Rl непрерывная на R

m, тогда H(ηn)d−−−−→

n→∞H(η).

Доказательство. Для любой непрерывной и ограниченнойфункции g(x) должно выполняться следующее предельное соотно-шение:

Eg(H(ηn)) −−−−→n→∞

Eg(H(η)).

Рассмотрим g(H(t)) ≡ h(t), т.е. h — суперпозиция двух непрерыв-ных функций, следовательно, она непрерывна. Так как g ограниче-на, то отсюда следует, что h ограничена, то есть выполнено следу-ющее соотношение:

Eh(ηn) −−−−→n→∞

Eh(η).

Теорема 2.3. Пусть борелевская функция H : Rm → Rk непрерыв-

на на B ∈ B(Rm) и Pη ∈ B = 1. Пусть ηTn = (η1n, . . . , ηmn)d−−−−→

n→∞

η, тогда H(ηn)d−−−−→

n→∞H(η).

Доказательство. Доказательство теоремы можно найтив [2].

250

Теорема 2.4. Пусть последовательность случайных величин ηn

сходится по распределению к случайной величине η, ηnd−−−−→

n→∞η.

Пусть функция H : R → R — борелевская функция. Числовая по-

следовательность bn −−−−→n→∞

0, причем bn 6= 0 для любого n. Тогда

справедливы утверждения:

1. Если функция H дифференцируема в точке a ∈ R, то

H(a+ bnηn)−H(a)

bn

d−−−−→n→∞

H ′(a)η.

2. Если функция H дифференцируема в некоторой окрестности

точки a, H ′(a) = 0, и существует H ′′(a), то

H(a+ bnηn)−H(a)

b2n

d−−−−→n→∞

1

2H ′′(a)η2.

Доказательство. Докажем утверждение 1. Введем H1(x) иH1(x, y) = H1(x)y, причем

H1(x) =

H(a+x)−H(a)

x , x 6= 0,H ′(a), x = 0.

Из условия теоремы ясно, что H1(x) непрерывна в нуле, тогдаH1(x, y) непрерывна на множестве (0, y), y ∈ R. Покажем, что

(bnηn, ηn)d−−−−→

n→∞(0, η). Воспользуемся методом характеристических

функций. Надо показать, что

ϕ(bnηn,ηn)(t1, t2) −−−−→n→∞ϕ(0,η)(t1, t2). (2.1)

Рассмотрим левую часть (2.1):

ϕ(bnηn,ηn)(t1, t2) = Eei(t1bnηn+t2ηn) = Eei(t1bn+t2)ηn =

= ϕηn(bnt1 + t2)± ϕη(bnt1 + t2) = (ϕηn(bnt1 + t2)− ϕη(bnt1 + t2))+

+ ϕη(bnt1 + t2) −−−−→n→∞

ϕη(t2) = Eeit2η+it10 = ϕ(0,η)(t1, t2),

так как t1, t2 фиксированы, то (bnt1+t2) ∈ [a, b], то есть, сходимостьна данном промежутке равномерная (как показано в [22], из пото-чечной сходимости последовательности характеристических функ-ций к некоторой характеристической функции на конечном проме-жутке [a, b] следует равномерная сходимость на этом промежутке),

251

тогда (ϕηn(bnt1 + t2)−ϕη(bnt1 + t2)) −−−−→n→∞

0. Таким образом, пока-зали, что

ϕ(bnηn,ηn)(t1, t2) −−−−→n→∞ϕ(0,η)(t1, t2).

Заметим, что P(0, η) ∈ (0, y) : y ∈ R = 1, подставим в H1

случайный вектор (bnηn, ηn), получим:

H1(bnηn, ηn) =H(a+ bnηn)−H(a)

bn,

H1(bnηn, ηn)d−−−−→

n→∞H1(0, η) = H ′(a)η

как следует из теоремы 2.3.Докажем второе утверждение теоремы. Запишем формулу

Тейлора второго порядка:

H(a+ x) = H(a) +1

2H ′′(a)x2 + o(x2).

Введем функцию:

H2(x) =

H(a+x)−H(a)

x2 , x 6= 0,12H

′′(a), x = 0.

Введем функцию H2(x, y) = H2(x)y2, функция непрерывна на

множестве (0, y) : y ∈ R. Подставим в H2 случайный вектор(bnηn, ηn):

H2(bnηn, ηn)d−−−−→

n−→∞H2(0, η) =

1

2H ′′(a)η2,

H2(bnηn, ηn) =H(a+ bnηn)−H(a)

b2n.

Утверждение 2 доказано.

Замечание 2.1. Теорема 2.4 допускает обобщение на многомерныйслучай.

Теорема 2.5. Пусть задана функция H : Rm → R и последова-

тельность случайных векторов ηn = (η(1)n , . . . , η

(m)n )

d−−−−→n→∞

η =

(η(1), . . . , η(m)). Пусть числовая последовательность bn −−−−→n→∞

0

такая, что bn 6= 0 для любого n. Тогда справедливы утверждения:

252

1. Если существует ∂H∂t

∣∣t=a

=(

∂H∂t1, . . . , ∂H

∂tm

)∣∣∣t=a

, a ∈ Rm, то

H(a+ bnηn)−H(a)

bn

d−−−−→n→∞

H ′(a)ηT .

2. Если H ′(a) = 0, и существует H ′′(a) =(

∂2H∂ti∂tj

)∣∣∣t=a

, то

H(a+ bnηn)−H(a)

b2n

d−−−−→n→∞

1

2ηH ′′(a)ηT .

Доказательство. Доказательство этой теоремы аналогичнодоказательству Теоремы 2.4.

Замечание 2.2. Можно продолжить обобщение теоремы 2.5 наслучай H : Rm → Rl.

§3. Предельное распределение статистик первого

типа

Пусть задана статистика первого типа:

S(X[n]) = G(F ∗n ) = h

(1

n

n∑

i=1

g(Xi)

),

где G(F ) = h(∫∞

−∞ g(x)dF (x)),∫∞−∞ g(x)dFξ(x) = a ∈ Rm, т. е.

G(Fξ) = h(a).

Теорема 3.1. Пусть имеется выборка X[n] из генеральной

совокупности ξ с функцией распределения Fξ и S(X[n]) =

h

(1n

n∑i=1

g(Xi)

)— статистика I типа, борелевские функции h :

R → R, g : R → R, тогда справедливы утверждения:

1. Если существует h′(a), то

√n(S(X[n])− h(a)

) d−−−−→n→∞

h′(a)ζ,

где ζ — случайная величина, распределенная нормально с па-

раметрами (0, Dg(ξ)), ζ ∼ N(0, Dg(ξ)).

253

2. Если h′(a) = 0 и существует h′′(a), то

n(S(X[n])− h(a)

) d−−−−→n→∞

1

2h′′(a)ζ2.

Доказательство. Применима теорема 2.4. Преобразуемфункцию G(F ∗):

G(F ∗) = h

(1

n

n∑

i=1

g(Xi)

)= h

(a+

1

n

n∑

i=1

(g(Xi)− a)

)=

= h

(a+

1√n√n

n∑

i=1

(g(Xi)− a)

),

где a = Eg(X1). По центральной предельной теореме для одинаковораспределенных слагаемых, справедливо:

1√n

n∑

i=1

(g(Xi)− a) = ξnd−−−−→

n→∞ξ ∼ N(0, σ2),

где σ2 = Dg(ξ). Заметим, что 1√n= bn.

Теорема 3.2. Пусть задана статистика I типа S(X[n]) =

h

(1n

n∑i=1

g(Xi)

)и борелевские функции h : Rm → R, g : R → Rm,

тогда справедливы утверждения:

1. Если существует h′(a) =(

∂h∂t1, . . . , ∂h

∂tm

)∣∣∣t=a

, где a = Eg(ξ) =

(Eg1(ξ), . . . , Egm(ξ)), то

√n(S(X[n])− h(a)

)d−−−−→

n→∞h′(a)ζT ,

где случайный вектор ζ = (ζ1, . . . , ζm) подчиняется

многомерному нормальному распределению с параметрами

(0, Dg(ξ)), ζ ∼ N(0, Dg(ξ)).2. Если h′(a) = 0 и существует h′′(a), то

n(S(X[n])− h(a)

) d−−−−→n→∞

1

2ζh′′(a)ζT .

254

Доказательство. Доказательство проводится аналогично до-казательству теоремы 3.1. Применяется центральная предельнаятеорема для одинаково распределенных случайных векторов.

Пример 3.1. Рассмотрим генеральную совокупность ξ, для кото-рой Eξ = α > 0, Dξ = σ2. Получена выборка X[n] = (X1, . . . , Xn)из ξ. Найдем асимптотическое распределение статистики 1/X, гдеX = 1

n

∑ni=1Xi = a∗1. Покажем, что 1/X — статистика первого ти-

па.Для доказательства достаточно взять h(t) = 1/t, g(x) = x и

заметить, что

1/X = h

(1

n

n∑

i=1

g(Xi)

).

Очевидно, что

a =

+∞∫

−∞

g(x)dFξ(x) = Eg(ξ) = Eξ = α,

при этом, h(α) = 1/α, 1/X = h( 1n∑n

i=1 g(xi)) является статистикойпервого типа.

Из теоремы 3.1 следует, что

√n

(1

X− 1

α

)d−−−−→

n→∞ξ

(−1

α2

)= −ξ 1

α2,

где ξ ∼ N(0, σ2).

§4. Предельное распределение статистики Пирсо-

на

Пусть задана генеральная совокупность ξ с функцией распределе-ния Fξ и выборка X[n] = (X1, . . . , Xn). Разобьем числовую ось наr непересекающихся интервалов: −∞ = a0 < a1 < . . . < ar = ∞.Обозначим через ∆1 = (−∞, a1], ∆2 = (a1, a2], . . ., ∆r = (ar−1,∞).

Пусть pi = Fξ(ai) − Fξ(ai−1) — вероятность того, что случай-ная величина ξ попадет в интервал ∆i,

∑ri=1 pi = 1. Пусть ni —

255

количество элементов выборки X[n], попавших в ∆i. Определимстатистику χ2 следующим образом:

χ2 =

r∑

i=1

(ni − npi)2

npi, (4.1)

где ni — частота (количество элементов выборки, попавших в ∆i),npi — ожидаемое количество наблюдений в интервале ∆i.

Определение 4.1. Статистики вида (4.1) называются статисти-

ками χ2 или статистиками Пирсона.

Покажем, что статистика Пирсона может быть преобразованак статистике первого типа:

χ2 =

r∑

i=1

(ni − npi)2

npi= n

r∑

i=1

(1√pi

ni

n−√

pi

)2

=

= n

r∑

i=1

1

n

n∑

j=1

1√piI Xj ∈ ∆i −

√pi

2

. (4.2)

Рассмотрим статистику первого типа S(X[n]) = h( 1n

n∑j=1

g(Xj)), где в

качестве h возьмем функцию h(t1, . . . , tr) = =r∑

i=1

(ti −√

pi)2

, g(x) =

(g1(x), . . . , gr(x)) и gi(x) = 1√piI x ∈ ∆i, i = 1, . . . , r. Получаем:

1

n

n∑

j=1

g(Xj) =

(1√p1

n1

n, . . . ,

1√pr

nr

n

).

Таким образом, статистика χ2 представляет собой произведениеконстанты n на статистику первого типа. Следовательно, можновоспользоваться теоремой 3.2 о предельном распределении стати-стик первого типа.

Очевидно, что a = (a1, . . . , ar) = (Eg1(ξ), . . . , Egr(ξ)) =(√p1, . . . ,

√pr), при этом h′(a) = 0, 1

2h′′(a) = Er , где Er — еди-

ничная матрица порядка r. Из теоремы 3.2 получаем:

χ2(X[n])d−−−−→

n→∞ζT ζ = ζ21 + . . .+ ζ2r ,

256

где ζ ∼ N(0, Dg(ξ)). Вычислим ковариационную матрицу Dg(ξ):

Dg(ξ) = Eg(ξ)gT (ξ)

− Eg(ξ) (Eg(ξ))

T,

после дополнительных преобразований получаем

Dg(ξ) = Er − (√p1, . . . ,

√pr)

T(√p1, . . . ,

√pr) .

Пусть C — ортонормированная матрица CCT = CTC = Er. Зафик-сируем первую строку c1 = (

√p1, . . . ,

√pr) матрицы C. Остальные

строки будем искать методом ортогонализации Грамма-Шмидта.Случайный вектор η = Cζ подчиняется многомерному нор-

мальному распределению N(0, CDg(ξ)CT ), при этом из выбораматрицы C следует, что Dη1 = 0, кроме того, Eη1 = 0, следова-тельно, η1

п.н.= 0.

CDg(ξ)CT =

0 0 . . . 00. . .0

Er−1

.

Как легко видеть, ηT η = ζTCTCζ = ζT ζ = η21 + η22 + . . . + η2r =ζ21 + ζ22 + . . .+ ζ2r . Следовательно, распределения сумм одинаковы,поэтому

χ2 d−−−−→n→∞

η21 + . . .+ η2r ,

но η21 + . . .+ η2rп.н.= η22 + . . .+ η2r , тогда

χ2 d−−−−→n→∞

η22 + . . .+ η2r ,

где η2, . . . , ηr — взаимно независимые одинаково распределенныеслучайные величины, ηi ∼ N(0, 1), i = 2, . . . , r, η1

п.н.= 0.

Определение 4.2. Пусть δ1, . . . , δk — взаимно независимые одина-ково распределенные стандартные гауссовы случайные величины,тогда распределение случайной величины δ21 + . . . + δ2k, называет-ся распределением χ2 с k степенями свободы (или распределениемПирсона с k степенями свободы).

Проведенные рассуждения доказывают следующую теорему.

257

Теорема 4.1. Статистика χ2, определяемая равенством (4.1),асимптотически распределена по закону хи-квадрат с r − 1 сте-

пенью свободы:

χ2 =

r∑

i=1

(ni − npi)2

npi

d−−−−→n→∞

τ,

где τ подчиняется распределению хи-квадрат с r−1 степенью сво-

боды.

Замечание 4.1. Нетрудно заметить, что к статистике χ2, опреде-ляемой формулой (4.1), можно прийти, исходя из генеральной со-вокупности, подчиняющейся полиномиальному распределению с rвозможными исходами, где вероятности p1, p2,. . .,pr представляютсобой вероятности появления соответствующих исходов (

∑ri=1 pi =

1), n — число испытаний, n1 — количество появлений первого ис-хода, n2 — количество появлений второго исхода, . . ., nr — коли-чество появлений исхода с номером r,

∑ri=1 ni = n. В статистиче-

ском эксперименте непосредственно наблюдается выборка частот(n1, n2, . . . , nr). Утверждение теоремы 4.1 сохраняется и для рас-сматриваемого полиномиального распределения.

§5. Гамма-распределение

Гамма-функция определяется следующим образом:

Γ(p) =

∞∫

0

xp−1e−xdx, p > 0.

Свойства гамма-функции:1. Справедливы равенства:

Γ(1) = 1,Γ(2) = 1,

258

Γ

(1

2

)=

+∞∫

0

x−12 e−xdx = 2

+∞∫

0

e−xd(x12 ) =

= 2

+∞∫

0

e−y2

dy =

+∞∫

−∞

e−y2

dy =

+∞∫

−∞

e−y2

dy

2

12

=

=

+∞∫

−∞

+∞∫

−∞

e−y2

e−x2

dxdy

12

=√π,

в последнем интеграле переходим к полярным координатам.2. При p > 1, интегрируя по частям, нетрудно получить равен-

ство:Γ(p) = (p− 1)Γ(p− 1).

Если n ∈ N, то Γ(n) = (n− 1)!Плотность распределения случайной величины ξ, соответству-

ющая стандартному гамма-распределению с параметром формы p,определяется формулой:

fξ(x) =

xp−1

Γ(p) e−x, x > 0

0, x 6 0.

Нетрудно заметить, что fξ(x) > 0 и∫ +∞−∞ fξ(x)dx = 1.

Рассмотрим случайную величину η = ξ/λ, параметр λ > 0,нетрудно получить выражение для плотности распределения, соот-ветствующей гамма-распределению G(λ, p) с параметром формы pи параметром масштаба λ:

fη(x) =

λpxp−1

Γ(p) e−λx, x > 0

0, x 6 0.(5.1)

Если в формуле (5.1) положить λ = 1, то получим плотностьстандартного гамма-распределения, а если в формуле (5.1) поло-жить p = 1, то получим плотность экспоненциального распределе-ния.

259

Лемма 5.1. Пусть δ — случайная величина, подчиняющаяся стан-дартному нормальному распределению, δ ∼ N(0, 1), тогда случай-ная величина δ2 подчиняется гамма-распределению с параметрамиp = 1/2, λ = 1/2.

Доказательство. Пусть δ ∼ N(0, 1), то есть, fδ(x) =1√2πe−

x2

2 . Функцию распределения случайной величины δ обозна-чим через

F (y) =1√2π

y∫

−∞

e−t2

2 dt.

Найдем функцию распределения случайной величины δ2:

Pδ2 6 y = P (−√y 6 δ 6

√y) = F (

√y)− F (−√

y),

дифференцируя, найдем плотность распределения для y > 0:

fδ2(y) =1

2

1√y

1√2πe−

y2 +

1

2

1√y

1√2πe−

y2 =

=

(1

2

) 12

y−12

1√πe−

y2 =

( 12 )

12 y− 1

2

Γ( 12 )

e−y2 , y > 0;

0, y < 0.

Следовательно, случайная величина δ2 подчиняется гамма-распределению с параметрами p = 1/2, λ = 1/2.

Лемма 5.2. Пусть заданы взаимно независимые случайные вели-чины ξ1 ∼ G(λ, p1), ξ2 ∼ G(λ, p2), тогда ξ = ξ1 + ξ2 ∼ G(λ, p1 + p2).

Доказательство. Очевидно, что

Pξ 6 y =

∫∫

(x1,x2)|x1+x26y

fξ1(x1)fξ2(x2)dx1dx2 =

=

+∞∫

−∞

fξ1(x1)

y−x1∫

−∞

fξ2(x2)dx2dx1.

260

Сделаем замену переменных: u = x1 + x2, du = dx2, тогда

Pξ 6 y =

+∞∫

−∞

fξ1(x1)

y∫

−∞

fξ2(u − x1)dudx1 =

=

y∫

−∞

+∞∫

−∞

fξ1(x1)fξ2(u− x1)dx1du.

Получили формулу свертки для плотности суммы двух независи-мых случайных величин:

fξ(u) =

+∞∫

−∞

fξ1(x1)fξ2(u− x1)dx1 =

u∫

0

fξ1(x1)fξ2(u− x1)dx1 =

=

u∫

0

λp1+p2

Γ(p1)Γ(p2)xp1−11 (u− x1)

p2−1e−λx1e−λ(u−x1)dx1 =

=λp1+p2e−λu

Γ(p1)Γ(p2)

u∫

0

xp1−11 (u− x1)

p2−1dx1.

Сделаем замену переменных под знаком интеграла: x1 = su, s ∈(0, 1), dx1 = uds, тогда

fξ(u) =λp1+p2e−λu

Γ(p1)Γ(p2)up1+p2−1

1∫

0

sp1−1(1− s)p2−1ds =

=

cup1+p2−1e−λuλp1+p2 , u > 0;0, u 6 0,

где c = (∫ 1

0 sp1−1(1 − s)p2−1ds)/(Γ(p1)Γ(p2)). Найдем c из условия

нормировки:

c

+∞∫

0

λp1+p2up1+p2−1e−λudu = 1.

261

Сделаем замены переменных: x = λu, u = x/λ, du = dx/λ, тогда

c

+∞∫

0

xp1+p2−1e−xdx = cΓ(p1 + p2) = 1

или

c =1

Γ(p1 + p2).

Плотность fξ(x) имеет вид:

fξ(x) =

λp1+p2

Γ(p1+p2)xp1+p2−1e−λx, x > 0

0, x 6 0.

В ходе доказательства леммы 5.2 получено тождество, связы-вающее бета-функцию с гамма-функциями:

B(p1, p2) =

1∫

0

sp1−1(1 − s)p2−1ds =Γ(p1)Γ(p2)

Γ(p1 + p2).

Следствие 5.1. Пусть случайные величины δi ,i = 1, . . . ,m взаим-

но независимы, одинаково распределены и подчиняются стандарт-

ному нормальному распределению, δi ∼ N(0, 1). Тогда δ21+. . .+δ2m ∼

G(12 ,m2 ).

Доказательство следует из лемм 5.1, 5.2.

Замечание 5.1. Доказано важное утверждение: распределение хи-квадрат с m степенями свободы является частным случаем гаммараспределения с параметрами λ = 1/2, p = m/2.

Если случайная величина τ подчиняется распределению хи-квадрат с m степенями свободы, то ее плотность имеет вид:

fτ (x) =

xm2 −1e−

12x

2m2 Γ(m2 )

, x > 0;

0, x 6 0.

262

Глава 14

Критерии согласия для простых гипотез

§1. Критерий согласия Пирсона

Определение 1.1. Статистической гипотезой называется лю-бое предположение о законе распределения генеральной совокуп-ности.

Определение 1.2. Гипотеза называется простой, если в ней един-ственным образом определяется закон распределения генеральнойсовокупности. В противном случае гипотеза называется сложной.

Один из типов гипотез — гипотезы согласия. Методы провер-ки этих гипотез — критерии согласия. Пусть задана генеральнаясовокупность ξ, функция распределения Fξ, которой взаимно одно-значно соответствует распределению генеральной совокупности Pξ,и выборка X[n] = (X1, . . . , Xn). Гипотезы принято обозначать черезH . Пусть H0 — основная (нулевая) гипотеза.

Пусть проверяется гипотеза согласия H0 : Fξ = F0, при этомпредполагается, что F0(x) известна. Очевидно, что данная гипотеза— простая. Сформулируем альтернативную гипотезу: H1 : Fξ 6=F0. Для нас важна гипотеза H0, необходимо решить: принять ееили отклонить. Решение принимается по имеющейся выборке X[n],т. е. проверяется «хорошо» ли выборка X[n] согласуется с F0. Мыможем принять гипотезу, но при этом она на самом деле можетбыть неверной.

Рассмотрим критерий Пирсона (критерий χ2). Числовую осьразбиваем на r промежутков −∞ = a0 < a1 < . . . < ar = ∞,

263

∆i = (ai−1, ai], r = 1, . . . , r, и построим статистику χ2:

χ2(X[n]) =r∑

i=1

(ni − np(0)i )2

np(0)i

.

где p(0)i = F0(ai) − F0(ai−1). Если H0 верна, тогда по теоре-

ме 4.1 главы 13: χ2(X[n])d−−−−→

n→∞ζ, где ζ подчиняется распре-

делению хи-квадрат с r − 1 степенью свободы. В § 4 главы13 было показано, что χ2(X[n]) = nS(X[n]) = nh( 1ng(Xi)), где

h(t1, . . . , tr) =r∑

i=1

(ti −

√p(0)i

)2

, g(x) = (g1(x), . . . , gr(x)) и gi(x) =

1√

p(0)i

I x ∈ ∆i, i = 1, . . . , r.

Статистика S(X[n]) = h

(1n

n∑j=1

g(Xj)

)является статистикой

первого типа. При гипотезе H0 имеем a =

(√p(0)1 , . . . ,

√p(0)r

)и

h(a) = 0. Если H0 верна, тогда h

(1n

n∑j=1

g(Xj)

)п.н.−−−−→

n→∞h(a) = 0.

Если верна гипотеза H1, то a 6=(√

p(0)1 , . . . ,

√p(0)r

), тогда

h(a) 6= 0, но статистика h

(1n

n∑j=1

g(Xj)

)п.н.−−−−→

n→∞h(a) 6= 0, следо-

вательно,

χ2 = nh

1

n

n∑

j=1

g(Xj)

п.н.−−−−→

n→∞∞.

Поведение статистики χ2 зависит от того, верна нулевая гипотезаили нет.

Нетрудно понять, как выбрать критическую область для гипо-тезы H0. Если χ2(X[n]) > C, то H0 отклоняется, если χ2(X[n]) < C,то нет оснований для отклонения H0.

Выберем вероятность α ∈ (0, 1). В качестве α часто выбирают0,05. Константу C(r − 1, α) выберем из условия

Pη > C = α,

264

где случайная величина η подчиняется распределению хи-квадратс r− 1 степенью свободы. Константа C(r− 1, α) представляет собойквантиль уровня 1− α распределения хи-квадрат с r − 1 степеньюсвободы. Для практического нахождения квантили можно исполь-зовать статистические таблицы. Область (C(r − 1, α),∞) являетсякритической для гипотезы H0. Если χ2(X[n]) > C(r − 1, α), то H0

отклоняется, а если χ2(X[n]) 6 C(r − 1, α), то для отклонения нетоснований.

В результате применения критерия могут возникать следую-щие ошибки:

• Ошибка первого рода, если мы отбросили гипотезу H0, а онана самом деле верна.

• Ошибка второго рода, если мы принимаем гипотезу H0, а онана самом деле не верна.

Учитывая доказанную асимптотику, вероятность ошибки первогорода приближенно совпадает с заданной вероятностью α. Вероят-ность ошибки первого рода называют часто уровнем значимостикритерия.

Возможен альтернативный подход. Найдем вероятность

Pη > χ2(X[n]) = 1− Fχ2r−1

(χ2(X[n]),

где Fχ2r−1

(·) — функция распределения хи-квадрат с r − 1 степе-нью свободы. Вероятность вычисляется при условии справедливо-сти H0. Эта вероятность называется p-значением (p-value). В про-граммах типа SPSS, STATISTICA реализован второй подход.

Большие значения статистики χ2 свидетельствуют против H0.Интервал (χ2(n1, . . . , nr); +∞) — критическая область значенийстатистики χ2, там находятся еще более «худшие» значения ста-тистики для гипотезы H0:

PH0(χ2(n1, . . . , nr); +∞) = 1− Fχ2

r−1(χ2(n1, . . . , nr)) = p.

Далее можно выбрать значение α (например, 0,05) и применить сле-дующий критерий. Если p 6 α, то мы отвергаем H0 и принимаемальтернативу H1. Если p > α, то гипотеза H0 согласуется с наблю-дениями. Конечно, указанный критерий полностью эквивалентенкритерию в первом подходе.

265

Можно отметить некоторые общие особенности статистиче-ских критериев, которые обсуждались выше. Любой статистиче-ский критерий устроен следующим образом:

1. Выбираем статистику критерия, закон распределения кото-рой известен, если справедлива H0.

2. Определяем критическую область для гипотезы H0, попада-ние в которую маловероятно, если гипотеза H0 верна, но приэтом, вероятность попадания в эту область при условии ис-тинности гипотезы H1 больше, чем при условии истинностигипотезы H0.

3. Уровень значимости или вероятность ошибки первого рода —вероятность попадания в критическую область при условииистинности H0, обычно выбирается малой, например, 0,05.Существует правило p-значения: находится вероятность полу-чения значений статистики, которые еще «хуже», чем полу-ченное значение при условии истинности H0. Если p-значениеоказывается меньше заданного уровня значимости α, то ну-левую гипотезу отвергают.

§2. Критерий согласия Колмогорова

Пусть задана генеральная совокупность ξ, функция распределе-ния Fξ которой взаимно однозначно соответствует распределениюPξ, и выборка X[n] = (X1, . . . , Xn). Выдвинем нулевую гипотезуH0 : Fξ = F0, H1 : Fξ 6= F0. Рассмотрим другой критерий согласия— критерий Колмогорова. Дополнительно наложим ограничение:функция F0(x) непрерывна на R. Рассмотрим статистику Колмого-рова:

Dn(X[n]) = supx∈R

∣∣F ∗n(x,X[n])− F0(x)

∣∣ . (2.1)

Если верна гипотеза H0, то Dn(X[n])п.н.−−−−→

n→∞0. Если верна гипотеза

H1, т. е. Fξ ≡ G 6= F0, тогда

Dn(X[n])п.н.−−−−→

n→∞supx∈R

|G(x)− F0(x)| > 0.

Можно показать, что при условии справедливости гипотезыH0 рас-пределение статистикиDn(X[n]) не зависит от конкретного вида F0.

266

Лемма 2.1. Если гипотезаH0 верна, и F0(x) — непрерывная функ-ция на R, тогда распределение статистики

Dn = supx∈R

∣∣F ∗n(x;X[n])− F0(x)

∣∣

не зависит от закона распределения генеральной совокупности.

Доказательство. Предположим дополнительно, что суще-ствует (α, β): α > −∞, β 6 +∞, что F0(x) строго монотонна на(α, β), при этом F0(α) = 0, F0(β) = 1. Подставим в качестве аргу-

мента в F0(x) случайную величину ξ. Заметим, что ξп.н.∈ (α, β) и

Xi

п.н.∈ (α, β) для всех i. Тогда из строгой монотонности F0 следуютравенства:

PF0(ξ) 6 y = Pξ 6 F−10 (y) = F0(F

−10 (y)) = y.

Таким образом, получили соотношение: PF0(ξ) 6 y = y, ес-ли y ∈ [0, 1], то есть, F0(ξ) подчиняется равномерному распреде-лению. Обозначим F0(Xi) через Yi, i = 1, . . . , n, тогда выборкаY[n] = (Y1, . . . , Yn) — выборка из равномерного распределения наотрезке [0, 1]. Очевидно, что

F ∗n(x,X[n]) =

1

n

n∑

j=1

IXj 6 x =1

n

n∑

j=1

IF0(Xj) 6 F0(x) =

=1

n

n∑

j=1

IYj 6 y = F ∗n(y, Y[n]),

где F ∗n(y, Y[n]) — эмпирическая функция распределения, построен-

ная по выборке из равномерного распределения, y = F0(x).Тогда имеет место равенство:

supx∈R

∣∣F ∗n (x,X[n])− F0(x)

∣∣ = supy∈[0,1]

∣∣F ∗n(y, Y[n])− y

∣∣ .

Отсюда следует равенство:

Psupx∈R

∣∣F ∗n(x,X[n])− F0(x)

∣∣ 6 z = P supy∈[0,1]

∣∣F ∗n(y, Y[n])− y

∣∣ 6 z.

267

Последнюю вероятность можно вычислять для различных значе-ний z как многомерный интеграл от плотности, тождественно рав-ной единице внутри гиперкуба [0, 1]n. Интегрирование проводитсяпо множеству точек в [0, 1]n, удовлетворяющих неравенству, содер-жащемуся под знаком вероятности. Таким образом, для рассмат-риваемого случая можно построить точные критические областис заданным уровнем значимости независимо от конкретного видаF0(x).

Можно найти квантиль z1−α для некоторого α. Рассмотримкритическую область (z1−α, 1], если статистика (2.1) попадает вданную область, тогда отвергаем H0 и принимаем H1. Если Dn ∈[0, z1−α), тогда принимаем гипотезу H0.

Замечание 2.1. Доказательство леммы 2.1 можно распростра-нить на случай, когда от F0(x) не требуется строгой монотонности,для доказательства необходимо рассмотреть обобщенную обратнуюфункцию:

F−10 (y) = supx : F0(x) 6 y.

Таким образом, возможно построение точного критерия согла-сия для фиксированного n. Однако, при больших n возникают се-рьезные вычислительные трудности. Справедлива следующая тео-рема А. Н. Колмогорова.

Теорема 2.1. Если гипотеза H0 верна, и F0(x) — непрерывная

функция на R, тогда имеет место сходимость:

P√nDn(X[n]) 6 z −−−−→n→∞

K(z) = 1 + 2

∞∑

m=1

(−1)me−2m2z2

.

Находим константу d1−α как решение уравнения:

K(d1−α) = 1− α.

Правило проверки гипотез будет следующим. Если√nDn(X[n]) ∈

(d1−α,∞), тогда гипотеза H0 отвергается, если√nDn(X[n]) /∈

(d1−α,∞), тогда гипотеза H0 принимается. Для практической про-верки гипотез согласия по критерию Колмогорова можно восполь-зоваться таблицами математической статистики.

268

Статистику Dn(X[n]) можно вычислить с помощью простоговычислительного алгоритма:

Dn(X[n]) = max16i6n

[i

n− F0(X(i)), F0(X(i))−

i− 1

n

],

гдеX(1) < . . . < X(n) — вариационный ряд, построенный по выборкеX[n].

Замечание 2.2. Критерий ω2.Пусть задана генеральная совокупность ξ с функцией распре-

деления Fξ и выборка X[n] = (X1, . . . , Xn) из этой генеральной со-вокупности. Выдвинем нулевую гипотезу H0 : Fξ = F0, при кон-курирующей гипотезе H1 : Fξ 6= F0. Статистика критерия имеетвид:

ω2n =

1

12n+

n∑

i=1

F0(X(i))−

2i− 1

2n

2

,

гдеX(1) < . . . < X(n) — вариационный ряд, построенный по выборкеX[n].

При справедливости гипотезы H0 и непрерывности функцииF0 распределение статистики омега-квадрат зависит только от n ине зависит от F0. При малых n имеются таблицы критических то-чек, а для больших значений n следует использовать предельное(при n → ∞) распределение статистики ω2

n. Для него составленыподробные таблицы и вычислительные программы. Важное с теоре-тической точки зрения свойство критериев, основанных на Dn и ω2

n:они состоятельны против любой альтернативной гипотезы Fξ 6= F0.

Статистический критерий для проверки гипотезы H0 называ-ют состоятельным против альтернативной гипотезы H1, если веро-ятность отвергнуть H0, когда на самом деле верна H1, стремится к1 при неограниченном увеличении объема наблюдений.

269

Глава 15

Точечные оценки

§1. Свойства точечных оценок

Рассмотрим выборку X[n] = (X1, . . . , Xn), генеральную совокуп-ность ξ и ее функцию распределения Fξ(x, θ), где θ = (θ1, . . . , θm)— неизвестные параметры в распределении случайной величины ξ.По имеющейся выборке можно построить оценку для этих пара-метров.

Определение 1.1. Пусть θ ∈ Θ ⊂ R. Под оценкой понимаетсястатистика θ(X[n]) такая, что получившееся значение можно рас-

сматривать как точечную оценку параметра θ (θ(X[n]) ∼ θ).

Невозможно найти численное значение вероятности

P∣∣∣θ(X[n])− θ

∣∣∣ > ε

для произвольного ε, так как вероят-

ность содержит неизвестный параметр θ. Тогда какую оценкусчитать «хорошей»?

Свойства точечных оценок

1. Несмещенность.

Определение 1.2. Пусть параметр θ ∈ Θ ⊂ R. Говорят, что оценкаθ(X[n]) является несмещенной оценкой параметра θ, если

Eθ(X[n]) = θ (1.1)

для любого θ ∈ Θ.

270

Определение 1.3. Говорят, что оценка θ(X[n]) является асимпто-тически несмещенной оценкой параметра θ, если

Eθ(X[n]) −−−−→n→∞

θ (1.2)

для любого θ ∈ Θ.

Замечание 1.1. Свойство несмещенности позволяет агрегироватьинформацию, накопленную в различных научных центрах. Рас-смотрим следующий пример. Пусть θ1 — несмещенная оценка па-раметра θ, полученная в некотором научном центре, θ2 — несме-щенная оценка того же параметра, полученная в другом научномцентре. Предполагая, что техническая оснащенность научных цен-тров одинаковая, будем считать, что дисперсии оценок одинаковы:

D(θi) = E(θi − θ)2 = σ2(θ),

E(θi) = θ, i = 1, 2.

Рассмотрим новую оценку:

θ =θ1 + θ2

2,

Eθ =Eθ1 + Eθ2

2= θ,

тогда имеют место равенства:

Dθ = E(θ − θ)2 =1

4E(θ1 − θ) + (θ2 − θ)2 =

σ2(θ)

2.

Как видим, агрегированная оценка оказывается более точной, дис-персия уменьшилась в два раза.

Пример 1.1. Выборочное среднее является несмещенной оценкойдля математического ожидания:

EX = E

1

n

n∑

k=1

Xk

=

1

n

n∑

k=1

EXk = Eξ = a1.

271

Рассмотрим выборочную дисперсию, проверим, выполнено ли свой-ство несмещенности:

Es2 = E

1

n

n∑

k=1

(Xk − a1 −

1

n

n∑

i=1

(Xi − a1)

)2

=

= E

1

n

n∑

k=1

(Xk − a1)2 −

(1

n

n∑

k=1

(Xk − a1)

)2 =

=1

n

n∑

k=1

E(Xk − a1)2 − 1

n2

n∑

k=1

σ2 = σ2 − 1

nσ2 =

n− 1

nσ2,

при выводе формулы учитывалось следующее соотношение:

E(Xk − a1)(Xl − a1) = σ2δkl =

σ2, k = l;0, k 6= l.

Таким образом, получаем равенство:

Es2 =n− 1

nσ2,

следовательно, s2 — смещенная оценка, однако она является асимп-тотически несмещенной оценкой: Es2 −−−−→

n→∞σ2.

Рассмотрим исправленную оценку дисперсии:

s2 =n

n− 1s2 =

1

n− 1

n∑

k=1

(Xk −X)2,

как легко видеть, s2 — несмещенная оценка дисперсии.

2. Состоятельность.

Определение 1.4. Пусть параметр θ ∈ Θ ⊂ R. Говорят, что оценкаθ(X[n]) состоятельна, если

θ(X[n])P−−−−→

n→∞θ (1.3)

для любого θ ∈ Θ.

272

Определение 1.5. Оценка θ(X[n]) называется сильно состоятель-ной оценкой параметра θ, если

θ(X[n])п.н.−−−−→

n→∞θ (1.4)

для любого θ ∈ Θ.

Замечание 1.2. В случае, когда θ(X[n]) — векторная оценка, свой-ство состоятельности и сильной состоятельности рассматриваютсяпокомпонентно.

Замечание 1.3. В определении оценки предполагалось, что nфик-сировано, но обычно под оценкой понимают некоторое правило, покоторому можно построить оценку для любого n.

Замечание 1.4. Пусть существует Eξk, тогда a∗k — статистикапервого рода, где a∗k — эмпирический момент порядка k. Тогдаa∗k

п.н.−−−−→n→∞

ak = Eξk, т. е. a∗k является сильно состоятельной оцен-

кой.Пусть существует E(ξ − Eξ)k, тогда

a0∗k =1

n

n∑

i=1

(Xi − X)k

— сильно состоятельная оценка для теоретического момента:

a0∗kп.н.−−−−→

n→∞a0k = E(ξ − Eξ)k.

Пример 1.2. Выборочное среднее и выборочная дисперсия пред-ставляют собой сильно состоятельные оценки соответствующихчисловых характеристик случайной величины при условии, что онисуществуют и конечны.

a∗1 = Xп.н−−−−→

n→∞a1 = Eξ,

s2 =1

n

n∑

k=1

(Xk − X)2 = a0∗2п.н−−−−→

n→∞a02 = Dξ.

273

3. Эффективность.

Пусть в распределении генеральной совокупности имеетсянеизвестный параметр θ ∈ Θ ⊂ R. Рассмотрим некоторый классоценок K = θ(X[n]) параметра θ.

Определение 1.6. Говорят, что оценка θ∗(X[n]) ∈ K является эф-фективной оценкой параметра θ в классе K, если для любой другойоценки θ ∈ K имеет место неравенство:

E(θ∗ − θ)2 6 E(θ − θ)2 (1.5)

для любого θ ∈ Θ.

Класс несмещенных оценок обозначим через

K0 =θ(X[n]) : Eθ = θ, ∀θ ∈ Θ

.

Оценка, эффективная в классе K0, называется эффективнойоценкой.

Рассмотрим случай, когдаm > 1, то есть, θ = (θ1, . . . , θm). Длялюбого y ∈ Rm определим αy = (θ, y) = θ1y1 + . . . + θmym. Тогдаα∗y = (θ∗, y) — оценка параметра αy.

Определение 1.7. Будем говорить, что оценка θ∗ ∈ K являетсяэффективной оценкой параметра θ = (θ1, . . . , θm) в классе K, еслидля любой другой оценки θ ∈ K и любого y ∈ Rm при любомдопустимом значении θ ∈ Θ имеет место неравенство:

E(α∗y − αy)

26 E(αy − αy)

2, (1.6)

где αy = (θ, y).

Теорема 1.1. Пусть несмещенные оценки θ1 и θ2 параметра

θ ∈ Θ ⊂ R являются эффективными, тогда оценки θ1 и θ2 почти

наверное совпадают.

Доказательство. Рассмотрим θ = (θ1 + θ2)/2. Нетрудно по-

274

казать несмещенность данной оценки. Справедливо тождество:

(θ1 − θ)2

2+

(θ2 − θ)2

2=

((θ1 − θ)

2− (θ2 − θ)

2

)2

+

+

((θ1 − θ)

2+

(θ2 − θ)

2

)2

.

Из условия теоремы следует, что для любого θ ∈ Θ имеет месторавенство:

Dθ1 = Dθ2 = d2(θ).

Кроме того, для любого θ ∈ K0 должно выполняться неравенство:Dθ > d2(θ). Найдем для тождества математическое ожидание:

d2(θ) =1

4E(θ1 − θ2)

2 +Dθ.

Следовательно, E(θ1 − θ2)2 = 0 (так как если это неверно, то Dθ <

d2(θ), чего быть не может), но тогда θ1п.н= θ2.

Замечание 1.5. Утверждение теоремы переносится на многомер-ный случай.

Рассмотрим случай, когда θ вектор. Пусть θ = (θ1, . . . , θk)T ∈

Θ ⊂ Rk, θ ∈ K0, то есть Eθ = θ для любого θ ∈ Θ. Возьмем любойвектор y ∈ R

k, рассмотрим скалярное произведение:

(θ, y) =k∑

i=1

θi(X[n])yi,

как оценку для скалярного произведения (θ, y). Оценка (θ, y) будетнесмещенной оценкой:

E(θ, y) = (θ, y)

для любого θ ∈ Θ и y ∈ Rk.

275

Оценка θ эффективна, если D(θ, y) 6 D(θ, y) для любого θ ∈K0 и любого θ ∈ Θ, и y ∈ R

k. Вычислим левую и правую частинеравенства, получим:

D(θ, y) = yTDθy,

где Dθ — ковариацинонная матрица вектора θ,

D(θ, y) = yTDθy,

где Dθ — ковариацинонная матрица вектора θ. Следовательно,справедливо неравенство:

yT (Dθ −Dθ)y > 0.

Тогда, так как y — любое, получаем, что матрица коэффициентовквадратичной формы является неотрицательно определенной мат-рицей, т. е. Dθ − Dθ 0. В результате приходим к определению1.8, которое эквивалентно определению 1.7 для класса несмещен-ных оценок.

Определение 1.8. Оценка θ эффективна в классе K0, или про-сто эффективна, если Dθ −Dθ 0 (неотрицательно определеннаяматрица), где θ ∈ K0 для любого θ ∈ Θ ⊂ Rk.

4. Асимптотическая нормальность.

Определение 1.9. Пусть оценивается параметр θ ∈ Θ ⊂ R. Оцен-ка θ называется асимптотически нормальной оценкой параметра θс коэффициентом рассеивания σ2(θ), если

√n(θ − θ)

d−−−−→n→∞

ζ ∼ N(0, σ2(θ)). (1.7)

Из этого определения следует, что для любого x ∈ R имеетместо сходимость:

P√

n(θ − θ) 6 x−−−−→n−→∞

1√2πσ(θ)

x∫

−∞

e− y2

2σ2(θ) dy.

276

Определение 1.10. Пусть оценивается параметр θ ∈ Θ ⊂ Rm.Оценка θ = (θ1, . . . , θm) называется асимптотически нормальной сматрицей рассеивания Σ(θ), если имеет место сходимость по рас-пределению: √

n(θ − θ)d−−−−→

n→∞η ∼ N(0,Σ(θ)).

5. Асимптотическая эффективность.

Определение 1.11. Оценка θ называется асимптотически эффек-тивной в классе K оценок параметра θ ∈ Θ ⊂ R, если

limn→∞

E(θ − θ)2

E(θ − θ)26 1

для любого параметра θ ∈ Θ ⊂ R и любой оценки θ ∈ K.

Статистическая оценка считается «хорошей», если она обла-дает хотя бы некоторыми из свойств 1-5.

§2. Методы построения точечных оценок

Рассмотрим сначала метод моментов. Пусть требуется оценитьпараметр θ ∈ Θ ⊂ R по имеющейся выборке X[n] = (X1, . . . , Xn).Рассмотрим борелевскую функцию g(x) : R → R и определим функ-цию m(θ) =

∫∞−∞ g(x)dFξ(x; θ).

Далее положим, что∞∫

−∞

g(x)dF ∗n (x) =

1

n

n∑

i=1

g(Xi) = g. (2.1)

Составим уравнение

m(θ) = g =1

n

n∑

i=1

g(Xi). (2.2)

Предположим, что уравнение (2.2) имеет единственное решениеθ(X[n]), тогда будем это решение называть оценкой θ неизвестно-го параметра θ, полученной по методу моментов:

θ(X[n]) = m−1

(1

n

n∑

i=1

g(Xi)

).

277

Введем следующее обозначение: h(·) = m−1(·), оценка по методумоментов при некоторых очевидных условиях является статисти-кой первого типа. По теореме о предельном поведении статистикипервого типа получаем сходимость:

θ(X[n])п.н.−−−−→

n→∞θ.

Свойства оценок, построенных по методу моментов:1. Если функция m−1(y) непрерывна на всей области определе-

ния, то оценка по методу моментов сильно состоятельна.2. Если m′(θ) 6= 0 для всех θ ∈ Θ, тогда оценка по методу момен-

тов асимптотически нормальна с коэффициентом рассеянияDg(ξ)

(m′(θ))2 , где θ — истинное значение параметра.Метод моментов легко обобщить на многомерный случай, при этом,g(x) = (g1(x), . . . , gk(x)), где k — число неизвестных параметров, тоесть, θ = (θ1, . . . , θk)

T ∈ Θ ⊂ Rk. Название «метод моментов» свя-зано с тем, что обычно в качестве функций gi(x) берутся степенныефункции: gi(x) = xi.

Пример 2.1. Пусть ξ ∼ N(a, σ2), тогда θ = (a, σ2)T ∈ Θ = R×R+.Выберем g(x) = (x, x2), тогда

Eg(ξ) =

(EξEξ2

)=

(a

σ2 + a2

),

так как σ2 = Dξ = Eξ2 − (Eξ)2 = Eξ2 − a2. Нетрудно показать, что

g =

1n

n∑k=1

Xk

1n

n∑k=1

X2k

=

(X

s2 + X2

),

так как s2 = 1n

n∑k=1

X2k − (X)2. Таким образом, получили систему:

a = Xσ2 + a2 = s2 + X2.

Следовательно, оценки по методу моментов имеют следующий вид:a = X,σ2 = s2.

278

Пример 2.2. Рассмотрим равномерно распределенную случайнуювеличину ξ с плотностью распределения:

fξ(x) =

1θ , x ∈ [0, θ];0, x /∈ [0, θ].

Так как неизвестный параметр один, то g(x) = x. Вычислим мате-матическое ожидание:

Eg(ξ) = Eξ =

θ∫

0

x1

θdx =

1

2θx2 =

θ

2.

Уравнение имеет вид:θ

2= X,

откуда получаем оценку:

θ = 2X =2

n

n∑

k=1

Xi.

Может оказаться, что 1n

∑nk=1Xi > θ/2, тогда θ > θ. Данный метод

может дать сильно завышенную оценку.

Рассмотрим теперь метод максимального правдоподобия по-строения точечных оценок. Пусть задана генеральная совокупностьξ с функцией распределения Fξ и плотностью распределения fξ (бу-дем предполагать, что плотность распределения существует). Зада-на выборка X[n] = (X1, . . . , Xn) . Совместная плотность распреде-ления выборки имеет вид:

fX[n](x1, . . . , xn) =

n∏

i=1

fξ(xi). (2.3)

В плотности распределения выборки существует неизвестныйпараметр θ, поэтому ниже будем рассматривать совместную плот-ность распределения в виде:

fX[n](x1, . . . , xn|θ) =

n∏

i=1

fξ(xi, θ),

279

подставив вместо x1, . . . , xn выборку X[n], получим:

fX[n](X[n]|θ) =

n∏

i=1

fξ(Xi, θ),

где θ = (θ1, . . . , θm) ∈ Θ.

Определение 2.1. Если генеральная совокупность имеет плот-ность распределения fξ, то функцией правдоподобия выборки X[n]

будем называть функцию

L(X[n], θ) =

n∏

i=1

fξ(Xi, θ).

Определение 2.2. Если генеральная совокупность ξ — дискрет-ная случайная величина с возможными значениями zi и соот-ветствующими вероятностями pξ(zi, θ), то функцией правдоподобиявыборки X[n] будем называть функцию

L(X[n], θ) =

n∏

i=1

pξ(Xi, θ).

Будем считать функцию правдоподобия функцией неизвест-ного параметра θ. Для нахождения оценки параметра θ решаемзадачу:

maxθ∈Θ

L(X[n], θ).

Определение 2.3. Оценкой максимального правдоподобия пара-метра θ называется оценка

θ(X[n]) = argmaxθ∈Θ

L(X[n], θ), (2.4)

если решение задачи максимизации существует и единственно.

Свойства оценок максимального правдоподобия:1. Предположим, что существует взаимно однозначное соответ-

ствие β : Θ ↔ B, пусть

b(X[n]) = argmaxb∈B

L(X[n], β−1(b)). (2.5)

280

Если решение (2.4) существует и единственно, то существуети единственно решение (2.5), причем, имеет место равенство:

θ = β−1(b).

2. Если функция правдоподобия непрерывно дифференцируе-ма, и выполнены некоторые условия гладкости, то можно до-казать, что оценки метода максимального правдоподобия —сильно состоятельны, асимптотически эффективны и асимп-тотически нормальны [5], [20], [30].

Замечание 2.1. Часто вместо функции L(X[n], θ) рассматрива-ют функцию lnL(X[n], θ), поскольку функция ln(t) является строговозрастающей функцией своего аргумента t, и данный переход пра-вомерен.

Пример 2.3. Рассмотрим случайную величину ξ ∼ N(a, σ2) сплотностью распределения

fξ(x) =1√2πσ

e−(x−a)2

2σ2 .

Функция правдоподобия имеет вид:

L(X[n], a, σ2) =

n∏

i=1

fξ(Xi, a, σ2) =

1

(2π)n2 σn

e

−n∑

i=1(Xi−a)2

2σ2 .

Тогда

lnL = ln1

((2π)12 σ)n

−

n∑i=1

(Xi − a)2

2σ2,

продифференцируем по a: ∂ lnL/∂a = 0, или∑n

i=1Xi − an = 0,откуда a = X.

Продифференцируем по σ:

∂ lnL

∂σ= −n

σ+

n∑i=1

(Xi − a)2

σ3= 0,

281

nσ2 =

n∑

i=1

(xi − a)2,

откуда находим решение:

σ2 =1

n

n∑

i=1

(Xi − a)2 =1

n

n∑

i=1

(Xi − X)2 = s2.

Нетрудно проверить, что X и s2 доставляют максимум функцииправдоподобия.

Пример 2.4. Пусть случайная величина ξ подчиняется равномер-ному распределению с плотностью:

f(x, θ) =

1θ , x ∈ [0, θ];0, x 6∈ [0, θ].

Запишем функцию правдоподобия:

L(X[n], θ) =n∏

i=1

f(Xi, θ) =

1θn , если для ∀ i : Xi ∈ [0, θ];0, если ∃ i : Xi 6∈ [0, θ].

Построим вариационный ряд X(1) 6 . . . 6 X(n). Таким образом,получаем:

L(X[n], θ) =

1θn , X(n) ∈ [0, θ];0, ∃ k : X(k) 6∈ [0, θ].

Очевидно, что оценка максимального правдоподобия θ(X[n]) =X(n).

§3. Достаточные статистики

Пусть имеется выборка X[n] из генеральной совокупности ξ. Неиз-вестные параметры составляют вектор θ = (θ1, . . . , θm) ∈ Θ ⊂ Rm.Функция распределения генеральной совокупности ξ имеет видFξ(·/θ).

Будем рассматривать некоторую статистику

S(X[n]) =(S1(X[n]), . . . , Sk(X[n])

).

282

Обозначим через P (B/s) условное распределение выборки X[n] приусловии, что S(X[n]) = s.

Распределение P (B/s), где B ∈ B(Rn), называется условным

распределением выборки X[n] при условии, что S(X[n]) = s, есливыполнены условия:

1. При любом фиксированном значении статистики s распреде-ление P (·/s) является вероятностной мерой в пространстве(Rn,B(Rn)).

2. При любом фиксированном B функция P (B/·) как функциявторого аргумента является борелевской и представляет собойусловную вероятность PX[n] ∈ B/S = s.

Определение 3.1. Статистика S(X[n]) называется достаточной,если условное распределение выборки X[n], при условии, что ста-тистика S(X[n]) принимает значение s, не зависит от неизвестногопараметра θ.

Если статистика является достаточной статистикой, то можноговорить о том, что вся информация о параметре θ содержится взначении статистики S(X[n]), и оставшийся «разброс» элементоввыборки уже не зависит от θ.

Пример 3.1. Пусть генеральная совокупность ξ подчиняется рас-пределению Пуассона: ξ ∼ λk

k! e−λ, λ > 0, k ∈ Z+, Xi ∈ Z+. Тогда

достаточная статистика имеет вид:

S(X[n]) =

n∑

i=1

Xi.

Действительно, пусть x = (x1, . . . , xn), xk ∈ Z+, тогда

PX[n] = x/S(X[n]) = S(x) = s =

=PX[n] = x, S(X[n]) = S(x) = s

PS(X[n]) = S(x) = s =PX[n] = x

PS(X[n]) = S(x) = s .

предполагается, что события совместны. Полученное представле-ние всегда верно для любых дискретных совокупностей. Рассмот-

283

рим числитель:

PX[n] = x = PX1 = x1, . . . , Xn = xn =

=λ∑

xi

x1! . . . xn!e−λn =

λs

x1! . . . xn!e−λn.

Рассмотрим знаменатель:

PS(X[n]) = S(x) = s =∑

y:S(y)=s

PX[n] = y =

=λsns

s!e−λn

∑

y:y1+...+yn=s

s!

y1! . . . yn!· 1

ns=λsns

s!e−λn.

Тогда условная вероятность имеет вид:

PX[n] = xPS(X[n]) = S(x) = s =

s!

x1! . . . xn!

1

ns.

И, как легко видеть, представляет собой полиномиальное распреде-ление, в котором n исходов, вероятность каждого исхода равна 1/n(исходы равновероятны), s — количество испытаний, x1 — количе-ство исходов с номером 1, . . ., xn — количество исходов с номеромn. Вероятность того, что в последовательности таких s испытанийпроизойдет x1 исходов с номером 1, . . ., xn исходов с номером n,такова:

Px1, . . . , xn =s!

x1! . . . xn!

1

ns.

Замечание 3.1. Если статистика S(X[n]) является достаточной, товзаимно однозначная функция от S(X[n]) также достаточная ста-тистика. Следовательно, возвращаясь к примеру, получаем:

S(X[n]) =1

n

n∑

i=1

Xi = X,

также является достаточной статистикой в примере 3.1.

284

§4. Теорема Неймана-Фишера. Теорема Колмого-

рова

Теорема 4.1. (Теорема Неймана-Фишера) Пусть имеется вы-

борка X[n] из генеральной совокупности ξ с функцией распреде-

ления Fξ. Пусть θ ∈ Θ — вектор неизвестных параметров рас-

пределения. Для того, чтобы статистика S(X[n]) была доста-

точной необходимо и достаточно, чтобы функция правдоподобия

L(X[n], θ) была представима в виде:

L(X[n], θ) = G(S(X[n]), θ)H(X[n]),

где G, H — измеримые функции, причем функция G зависит от

выборки только через значения статистики S(X[n]), а функция

H не зависит от неизвестного параметра θ.

Доказательство. Теорему Неймана-Фишера докажем толькодля двух случаев. Рассмотрим дискретный случай. Докажем доста-точность. Найдем условную вероятность:

PX[n] = x/S(X[n]) = s =

=PX[n] = x∑

y:S(y)=s

PX[n] = y=

Pξ(x1) . . . Pξ(xn)∑y:S(y)=s

Pξ(y1) . . . Pξ(yn)=

=L(x; θ)∑

y:S(y)=s

L(y, θ)=

G(s, θ)H(x)∑y:S(y)=s

G(s, θ)H(y)=

H(x)∑y:S(y)=s

H(y).

Видим, что условная вероятность не зависит от θ. Теперь докажемнеобходимость. Пусть условная вероятность не зависит от неиз-вестных параметров. Обозначим через H(x) вероятность PX[n] =x/S(X[n]) = S(x) = s, и, как легко заметить,

L(x, θ) = PX[n] = x = PS(X[n]) = sH(x).

ВероятностьPS(X[n]) = S(x) = s = G(s, θ)

зависит от неизвестных параметров θ и зависит от x только череззначение статистики, справедливо равенство:

L(x, θ) = G(s, θ)H(x).

285

Рассмотрим «гладкий» случай. Будем считать, что существуетплотность распределения fξ(·), борелевские функции S(x) диффе-ренцируемы для всех x ∈ Rn, S(x) ∈ Rk. Будем предполагать, чтомы можем дополнить статистику S статистикой T (x) ∈ Rn−k, приэтом

(s, t) = (S(x), T (x)),

где x ∈ Rn. Будем считать, что x взаимно однозначно соответствует(s, t). Пусть (s, t) диффиренцируемо по x, и, наоборот, обратноеотображение диффиренцируемо по s и t.

Плотность выборки запишем в виде:

fX[n](x) = L(x, θ) =

n∏

i=1

fξ(xi, θ).

Рассмотрим, что происходит с плотностью при взаимно однознач-ном отображении:

fS,T (s, t) = fX[n](x(s, t))

∣∣∣∣det(

∂x

∂(s, t)

)∣∣∣∣ .

Докажем достаточность (факторизация выполнена). Пусть

fX[n](x) = G(S(x), θ)H(x),

тогда

fS,T (s, t) = G(s, θ)H(x(s, t))

∣∣∣∣det(

∂x

∂(s, t)

)∣∣∣∣ .

Следовательно,

fT/S(t/s) =fS,T (s, t)

fS(s)=

H(x(s, t))∣∣∣det

(∂x

∂(s,t)

)∣∣∣∫

Rn−k

H(x(s, t))∣∣∣det

(∂x

∂(s,t)

)∣∣∣ dt.

Как видим, fT/S(t/s) не зависит от θ, но тогда вероятность PX[n] ∈B/S(X[n]) = s =

∫Rn−k Ix(s, t) ∈ BfT/S(t/s)dt не зависит от θ.

Необходимость следует из того факта, что fT/S(t/s) не зависитот θ, но тогда справедливо равенство:

fX[n](x) = G(S(x), θ)H(x),

где H(x) = fT/S(t(x)/s(x))∣∣∣det

(∂(s,t)∂x

)∣∣∣, G(S(x), θ) = fS(s(x)).

286

Пример 4.1. Предположим, что генеральная совокупность ξ под-чиняется нормальному распределению: ξ ∼ N(a, σ2), θ =

(a, σ2

)T ∈R× R+, тогда

L(X, θ) =

n∏

i=1

fξ(Xi) =

n∏

i=1

1√2πσ

exp−(Xi−a)2

2σ2 =

=1

(2π)n2 σn

e− 1

2σ2

n∑

i=1

(Xi−a)2

= G(S(X[n]), θ),

и функция H(x) = 1. В качестве достаточной статистики S(X[n])можно выбрать:

n∑i=1

Xi

n∑i=1

X2i

=

(s1(x)s2(x)

)= S(x).

Сделаем взаимно однозначное преобразование:

S2 = a∗2 − (a∗1)2 = 1

n

n∑i=1

X2i − ( 1n

n∑i=1

Xi)2,

S1 = 1n

n∑i=1

Xi.

Следовательно, (X, s2) - достаточная статистика, и (X, s2) такжедостаточная статистика.

Пример 4.2. Пусть случайная величина ξ подчиняется экспонен-циальному распределению с параметром λ с плотностью:

fξ(y) =

λe−λy, y > 0;0, y 6 0.

Тогда

fX[n](x) = L(x, θ) =

λne

−λn∑

i=1

xi

, если для ∀ i: xi > 0;0, если ∃ i: xi 6 0.

Из теоремы 4.1 следует, что X — достаточная статистика, здесьH(x) = 1.

287

Теорема 4.2. (Теорема Колмогорова-Рао-Блекуэлла) Пусть име-

ется выборка X[n] из генеральной совокупности ξ. Пусть θ ∈ Θ ⊂R — неизвестный параметр распределения генеральной совокупно-

сти, θ(X[n]) — несмещенная оценка параметра θ, S(X[n]) — доста-

точная статистика. Введем обозначение

θS = E(θ/S(X[n])).

Справедливы утверждения:

1. θS — несмещенная оценка параметра θ.2. θS = g(S(X[n])), т.е. θS зависит от выборки X[n] только

через достаточную статистику S.

3. DθS 6 Dθ, при этом равенство возможно только, если оцен-

ки θS и θ почти наверное совпадают.

Доказательство. Заметим, что θs =∫Rn θ(x)P (dx/S = s) не

зависит от θ и измеримо по s. Таким образом, θs действительноявляется оценкой. Очевидно, что θS = E(θ/S(X[n])) зависит от вы-борки только через статистику S.

По свойству условных математических ожиданий получаем,что Eθs = EE(θ/S) = Eθ = θ, что говорит о несмещенности оценкиθs.

Воспользуемся свойствами условных математических ожида-ний:

Dθ = E(θ − θ ± θs)2 = E((θ − θs) + (θs − θ))2 =

= E(θ − θs)2 + E(θs − θ)2 + 2E(θ − θs)(θs − θ).

Рассмотрим отдельно третье слагаемое:

E(θ − θs)(θs − θ) = E(θs − θ)E[(θ − θs)/S] = 0.

ПолучаемDθ = E(θ − θs)

2 +Dθs,

откуда следует, чтоDθ > Dθs.

Причем, Dθ = Dθs равносильно тому, что E(θ − θs)2 = 0 или θ

почти наверное совпадает с θs.

288

Замечание 4.1. Теорема 4.2 переносится на многомерный случай.

Рассмотрим еще одно свойство достаточной статистики.

Лемма 4.1. Если достаточная статистика существует, то оцен-ка максимального правдоподобия неизвестного параметра являетсяфункцией от достаточной статистики.

Доказательство. Пусть θ ∈ Θ ⊂ Rk. Запишем функциюправдоподобия:

L(X[n], θ) = G(S(X[n]), θ)H(X[n]).

Для оценки максимального правдоподобия справедливы равенства:

θ(X[n]) = argmaxθ∈Θ

L(X[n], θ) = argmaxθ∈Θ

G(S(X[n]), θ) = θ(S(X[n])),

что доказывает справедливость леммы.

§5. Неравенство Рао-Крамера

Пусть имеется выборка X[n] из генеральной совокупности ξ с функ-цией распределения Fξ(x, θ) и плотностью распределения fξ(x, θ),где θ ∈ Θ ⊂ R — неизвестный параметр.

Замечание 5.1. Все результаты этого параграфа можно перенестина дискретный случай.

Функция правдоподобия имеет вид:

L(X[n], θ) =

n∏

i=1

fξ(Xi, θ),

совместная плотность выборки

fX[n](x, θ) = L(x, θ) =

n∏

i=1

fξ(xi, θ).

Выполняется равенство:∫

Rn

L(x, θ)dx = 1. (5.1)

289

Пусть имеется оценка θ(X[n]) неизвестного параметра θ:

Eθ =

∫

Rn

θ(x1, . . . , xn)L(x, θ)dx = h(θ). (5.2)

Обозначим через In(θ) математическое ожидание:

In(θ) = E

(∂ lnL(X(n), θ)

∂θ

)2

=

∫

Rn

(∂ lnL(x, θ)

∂θ

)2

L(x, θ)dx.

Определение 5.1. Величина In(θ), если математическое ожида-ние существует и конечно, называется информационным количе-ством Фишера (соответствующим выборке объема n).

Будем предполагать, что выполнены условия регулярности:• Для информационного количества Фишера выполнено нера-

венство 0 < In(θ) <∞ для любого θ ∈ Θ.• Равенства (5.1) и (5.2) можно продифференцировать и полу-

чить уравнения: ∫

Rn

∂L(x, θ)

∂θdx = 0, (5.3)

∫

Rn

θ(x1, . . . , xn)∂L(x, θ)

∂θdx = h′(θ). (5.4)

• Множество N = x ∈ Rn : L(x, θ) = 0 не зависит от θ.

Теорема 5.1. (Неравенство Рао-Крамера) Пусть имеется гене-

ральная совокупность ξ c функцией распределения Fξ(y, θ), где

θ ∈ Θ ⊂ R. Задана выборка X[n] из генеральной совокупности ξ, и

выполнены условия регулярности, тогда справедливо неравенство:

Dθ >(h′(θ))2

In(θ). (5.5)

Доказательство. Перепишем (5.3) и (5.4) следующим обра-зом: ∫

Rn

∂ lnL(x, θ)

∂θL(x, θ)dx = E

∂ lnL(X[n], θ)

∂θ

= 0,

290

∫

Rn

θ(x)∂ lnL(x, θ)

∂θL(x, θ)dx = E

θ(X[n])

∂ lnL(X[n], θ)

∂θ

= h′(θ).

Заметим, что множество N = x : L(x, θ) = 0 — множество мерынуль, так как

PX[n] ∈ N =

∫

N

L(x, θ)dx = 0.

Умножим первое равенство на Eθ и вычтем из второго:

E

(θ(X[n])− Eθ)

∂ lnL(X[n], θ)

∂θ

= h′(θ).

Сделаем обозначения:

η1 = (θ(X[n])− Eθ),

η2 =∂ lnL(X[n], θ)

∂θ.

Воспользуемся неравенством Коши-Шварца-Буняковского:

(h′(θ))2 = (Eη1η2)2 6 Eη21Eη22 = DθIn(θ).

Теорема доказана.

Замечание 5.2. Неравенство (5.5) выполнено как равенство тогдаи только тогда, когда η1

п.н.= A(θ)η2 (следует из неравенства Коши-

Шварца-Буняковского), т.е.

(θ(X[n])− Eθ)п.н.= A(θ)

∂ lnL

∂θ.

Замечание 5.3. Если Eθ = θ для любого θ ∈ Θ (то есть, оценка —несмещенная), то справедливо неравенство:

Dθ >1

In(θ).

291

Замечание 5.4. По определению In(θ) = E(∂ lnL∂θ

)2. Заметим, что

E

∂ lnL(X[n],θ)

∂θ

= 0.

Следовательно, имеют место равенства:

In(θ) = E

(∂ lnL

∂θ

)2

= D

(∂ lnL(X[n], θ)

∂θ

)=

= D

(n∑

i=1

∂ ln fξ(Xi, θ)

∂θ

)=

n∑

i=1

D∂ ln fξ(Xi, θ)

∂θ= nI1(θ),

где I1(θ) — информационное количество Фишера, соответствующееодному наблюдению. Как видим, наблюдается линейный рост ин-формации.

Из неравенства Рао-Крамера можно сделать вывод, что в ре-гулярном случае дисперсия не может убывать быстрее чем 1/n.Для «хороших» оценок дисперсия должна убывать, разброс дол-жен становиться меньше с ростом n. Для несмещенных оценок привыполнении условий регулярности оценка эффективна, если нера-венство Рао-Крамера выполнено как равенство.

Справедлива еще одна формула для вычисления In(θ) при вы-полнении дополнительных условий, которые необходимы для кор-ректного проведения всех последующих преобразований. Продиф-ференцируем равенство

∫

Rn

∂ lnL(x, θ)

∂θL(x, θ)dx = 0

еще один раз, получаем:

∫

Rn

(∂ lnL(x, θ)

∂θ

)2

L(x, θ)dx +

∫

Rn

∂2 lnL(x, θ)

∂θL(x, θ)dx = 0,

или, что тоже самое:

E

∂ lnL(X[n], θ)

∂θ

2

+ E

∂2 lnL(X[n], θ)

∂θ2

= 0.

292

Откуда сразу получаем равенство:

In(θ) = −E∂2 lnL(X[n], θ)

∂θ2

.

Замечание 5.5. Справедлив аналог неравенства Рао-Крамера длямногомерного случая. Пусть θ ∈ Θ ⊂ R

k, пусть Eθ(X[n]) = θ, тогда

Dθ > (In(θ))−1,

где In - информационная матрица Фишера, аDθ - ковариациноннаяматрица

In(θ) = E

∂ lnL(X[n], θ)

∂θ

(∂ lnL

∂θ

)T,

Dθ = E(θ − θ)(θ − θ)T

Таким образом, матрицаDθ−(In(θ))−1 > 0 — неотрицательно опре-

деленная.

Пример 5.1. Пусть ξ ∼ N(a, σ2), методы максимального правдо-подобия и моментов дали оценку a = X, которая является силь-но состоятельной, несмещенной, асимптотически нормальной оцен-кой. Выясним, обращается ли неравенство Рао-Крамера в равен-ство. Действительно, можно заметить, что

∂ lnL

∂a=

n∑i=1

(Xi − a)

σ2=

n

σ2(X − a),

где

L(X[n], a) =1

(2π)n2 σn

e−

n∑

i=1(Xi−a)2

2σ2 .

Как следует из замечания 5.2, X — эффективная оценка.

293

Глава 16

Доверительные интервалы

§1. Асимптотические доверительные интервалы

Пусть задана генеральная совокупность ξ с функцией распреде-ления Fξ(x). Имеется выборка X[n] = (X1, . . . , Xn) из этой ге-неральной совокупности и неизвестный параметр распределенияθ ∈ Θ ⊂ R.

Определение 1.1. Пусть для некоторого ε ∈ (0, 1) существуютстатистики S−(X[n], ε) и S+(X[n], ε) такие, что

PS−(X[n], ε) < θ < S+(X[n], ε)

= 1− ε,

тогда интервал(S−(X[n], ε), S

+(X[n], ε))

называется доверитель-ным интервалом для параметра θ с уровнем доверия (1− ε).

Определение 1.2. Пусть для некоторого ε ∈ (0, 1) существуютстатистики S−(X[n], ε) и S+(X[n], ε) такие, что

limn→∞

PS−(X[n], ε) < θ < S+(X[n], ε)

= 1− ε,

тогда интервал(S−(X[n], ǫ), S

+(X[n], ε))

называется асимптотиче-ским (приближенным) доверительным интервалом с уровнем дове-рия 1− ε.

Построение асимптотических доверительных интервалов осно-вано на асимптотически нормальных оценках. Предположим, чтооценка θ = θ(X[n]) является асимптотически нормальной, т. е.

294

√n(θ − θ)

d−−−−→n→∞

ς ∼ N(0, σ2), где дисперсия σ2(θ) — коэффициент

асимптотического рассеивания. Предположим, что функция σ2(θ)непрерывна на Θ и отлична от нуля для любого θ ∈ Θ.

Лемма 1.1. Случайный вектор (√n(θ − θ), θ)

d−−−−→n→∞

(ζ, θ), где ζ

подчиняется нормальному распределению N(0, σ2(θ)).

Доказательство. Покажем, что характеристическая функ-ция случайного вектора (

√n(θ − θ), θ) удовлетворяет условию:

ϕ(√n(θ−θ),θ)(t1, t2) −−−−→n→∞

ϕ(ζ,θ)(t1, t2) = Eeit1ζ+it2θ.

Действительно,

ϕ(√n(θ−θ),θ)(t1, t2) = Eeit1

√n(θ−θ)+i(t2θ±θt2) =

= Eei√n(θ−θ)(t1+

t2√n)eit2θ = eit2θϕ√

n(θ−θ)(t1 +t2√n) =

= eit2θ(

ϕ√n(θ−θ)(t1 +

t2√n)− ϕζ(t1 +

t2√n)

+ ϕζ(t1 +

t2√n)

).

При этом, ϕζ(t1 + t2/√n) −−−−→

n→∞ϕζ(t1), так как любая характери-

стическая функция равномерно непрерывна.Имеет место сходимость:

ϕ√n(θ−θ)(t1 +

t2√n)− ϕζ(t1 +

t2√n) −−−−→

n→∞0,

так как при любом t: ϕ√n(θ−θ)(t) → ϕζ(t), и сходимость равномерна

на любом конечном промежутке [22]. Следовательно, выполняетсясходимость:

ϕ(√n(θ−θ),θ)(t1, t2) −−−−→n→∞

eit2θϕζ(t1) = Eeit2θ+iζt1 = ϕ(ζ,θ)(t1, t2).

Лемма доказана.

Рассмотрим функцию от двух переменных H(x1, x2) =x1/σ(x2), она непрерывна на R×Θ. Случайный вектор (ζ, θ) ∈ R×Θ,следовательно, можем воспользоваться теоремой непрерывности:

H(√n(θ − θ), θ)

d−−−−→n→∞

H(ζ, θ) =ζ

σ(θ)∼ N(0, 1).

295

Таким образом, имеет место сходимость:

√n(θ − θ)

σ(θ)

d−−−−→n→∞

η ∼ N(0, 1).

Тогда справедливо соотношение:

P

−z1−α

2<

√n(θ − θ)

σ(θ)< z1−α

2

−−−−→n→∞

1− α =1√2π

z1−α2∫

−z1−α2

e−y2

2 dy,

где z1−α2

— квантиль стандартного нормального распределенияуровня 1− α/2, т. е. F (z1−α

2) = 1− α/2, где F (x) — функция стан-

дартного нормального распределения. Получаем асимптотическийдоверительный интервал с уровнем доверия 1− α:

P

θ − z1−α

2

σ(θ)√n< θ < θ + z1−α

2

σ(θ)√n

≈ 1− α.

Ширина доверительного интервала характеризует точность интер-вальной оценки.

Рассмотрим схему Бернулли, в которой n испытаний. Пусть m— число успехов. Выборка X[n] = (a1, . . . , an) состоит из последо-вательности нулей и единиц, тогда функция правдоподобия имеетвид:

L(X[n], p) = pmqn−m, p ∈ Θ = (0, 1),

где m — число единиц в выборке. Логарифмическая функция прав-доподобия имеет вид:

lnL = m ln p+ (n−m) ln(1− p).

Найдем оценку максимального правдоподобия:

∂ lnL

∂p=m

p− n−m

1− p=m−mp− np+mp

p(1− p)= 0.

Следовательно, получаем оценку:

p =m

n.

296

Убеждаемся, что p максимизирует функцию правдоподобия:

∂2 lnL

∂p2= −m

p2− n−m

(1− p)2< 0.

Следовательно, p = m/n — точка максимума или оценка по методумаксимального правдоподобия. Нетрудно показать, что оценка pасимптотически нормальна:

√n(mn

− p)=m− np√

n=

n∑i=1

ξi − np

√n

=

=

n∑i=1

(ξi − p)

√n

d−−−−→n→∞

ζ ∼ N(0, pq),

где Pξi = 1 = p, Pξi = 0 = q = 1 − p, σ2 = pq = p(1 − p).Воспользуемся доказанным утверждением:

√n(θ − θ)

σ(θ)

d−−−−→n→∞

η ∼ N(0, 1).

Тогда имеет место сходимость:√n(mn − p)√mn (1− m

n )

d−−−−→n→∞

η ∼ N(0, 1).

Следуя приведенным выше рассуждениям, получаем асимптотиче-ский доверительный интервал с уровнем доверия 1−α для вероят-ности p:

(m

n− z1−α

2

√mn (1− m

n )√n

,m

n+ z1−α

2

√mn (1 − m

n )√n

)

§2. Распределения статистик для выборок из нор-

мальной генеральной совокупности

Пусть имеется генеральная совокупность ξ ∼ N(a, σ2) и выборкаX[n] из этой генеральной совокупности. Если ξ — гауссова случай-

297

ная величина, то функция плотности ее распределения имеет вид:

fξ(x) =1√2πσ

e−(x−a)2

2σ2 , x ∈ R,

а если ξ — гауссов случайный вектор, то

fξ(x) =1

(2π)n2

√|Σ|

e−12 (x−a)TΣ−1(x−a), x ∈ R

m.

В первом случае предполагается, что σ2 > 0, а во-втором, чтоdet |Σ| 6= 0.

Любому распределению взаимно однозначно соответствует ха-рактеристическая функция. С помощью характеристических функ-ций легко получить, что компоненты гауссова случайного векторанезависимы тогда и только тогда, когда ковариационная матрицаΣ диагональна или, другими словами, когда равны нулю попарныековариации всех компонент.

Лемма 2.1. Пусть ζ — случайный вектор размерности m, под-чиняющийся многомерному нормальному распределению N(a,Σ),пусть A — любая матрица размерности n×m, b — вектор размер-ности n × 1. Тогда вектор η = Aζ + b подчиняется нормальномураспределению с параметрами

(Aa+ b;AΣAT

).

Доказательство. Рассмотрим

ϕη(t) = EeitT η = eit

T bEei(tTA)ζ = eit

T bϕζ(tTA) =

= EeitT (Aa+b)− 1

2 tTAΣAT t,

где Aa + b — математическое ожидание, AΣAT — ковариационнаяматрица случайного вектора η.

Лемма 2.2. Пусть ξ = (ξ1, . . . , ξn)T ∼ N

(0, σ2En

)и ξ = 1

n

∑ni=1 ξi

— среднее арифметическое. Тогда ξ и вектор(ξ1 − ξ, . . . , ξn − ξ

)вза-

имно независимы.

298

Доказательство. Возьмем любой элемент вектора, напри-мер, ξk− ξ, и проверим его независимость с ξ. Рассмотрим разность:

ξk − ξ = ξk − 1

n

n∑

i=1

ξi = − 1

nξ1 − . . .− 1

nξk−1 +

n− 1

nξk−

− 1

nξk+1 − . . .− 1

nξn =

(− 1

n, . . . ,− 1

n,n− 1

n,− 1

n, . . .− 1

n

)ξ,

ξ =1

nξ1 + . . .+

1

nξn =

(1

n, . . . ,

1

n

)ξ.

Следовательно,(

− 1n , . . . ,− 1

n ,n−1n ,− 1

n , . . . ,− 1n

1n ,

1n , . . . ,

1n

)ξ =

(ξk − ξξ

).

Тогда по лемме 2.1 получаем:(ξk − ξξ

)∼ N

( (00

),

(σ21 00 σ2

2

) ),

где σ21 = n−1

n σ2, σ22 = 1

nσ2, внедиагональные элементы равны нулю,

поскольку

σ2

(− 1

n, . . . ,− 1

n,n− 1

n,− 1

n, . . . ,− 1

n

)(1

n, . . . ,

1

n

)T

=

= σ2−(n− 1) + (n− 1)

n2= 0.

Лемма 2.3. Пусть ξ = (ξ1, . . . , ξm)T ∼ N(0, Em), CCT = CTC =

Em и η = Cξ. Тогда τ =m∑

k=1

ξ2k − η21 − . . . − η2r подчиняется рас-

пределению хи-квадрат с m − r степенями свободы, и случайныевеличины η1, . . . , ηr взаимно независимы с τ .

Доказательство. Из леммы 2.1 следует, что η ∼ N(0, Em×m).Как легко видеть, имеет место равенство:

m∑

i=1

ξ2i = ξT ξ = ξTCTCξ = ηT η =

m∑

i=1

η2i .

299

Следовательно, справедливо равенство:

m∑

i=1

ξ2i − η21 − . . .− η2r =m∑

j=r+1

η2j ,

полученное равенство доказывает лемму.

§3. Распределение Стьюдента

Определение 3.1. Пусть заданы случайные величины ζ ∼ N(0, 1)и τk ∼ χ2

k. Пусть случайные величины ζ и τk взаимно независимы.Распределение случайной величины

ξ =ζ√τkk

называется распределением Стьюдента с k степенями свободы иобозначается через Tk.

Замечание 3.1. Очевидно, что если ζ ∼ N(0, 1) и ζ1,. . .,ζk — вза-имно независимые случайные величины, подчиняющиеся стандарт-ному нормальному распределению, независимые с ζ, тогда

ζ√ζ21+...+ζ2

k

k

∼ Tk.

Лемма 3.1. Пусть ζ = η/ξ, где η, ξ — взаимно независимые слу-

чайные величины. Пусть ξп.н.> 0, fξ(x), fη(y) — плотности распре-

деления ξ и η соответственно, тогда плотность распределения fζ(z)дроби ζ имеет вид:

fζ(z) =

∞∫

0

xfξ(x)fη(zx)dx.

300

Доказательство. Найдем функцию распределения случай-ной величины ζ:

Fζ(z) = Pζ 6 z =

∫

(x,y): yx6z,x>0

fξ(x)fη(y)dxdy =

=

∞∫

0

zx∫

−∞

fξ(x)fη(y)dydx =

∞∫

0

fξ(x)

z∫

−∞

fη(xs)xds

dx.

Положим s = y/x, dy = xds. Меняем порядок интегрирования:

Fζ(z) =

z∫

−∞

∞∫

0

xfξ(x)fη(xs)dx

ds.

Полученное равенство доказывает лемму.

Лемма 3.2. Пусть η ∼ N(0, 1), ξ =√τ , τ ∼ χ2

k. Пусть случайныевеличины η и τ взаимно независимы. Тогда случайная величинаζ = η/ξ имеет плотность распределения следующего вида:

fζ(z) =Γ(k+1

2 )√πΓ(k2 )

1

(1 + z2)k+12

Доказательство. Распределение хи-квадрат с k степенямисвободы представляет собой гамма-распределение с параметрамиформы k/2 и масштаба 1/2:

fτ (x) =

(12 )

k2x

k2−1

Γ( k2 )e−

x2 , x > 0;

0, x 6 0.

Как легко заметить, имеет место равенство:

P√τ 6 x = Pτ 6 x2,

тогда

f√τ (x) = 2xfτ (x2) =

1

2k2−1

xk−1

Γ( k2 )e−

x2

2 , x > 0;

0, x 6 0.

301

Следовательно, имеют место равенства:

fζ(z) =

∞∫

0

xfξ(x)fη(zx)dx =1

2k2−1Γ(k2 )

√2π

∞∫

0

xke−x2

2 e−z2x2

2 dx =

=1

2k−12 Γ(k2 )

√π

∞∫

0

xke−x2

2 (z2+1)dx =

=1

2k−12√πΓ(k2 )

∞∫

0

2k−12 u

k−12

(z2 + 1)k−12

1

z2 + 1e−udu =

=1√

πΓ(k2 )

1

(z2 + 1)k+12

∞∫

0

uk+12 −1e−udu,

где u = x2(z2 + 1)/2, xdx = du/(z2 + 1), причем,∞∫0

uk+12 −1e−udu =

Γ(k+12

). Лемма доказана.

Следствие 3.1. Плотность распределения Стьюдента с k сте-

пенями свободы имеет вид:

f(z) =Γ(k+1

2 )√πkΓ(k2 )

1(1 + z2

k

) k+12

. (3.1)

Доказательство. Для доказательства достаточно заметить,что случайная величина

√kζ подчиняется распределению Стью-

дента с k степенями свободы и f√kζ(z) =1√kfζ(

z√k).

Замечание 3.2. Можно показать, что для плотности f(z) из вы-ражения (3.1) имеет место сходимость:

f(z) −−−−→k→∞

1√2πe−

z2

2 .

302

§4. Точные доверительные интервалы для нор-

мальной генеральной совокупности

Теорема 4.1. Пусть задана выборка X[n] из генеральной совокуп-

ности ξ ∼ N(a, σ2). Справедливы утверждения:

1. Статистика X−aσ

√n подчиняется стандартному нормаль-

ному распределению.

2. Если s2 = 1n−1

n∑i=1

(Xi − X)2, тогда статистика X−as

√n под-

чиняется распределению Стьюдента с n − 1 степенью сво-

боды.

3. Статистика(n−1)s2

σ2 подчиняется распределению хи-квадрат

с n− 1 степенью свободы.

4. Если s2 = 1n

n∑i=1

(Xi−a)2, тогда статистика ns2

σ2 подчиняется

распределению хи-квадрат с n степенями свободы.

Доказательство. В лемме 2.1 было показано, что линейноепреобразование не меняет тип нормального распределения и изме-няет только параметры. Тогда утверждение 1 теоремы очевидно.

Очевидно, что

s2 =1

n− 1

n∑

i=1

(Xi − X)2 =

=1

n− 1

n∑

i=1

(Xi − a)2 − n

(1

n

n∑

i=1

(Xi − a)

)2 =

=1

n− 1

n∑

i=1

(Xi − a)2 −

1√

n

n∑

j=1

(Xj − a)

2 .

Тогда справедливо равенство:

(n− 1)s2

σ2=

n∑

i=1

(Xi − a

σ

)2

−

n∑

j=1

1√n

Xj − a

σ

2

.

303

Введем обозначение:

δ =

X1−aσ. . .

Xn−aσ

,

при этом δ подчиняется многомерному нормальному распределе-нию с параметрами (0, En).

Рассмотрим строку (1/√n, . . . , 1/

√n) = C1. При этом, нетруд-

но заметить, что C1CT1 = 1, тогда методом ортогонализации Грама-

Шмидта последовательно получим n− 1 строку C2, . . . , Cn. Строкибудут ортогональными и нормированными. Составим матрицу:

C =

C1

. . .Cn

.

Рассмотрим преобразование Cδ = η, из лемм 2.1 и 2.3 следует:

(n− 1)s2

σ2=

n∑

i=1

δ21 − η21 ∼ χ2n−1,

где δi = Xi−aσ , η1 =

∑nj=1

1√n

Xj−aσ =

∑nj=1

1√nδi = C1δ. Утвержде-

ние 3 теоремы доказано.В лемме 2.2 было доказано, что (X1 − X, . . . , Xn − X) и X − a

взаимно независимы. Рассмотрим дробь Стьюдента:

X−aσ

√n√

1n−1

(n−1)s2

σ2

=X − a

s

√n ∼ Tn−1.

Таким образом, доказано утверждение 2 теоремы.Утверждение 4 следует из определения:

ns2

σ2=

n∑i=1

(Xi − a)2

σ2=

n∑

i=1

(Xi − a

σ

)2

∼ χ2n.

Теорема доказана.

304

Точные доверительные интервалы для нормальной генераль-ной совокупности можно построить по следующим правилам:

1. Если a неизвестно, σ2 известно, тогда

P

X − σ√

nz1− ε

2< a < X +

σ√nz1− ε

2

= 1− ε,

где z1− ε2

— квантиль стандартного нормального распределе-ния.

2. Если a неизвестно, σ2 неизвестно, то доверительный интервалдля a будет иметь вид:

P

X − s√

nt1− ε

2< a < X +

s√nt1− ε

2

= 1− ε,

где t1− ε2

— квантиль распределения Стьюдента с n− 1 степе-нью свободы.

3. Предположим, что a неизвестно, σ2 неизвестно, и необходимопостроить доверительный интервал для σ2. Пусть ε = ε1+ ε2.Пусть u1−ε2 — квантиль распределения хи-квадрат с n − 1степенью свободы уровня 1 − ε2, uε1 — квантиль распреде-ления хи-квадрат с n − 1 степенью свободы уровня ε1, тогдадоверительный интервал для σ2 будет следующим:

P

(n− 1)s2

u1−ε2

< σ2 <(n− 1)s2

uε1

= 1− ε.

4. Если a известно, σ2 неизвестно, тогда доверительный интер-вал строится также, как и в случае 3, только в качестве ста-тистики рассматривается статистика ns2/σ2 из пункта 4 тео-ремы 4.1. Пусть vε1 — квантиль распределения хи-квадрат сn степенями свободы уровня ε1, v1−ε2 — квантиль распреде-ления хи-квадрат с n степенями свободы уровня 1− ε2, тогдадоверительный интервал для σ2 будет

P

ns2

v1−ε2

< σ2 <ns2

vε1

= 1− ε,

здесь ε = ε1 + ε2.Обычно, при построении доверительных интервалов для дис-персии выбирают ε1 = ε2 = ε/2.

305

Глава 17

Проверка статистических гипотез

§1. Проверка двух простых статистических гипо-

тез

Под статистической гипотезой принято понимать любое предпо-ложение о законе распределения генеральной совокупности. Стати-стическая гипотеза называется простой, если при условии истинно-сти гипотезы закон распределения генеральной совокупности одно-значно определен, в противном случае гипотеза называется слож-

ной.Пусть задана выборка X[n] из генеральной совокупности ξ с

функцией распределения Fξ(x). Пусть имеется две простые гипо-тезы:

• H0 : Fξ(x) = F0(x).• H1 : Fξ(x) = F1(x).

Причем, функции F0(x) и F1(x) полностью известны. По выборкеX[n] требуется принять решение об истинности нулевой гипотезыH0 при альтернативной гипотезе H1.

Выборка X[n] — точка из пространства Rn. Выделим множе-ство S ⊂ Rn — критическую область для гипотезы H0, тогда можносформулировать правило проверки гипотезы H0 при альтернативеH1:

• Если X[n] ∈ S, то отвергаем гипотезу H0, принимаем H1.• Если X[n] /∈ S, то принимаем гипотезу H0, отвергаем H1.

Правило проверки статистической гипотезы при некоторой фикси-рованной альтернативе принято называть статистическим кри-

терием.

306

За исключением тривиальных ситуаций сформулированноеправило не может всегда приводить к правильным решениям. Воз-можны два типа ошибок:

1. Ошибка первого рода — отклонить гипотезуH0, когда она вер-на, вероятность ошибки первого рода α(S) определяется ра-венством:

α(S) = PX[n] ∈ S/H0

= P0

X[n] ∈ S

.

2. Ошибка второго рода — принять гипотезу H0, когда вернаH1, вероятность ошибки второго рода β(S) определяется ра-венством:

β(S) = PX[n] /∈ S/H1

= P1

X[n] /∈ S

.

Также будем рассматривать вероятность

γ(S) = 1− β(S) = P1

X[n] ∈ S

,

вероятность γ(S) называют мощностью критерия. Если γ(S) <α(S), то попасть в S при условии истинности гипотезы H1 труднее,чем при условии истинности гипотезы H0, т. е. S — критическаяобласть скорее для H1. Следовательно, неравенство должно иметьвид:

γ(S) > α(S),

т. е. S следует выбирать так, чтобы выполнялось это неравенство.

Определение 1.1. Критерий называется несмещенным, если вы-полняется условие

α(S) 6 γ(S) = 1− β(S).

В большинстве задач гипотезы H0 и H1 не равноправны. По-этому в дальнейшем изложении будем считать, что H0 — основнаягипотеза, H1 — альтернативная гипотеза.

Зададим α0 и будем иметь дело только с такими критери-ями, где α0 > α(S) (т. е. вероятность ошибки первого рода непревосходит величины α0) и дополнительно будем решать задачу:

307

β(S) → minS

. Получаем две эквивалентные задачи определения кри-

тической области S: α0 > α(S),

β(S) → minS.

α0 > α(S),

γ(S) → maxS

.

Задачи в такой постановке не всегда решаемы, так как требует-ся ответить точно «да» или «нет». Такие статистические критерииназываются нерандомизированными критериями.

Можно рассмотреть функцию ϕ(x) = Ix ∈ S. Тогда неран-домизированный критерий примет вид:

• Если ϕ(X[n]) = 1, тогда отвергаем гипотезу H0, принимаемH1.

• Если ϕ(X[n]) = 0, тогда принимаем гипотезу H0, отвергаемH1.

Функцию ϕ принято называть критической функцией.Пусть теперь ϕ не является индикатором множества S, и

ϕ(x) = PH0/X[n] = x

,

тогда ϕ(X[n]) ∈ [0, 1] — условная вероятность отклонения гипотезыH0. При таком определении ϕ(x) приходим к рандомизированномукритерию, то есть, критерию, который при некоторых значенияхx может не давать ответа «да» или «нет» в отношении истинно-сти нулевой гипотезы H0. Тогда с вероятностью 1−ϕ(X[n]) следуетпринимать гипотезу H0 и с вероятностью ϕ(X[n]) принимать гипо-тезу H1. При использовании введенного обозначения вероятностьошибки первого рода, вероятность ошибки второго рода и мощ-ность критерия будем обозначать: α(ϕ), β(ϕ) и γ(ϕ) = 1− β(ϕ) со-ответственно. Определение 1.1 можно переформулировать в новыхтерминах, критерий называется несмещенным, если α(ϕ) 6 γ(ϕ).

Без ограничения общности будем предполагать, что существу-ет плотность f0(x) для функции распределения F0(x), и существу-ет плотность f1(x) для функции распределения F1(x). В дискрет-ном случае все результаты аналогичны. В дальнейшем будем счи-тать, что плотности fi(x), i = 1, 2, определены относительно сигма-конечной меры µ. Если в качестве меры µ рассматривается мера

308

Лебега, то плотности распределения представляют собой обычныеплотности распределения. Если в качестве меры µ рассматривает-ся «считающая» мера, тогда плотности распределения являютсявероятностями, что соответствует дискретному случаю. При этом,в любом случае Fi(x) =

∫ x

−∞ fi(t)µ(dt), i = 1, 2.Функция правдоподобия выборки (совместная плотность вы-

борки) при справедливости гипотезы H0 имеет вид:

L0(X[n]) =n∏

i=1

f0(Xi).

Если верна гипотеза H1, то функция правдоподобия имеет вид:

L1(X[n]) =

n∏

i=1

f1(Xi).

Для рандомизированного критерия получаем

P0(H0) =

∫

Rn

ϕ(x)L0(x)dx = α(ϕ),

P1(H0) =

∫

Rn

(1− ϕ(x))L1(x)dx = β(ϕ),

γ(ϕ) =

∫

Rn

ϕ(x)L1(x)µ(dx).

Очевидно, что γ(ϕ) = 1− β(ϕ).Тогда задача построения статистического критерия сводится к

нахождению критической функции ϕ(x) и будет формулироватьсяследующим образом:

α0 > α(ϕ),

β(ϕ) −→ minϕ.

Эквивалентная формулировка имеет вид:α0 > α(ϕ),

γ(ϕ) −→ maxϕ

.

309

Таким образом, задача заключается в том, чтобы найти наибо-лее мощный критерий, когда вероятность ошибки первого рода непревосходит некоторого заданного порогового значения. Решениесформулированных задач дается леммой Неймана-Пирсона.

Лемма 1.1. (Лемма Неймана-Пирсона) Пусть α0 ∈ (0, 1), тогдапри фиксированной вероятности ошибки первого рода α0 наиболеемощный критерий имеет критическую функцию ϕ∗ вида

ϕ∗(x) =

1, если L1(x) > cL0(x);

ε, если L1(x) = cL0(x);

0, если L1(x) < cL0(x),

где L0(x) =∏n

i=1 f0(xi) соответствует гипотезе H0, L1(x) =∏ni=1 f1(xi) — гипотезе H1. Константы c и ε — решения уравнения

α(ϕ∗) = α0.

Доказательство. Покажем, что константы c и ε могут бытьнайдены из уравнения α(ϕ∗) = α0. Заметим, что

α(ϕ∗) = P0L1(X[n]) > cL0(X[n])+ εP0

L1(X[n]) = cL0(X[n])

=

= P0

L1(X[n])

L0(X[n])> c

+ εP0

L1(X[n])

L0(X[n])= c

(1.1)

Может ли быть так, что L0(X[n]) = 0? Да, может, но тогда

P0L0(X[n]) = 0 =

∫

x: L0(x)=0

L0(x)µ(dx) = 0

и, следовательно, равенство (1.1) корректно. Поэтому рассмот-рим случайную величину η(X[n]) = L1(X[n])/L0(X[n]). ПоложимFH0,η(t) = Pη 6 t, тогда

α(ϕ∗) = 1− FH0,η(c) + ε(FH0,η(c)− FH0,η(c− 0)).

Пусть g(c) = 1−FH0,η(c), константу cα0 можно выбрать так, чтобыбыло выполнено неравенство:

g(cα0) 6 α0 6 g(cα0 − 0),

310

если g(cα0) = g(cα0−0), то положим εα0 = 0, если g(cα0) < g(cα0−0),то в качестве εα0 выберем следующую величину:

εα0 =α0 − g(cα0)

g(cα0 − 0)− g(cα0)∈ [0, 1].

Нетрудно заметить, что в обоих случаях выполнено равенство:

α0 = g(cα0) + εα0(g(cα0 − 0)− g(cα0)) = α(ϕ∗).

Докажем, что ϕ∗(x) — критическая функция наиболее мощногокритерия. Выберем любую другую критическую функцию ϕ(x) та-кую, что α(ϕ) 6 α0 и сравним ее с критической функцией ϕ∗. За-метим, что для любого x справедливо неравенство:

(ϕ∗(x)− ϕ(x))(L1(x)− cα0L0(x)) > 0.

Тогда ∫

Rn

(ϕ∗(x) − ϕ(x))(L1(x)− cα0L0(x))µ(dx) > 0.

Раскроем скобки и преобразуем:

∫

Rn

ϕ∗(x)L1(x)µ(dx) −∫

Rn

ϕ(x)L1(x)µ(dx) >

> cα0

∫

Rn

ϕ∗(x)L0(x)µ(dx) −∫

Rn

ϕ(x)L0(x)µ(dx)

> 0.

Следовательно, γ(ϕ∗)− γ(ϕ) > cα0(α(ϕ∗)− α(ϕ)), откуда получаем

неравенство:γ(ϕ∗) > γ(ϕ).

§2. Простые гипотезы о параметрах нормального

и биномиального распределений

Нормальное распределение

311

Пусть задана генеральная совокупность ξ, выборка X[n] изэтой генеральной совокупности, имеются две гипотезы о распре-делении генеральной совокупности N(a0, σ

2), N(a1, σ2), где a0, a1

известны. Также считаем, что σ2 известна. Пусть для определен-ности a1 > a0. Т.е. имеем две гипотезы:

• H0 : a = a0.• H1 : a = a1 > a0.

Без ограничения общности считаем, что a1 > a0. Применим кри-терий Неймана-Пирсона. Выпишем функции правдоподобия длякаждой гипотезы:

L0(X[n]) =1

(2π)n2 σn

e− 1

2σ2

n∑

i=1

(Xi−a0)2

,

L1(X[n]) =1

(2π)n2 σn

e− 1

2σ2

n∑

i=1

(Xi−a1)2

.

Рассмотрим отношение:

L1(X[n])

L0(X[n])= exp

1

2σ2

2(a1 − a0)nX − n(a21 − a20)

.

Нетрудно заметить, что L1(X[n])/L0(X[n]) > c тогда и только тогда,когда X > c1, поэтому оптимальный критерий Неймана-Пирсонавыглядит следующим образом:

ϕ∗(x) =

1, X > c1;

ε, X = c1;

0, X < c1,

при этом константы c1 и ε выбираются при заданном α0 ∈ (0, 1)как решение уравнения α0 = α(ϕ∗). Так как при справедливостигипотезы H0 распределение статистики X является нормальным,то PX = c1 = 0, поэтому можно положить ε = 0, тогда

ϕ∗(x) =

1, X > c1;

0, X 6 c1.

312

В этом случае всегда g(cα0) = g(cα0 − 0), поэтому можно выбратьε = 0. Оптимальный критерий является нерандомизированным.Зададим вероятность ошибки первого рода α0:

α0 = α(ϕ∗) = P0X > c1 = P0

X − a0σ

√n >

c1 − a0σ

√n

=

= 1− Φ

(c1 − a0σ

√n

),

где Φ(x) — функция распределения, соответствующая стандартно-му нормальному распределению,

Φ(x) =1√2π

x∫

−∞

e−t2

2 dt.

Таким образом, получили уравнение:

Φ

(c1 − a0σ

√n

)= 1− α0.

Его решением является квантиль уровня 1− α0 стандартного нор-мального распределения z1−α0 =

√n(c1 − a0)/σ. Равенство

α(ϕ∗) = α0 (2.1)

будет выполнено, если выбрать c1 = a0+z1−α0σ/√n и, следователь-

но, критическая область для нулевой гипотезы H0 при использова-нии статистики X имеет следующий вид:

S =

(a0 +

σ√nz1−α0 ; +∞

).

Если X ∈ S, то гипотезу H0 следует отклонить, если X /∈ S, тогипотезу H0 следует принять. Оптимальный критерий в данномслучае является нерандомизированным.

Если выберем

c1 > a0 +σ√nz1−α0 , (2.2)

то вероятность ошибки первого рода будет удовлетворять неравен-ству α(ϕ∗) 6 α0. Введем в рассмотрение ошибку второго рода β.

313

Зададим уровень ошибки второго рода β0 и выясним условия, ко-гда β(ϕ∗) 6 β0:

β(ϕ∗) = P1X 6 c1 =

= P1

X − a1σ

√n 6

c1 − a1σ

√n

= Φ

c1 − a1σ

√n

.

Неравенство β(ϕ∗) 6 β0 окажется выполненным, если

c1 − a1σ

√n 6 zβ0 ,

где zβ0 — квантиль стандартного нормального распределения уров-ня β0. Из последнего неравенства получаем:

c1 6 a1 +σ√nzβ0 . (2.3)

Константа c1, для которой выполнены неравенства (2.2) и (2.3) мо-жет быть выбрана, если имеет место неравенство:

a0 +σ√nz1−α0 6 a1 +

σ√nzβ0 .

Преобразуя последнее неравенство, получим

n >σ2(z1−α0 − zβ0)

2

(a1 − a0)2. (2.4)

Таким образом, при объеме выборки n, удовлетворяющем неравен-ству (2.4), будут выполнены условия: α(ϕ∗) 6 α0 и β(ϕ∗) 6 β0.

Предположим, что известно математическое ожидание a.Сформулируем гипотезы:

• H0 : σ = σ0.• H1 : σ = σ1 > σ0.

Без ограничения общности считаем, что σ1 > σ0, σ0 и σ1 известны.Статистический критерий проверки гипотезы H0 при альтер-

нативе H1 основан на статистике отношения правдоподобия, какследует из леммы Неймана-Пирсона. Выпишем функции правдо-подобия:

L0(X[n]) =1

(2π)n2 σn

0

e− 1

2σ20

n∑

i=1

(Xi−a)2

,

314

L1(X[n]) =1

(2π)n2 σn

1

e− 1

2σ21

n∑

i=1

(Xi−a)2

.

Тогда неравенство

L1(X[n])

L0(X[n])=

(σ0σ1

)n

e

(

1

2σ20− 1

2σ21

)

n∑

i=1

(Xi−a)2

> c

равносильно неравенству:

n∑

i=1

(Xi − a)2 > c1.

Ранее было показано, что статистика 1σ20

∑ni=1(Xi − a)2 подчи-

няется распределению хи-квадрат с n степенями свободы приусловии справедливости гипотезы H0. Следовательно, вероятностьP0(∑n

i=1(Xi − a)2 = c1) равна нулю при любом значении констан-ты c1, поэтому в оптимальном критерии можно положить ε = 0.Поэтому критерий имеет вид:

ϕ∗(x) =

1,n∑

i=1

(Xi − a)2 > c1;

0,n∑

i=1

(Xi − a)2 6 c1,

и, оказывается, нерандомизированным. Выберем константу так,чтобы выполнялось равенство: α(ϕ∗) = α0. Нетрудно заметить, что

α(ϕ∗) = P0

n∑

i=1

(Xi − a)2 > c1

=

= P0

n∑

i=1

(Xi − a

σ0

)2

>c1σ20

= 1− Fχ2

n

(c1σ20

),

где Fχ2n(·) — функция распределения закона хи-квадрат с n степе-

нями свободы. Решением уравнения Fχ2n

(c1/σ

20

)= 1− α0 является

квантиль распределения χ2 с n степенями свободы, то есть u1−α0,n.Критическая область для гипотезы H0 выглядит следующим

образом:

315

• Если∑n

i=1(Xi − a)2 ∈ (σ20u1−α0,n; +∞) = S, то гипотеза H0

отклоняется.• Если

∑ni=1(Xi − a)2 ∈ [0;σ2

0u1−α0,n], то гипотеза H0 принима-ется.Оптимальный критерий является нерандомизированным кри-

терием.

Биномиальное распределение

Теперь рассмотрим случай, когда проверяется гипотеза о пара-метре биномиального распределения. Рассмотрим схему Бернулли.Выборка X[n] состоит из нулей и единиц, единицы соответствуютуспехам. Тогда вероятность того, что в серии из n испытаний про-изойдет ровно m успехов равна

Pnξ = m = Cmn p

m(1− p)n−m,

где n — число испытаний, p — вероятность успеха, m — число успе-хов.

Сформулируем гипотезы:• H0 : p = p0.• H1 : p = p1 > p0.

Как и в предыдущих примерах, без ограничения общности считаем,что p1 > p0, p1 и p0 известны. Применим оптимальный критерийНеймана-Пирсона. Выпишем функции правдоподобия для каждойгипотезы:

L1(m) = Cmn p

m1 (1− p1)

n−m,

L0(m) = Cmn p

m0 (1− p0)

n−m.

Неравенство

L1(m)

L0(m)=

(p1p0

)m(1− p11− p0

)n−m

> c

эквивалентно неравенству:(p1(1− p0)

p0(1− p1)

)m(1− p11− p0

)n

> c,

316

или эквивалентно неравенству: m > c1. Следовательно, оптималь-ную критическую функцию можно записать в виде:

ϕ∗(x) =

1, m > c1;

ε, m = c1;

0, m < c1.

Оптимальный критерий является рандомизированным. Константыc1 и ε нужно выбирать из условия: α(ϕ∗) = α0. Воспользуемсяасимптотикой:

α(ϕ∗) = P0m > c1+ εP0m = c1 −−−−→n→∞

1− Φ

(c1 − np0√np0(1 − p0)

).

Решением уравнения

Φ

(c1 − np0√np0(1− p0)

)= 1− α0

является квантиль стандартного нормального распределения уров-ня 1− α0:

z1−α0 =c1 − np0√np0(1− p0)

.

Из полученного условия можно найти константу c1:

c1 = np0 +√np0(1− p0)z1−α0 .

Критическая область для гипотезы H0 имеет вид (c1;∞). Такимобразом, построен статистический критерий:

• Если m ∈ (np0 +√np0(1− p0)z1−α0 ; +∞), то гипотеза H0 от-

клоняется.• Если m ∈ [0;np0 +

√np0(1− p0)z1−α0 ], то гипотеза H0 прини-

мается.Построенный критерий является нерандомизированным, однако, вотличие от предыдущих примеров, построенный критерий не явля-ется точным. Нельзя утверждать, что вероятность ошибки первогорода равна α0. Для выборок большого объема вероятность ошибкипервого рода окажется приближенно равной α0.

317

§3. Гипотезы о параметрах распределений для

сложных альтернатив

Пусть заданы генеральная совокупность ξ и выборка X[n] из гене-ральной совокупности. Сформулируем две гипотезы о распределе-нии генеральной совокупности: генеральная совокупность ξ подчи-няется нормальному распределению N(a0, σ

2), и генеральная сово-купность ξ подчиняется нормальному распределению N(a1, σ

2), гдеa1 неизвестно, a0 известно, также считаем, что σ2 известна. Будемпредполагать, что a1 > a0. Таким образом, имеем две гипотезы:

• H0 : a = a0.• H1 : a > a0.

ГипотезуH1 можно записать в виде: a = a1 > a0, a1 неизвестно. Ги-потеза H1 представляет собой правостороннюю альтернативу. Оп-тимальный критерий имеет вид:

ϕ∗(x) =

1, X > c1;

0, X 6 c1,

где c1 находится из уравнения:

α0 = P0X > c1,

где α0 — вероятность ошибки первого рода (уровень значимостикритерия). Как показано в предыдущем параграфе:

c1 = a0 + z1−α0σ/√n.

Критерий Неймана-Пирсона является равномерно наиболее мощ-ным критерием для проверки гипотезы H0 : a = a0 при альтерна-тиве H1 : a > a0, то есть, он не зависит от конкретного значенияa1, и является наиболее мощным при любом a1 > a0.

Результат полностью сохраняется для левосторонней альтер-нативы a = a1 < a0 при соответствующих изменениях. Для двусто-ронней альтернативы не удается построить равномерно наиболеемощный критерий.

Рассмотрим двустороннюю альтернативу:• H0 : a = a0.• H1 : a 6= a0.

318

Как и раньше фиксируем вероятность ошибки первого рода α0. Вкачестве статистики критерия возьмем X. В предположении истин-ности нулевой гипотезы выберем константу c1 из условия:

P0|X − a0| > c1 = α0.

Критическая область для гипотезы H0 при двусторонней альтерна-тиве H1 при использовании статистики X имеет вид:

S = x : |x− a0| > c1.

Выберем вероятность ошибки первого рода:

PX ∈ S/H0 = α0.

Преобразуем выражение:

P0

√n|X − a0|

σ>

√nc1σ

= α0.

Пусть η =√n(X−a0)/σ, тогда при условии справедливости гипоте-

зы H0 случайная величина η подчиняется стандартному нормаль-ному распределению N(0, 1). Следовательно, в качестве c1 можновыбрать

c1 = z1−α02

σ√n,

где z1−α02

— квантиль стандартного нормального распределенияуровня 1 − α0/2. Критическая область для нулевой гипотезы прииспользовании статистики X принимает следующий вид:

S = (−∞; a0 − c1) ∪ (a0 + c1; +∞).

Критерий проверки таков:• Если X ∈ S, то гипотеза H0 отклоняется.• Если X /∈ S, то гипотеза H0 принимается.

Теперь рассмотрим случай, когда σ2 неизвестна. Рассмотримправостороннюю альтернативу:

• H0 : a = a0.• H1 : a > a0, то есть, a = a1 > a0, a1 — неизвестно.

319

Вычислим статистику

t =X − a0

s

√n,

где s2 = 1n−1

∑ni=1(Xi − X)2.

При справедливости нулевой гипотезы статистика t должнаподчиняться распределению Стьюдента с n− 1 степенью свободы.Если верна альтернативная гипотеза H1, то можно заметить, чтостатистика будет смещена вправо по отношению к распределениюСтьюдента с n− 1 степенью свободы.

Критическая область в данном случае для нулевой гипоте-зы будет иметь вид S = t > c1 = (c1; +∞), где константу c1следует выбирать из условия P0t > c1 = α0. Таким образом,c1 = t1−α0,n−1 — квантиль распределения Стьюдента с n − 1 сте-пенью свободы уровня 1 − α0. Критерий с вероятностью ошибкипервого рода α0 имеет вид:

• Если статистика t ∈ (t1−α0,n−1; +∞), то отклоняем гипотезуH0 в пользу H1.

• Если статистика t ∈ (−∞; t1−α0,n−1], то отклоняем гипотезуH1 в пользу H0.

Для левосторонней альтернативы критическая область для гипоте-зы H0 при использовании статистики t будет следующей:

S = (−∞; tα0,n−1),

где tα0,n−1 — квантиль уровня α0 распределения Стьюдента с n− 1степенью свободы.

Для двусторонней альтернативы критическая область с веро-ятностью ошибки первого рода α0 для гипотезы H0 при использо-вании статистики t будет следующей:

S = (−∞; tα02 ,n−1] ∪ [t1−α0

2 ,n−1; +∞),

где tα02 ,n−1 — квантиль уровня α0/2 распределения Стьюдента с

n− 1 степенью свободы, t1−α02 ,n−1 — квантиль уровня 1−α0/2 того

же распределения.

320

§4. Распределение Фишера

Определение 4.1. Пусть случайные величины η ∼ χ2m, ξ ∼ χ2

n

независимы. Будем говорить, что случайная величина

ζ =η/m

ξ/n∼ Fm,n

подчиняется распределению Фишера со степенями свободы числи-теля m и знаменателя n.

Лемма 4.1. Плотность распределения случайной величины ζ ∼Fm,n имеет вид:

fζ(z) =

Γ(m+n2 )

Γ(m2 )Γ(n2 )

mm2 n

n2 z

m2 −1

(n+mz)m+n

2

, если z > 0;

0, если z 6 0.

Доказательство. Рассмотрим случайную величину ζ = η/ξи напишем для нее плотность распределения, считая, что z > 0:

fζ(z) =

∞∫

0

xfξ(x)fη(zx)dx =

=z

m2 −1

2n+m

2 Γ(m2

)Γ(n2

)∞∫

0

xm+n

2 −1e−x2 (z+1)dx.

Далее сделаем замену переменных: y = x(z+1)/2, dx = 2dy/(1+z),x = 2y/(1+z). После преобразований получаем формулу плотностираспределения для случайной величины ζ:

fζ(z) =Γ(m+n

2

)

Γ(m2

)Γ(n2

) zm2 −1

(1 + z)m+n

2

, z > 0.

Как нетрудно заметить, ζ = (n/m)ζ, следовательно,

fζ(z) =m

nfζ

(mnz).

321

§5. Критерии однородности для двух независи-

мых выборок из нормально распределенной гене-

ральной совокупности

Критерий Фишера

Важная задача прикладной статистики — сравнение двух и бо-лее выборок, что позволяют осуществить критерии однородности.

Пусть имеются две генеральные совокупности η с выборкойX[m] и ξ с выборкой Y[n]. Будем считать, что η подчиняется нор-мальному распределению N(a1, σ

21) и ξ подчиняется нормальному

распределению N(a2, σ22), причем, математические ожидания a1, a2

и дисперсии σ21 и σ2

2 неизвестны. Сформулируем нулевую и альтер-нативную гипотезы:

• H0 : σ21 = σ2

2 .• H1 : σ2

1 6= σ22 .

Альтернативная гипотеза является двусторонней. Тогда

(m− 1)s2X/σ21 ∼ χ2

m−1,

(n− 1)s2Y /σ22 ∼ χ2

n−1,

где

s2X =1

m− 1

m∑

i=1

(Xi − X)2,

s2Y =1

n− 1

n∑

i=1

(Yi − Y )2.

В соответствии с определением распределения Фишера:

Fm−1,n−1 =s2Xs2Y

σ22

σ21

∼ Fm−1,n−1.

Тогда при справедливости нулевой гипотезы:

s2Xs2Y

∼ Fm−1,n−1.

Пусть uα2, u1−α

2— квантили распределения Фишера Fm−1,n−1.

Можно сформулировать критерий проверки гипотезы H0 при аль-тернативе H1 с вероятностью ошибки первого рода α (уровнем зна-чимости критерия):

322

• Если s2Xs2Y

∈ [uα2, u1−α

2], то принимается гипотеза H0.

• Если s2Xs2Y

/∈ [uα2, u1−α

2], то принимается гипотеза H1.

Если альтернативная гипотеза H1 односторонняя, т. е. σ21 > σ2

2 , тов качестве критической области для нулевой гипотезы рассматри-вается S = (u1−α,+∞), где α — вероятность ошибки первого рода.Случай σ2

2 > σ21 сводится к предыдущему переменой мест выборок.

Критерий Стьюдента

Пусть заданы случайные величины η ∼ N(a1, σ21) с выборкой

X[m] и ξ ∼ N(a2, σ22) с выборкой Y[n]. Сформулируем нулевую и

альтернативную двустороннюю гипотезы:• H0 : a1 = a2.• H1 : a1 6= a2.

Рассмотрим два случая:1. Дисперсии σ2

1 , σ22 известны, тогда используем статистику

X − Y√σ21

m +σ22

n

∼ N(0, 1),

которая при условии, что верна гипотеза H0, подчиняется стан-дартному нормальному распределению. Получаем критерий с ве-роятностью ошибки первого рода α:

• Если справедливо неравенство:∣∣X − Y

∣∣√

σ21

m +σ22

n

6 u1−α2,

то принимается гипотеза H0, где u1−α2

— квантиль уровня1− α/2 стандартного нормального распределения.

• Если справедливо неравенство:∣∣X − Y

∣∣√

σ21

m +σ22

n

> u1−α2,

то принимается гипотеза H1.

323

Для правосторонней альтернативной гипотезы H1 : a1 > a2 крити-ческая область для H0 будет выглядеть следующим образом:

S = (u1−α,+∞).

Для левосторонней альтернативной гипотезы H1 : a1 < a2 крити-ческая область для H0 будет следующей:

S = (−∞, uα).

б) Дисперсии неизвестны, но есть основания считать, что σ21 = σ2

2 =σ2. Статистики (m− 1)s2X/σ

2, (n− 1)s2Y /σ2, которые были введены

ранее, взаимно независимы и имеют распределения χ2m−1 и χ2

n−1

соответственно, тогда статистика

s2X(m− 1) + s2Y (n− 1)

σ2

подчиняется распределению хи-квадрат с m+ n− 2 степенями сво-боды. Если верна гипотеза H0, то статистика

t(0)n+m−2 =

X − Y√m+nmn

√s2X (m−1)+s2Y (n−1)

m+n−2

подчиняется распределению Стьюдента Tn+m−2 с n+m− 2 степе-нями свободы (t(0)n+m−2 — дробь Стьюдента).

Если верна гипотеза H1, то статистика

tn+m−2 =X − Y + (a2 − a1)√

m+nmn

√s2X (m−1)+s2Y (n−1)

m+n−2

подчиняется распределению Стьюдента Tn+m−2 с n+m− 2 степе-нями свободы.

Сформулируем критерий с вероятностью ошибки первого родаα:

• Если |t(0)n+m−2| 6 t1−α2, где t1−α

2— квантиль распределения

Стьюдента с n+m− 2 степенями свободы уровня 1− α/2, топринимается гипотеза H0.

• Если |t(0)n+m−2| > t1−α2, то принимается гипотеза H1.

324

Для правосторонней альтернативной гипотезы H1 : a1 > a2 кри-тическая область для H0 при использовании статистики t

(0)n+m−2

будет следующей: S = (t1−α,+∞). Для левосторонней альтерна-тивной гипотезы H1 : a1 < a2 критическая область для H0 прииспользовании статистики t(0)n+m−2 будет следующей: S = (−∞, tα).Границы t1−α и tα — квантили распределения Стьюдента с n+m−2степенями свободы уровней 1− α и α соответственно.

§6. Критерий однородности Вилкоксона и Манна-

Уитни

Критерии Вилкоксона и Манна-Уитни неприменимы к дискретнымраспределениям и для применения этих критериев не нужно пред-полагать нормальность распределений генеральных совокупностей.

Пусть имеются две независимые выборки X[n] = (X1, . . . , Xn)и Y[m] = (Y1, . . . , Ym) из двух генеральных совокупностей с непре-рывными функциями распределения равными соответственно F иG. Сформулируем гипотезы:

• H0 : F (x) = G(x) для всех x ∈ R.• H1 : F (x) > G(x) для всех x ∈ R — правосторонняя альтер-

нативная гипотеза.• H

′

1 : F (x) 6 G(x) для всех x ∈ R — левосторонняя альтерна-тивная гипотеза.

• H′′

1 : F (x) 6= G(x) для всех x ∈ R — двусторонняя альтерна-тивная гипотеза (т.е. выполнена гипотеза H1 или H

′

1).

Критерий однородности Вилкоксона

Без ограничения общности будем считать, что m 6 n. Соста-вим объединенную выборку Z[n+m] = (X[n], Y[m]). Построим вариа-ционный ряд объединенной выборки:

z(1) < z(2) < . . . < z(m+n),

т. е. упорядочим все элементы объединенной выборки по возрас-танию. Элементы получившегося вариационного ряда будем обо-значать z(1) < z(2) < . . . < z(m+n). Если распределения генераль-ных совокупностей непрерывны, то совпадения возможны только

325

с нулевой вероятностью. В дальнейшем будем предполагать, чтосовпадений нет. В литературе [3], [32] имеются поправочные фор-мулы, когда совпадения возникают, например, вследствие округле-ния. Однако, следует заметить, что при большом числе совпаденийрассматриваемые критерии неприменимы.

Найдем, какие места занимают в вариационном ряду, постро-енном по объединенной выборке, элементы выборки Y[m]. Назовемэти номера рангами элементов выборки Y[m] в объединенной вы-борке Z[n+m]:

rank(Y1) = s1, rank(Y2) = s2, . . . , rank(Ym) = sm.

Рассмотрим статистку критерия:

W =

m∑

i=1

si.

Очевидно, что минимальным значением статистики Вилкок-сона может быть величина Wmin = m(m + 1)/2, максимальным —Wmax = mn+m(m+ 1)/2. Поэтому статистика W находится в про-межутке [m(m+ 1)/2;mn +m(m+ 1)/2]. Распределение статисти-ки Вилкоксона W является симметричным относительно серединыданного промежутка при условии справедливости нулевой гипоте-зы H0.

Если справедлива альтернативная гипотеза H1, то чаще будутвстречаться события xi < yj, то есть, распределение статистикиW перестанет быть симметричным относительно середины и будетсдвинуто вправо. Если справедлива альтернативная гипотезаH

′

1, тораспределение статистики W будет сдвинуто влево, так как чащебудут выполняться события xi > yj .

Если выбрана альтернативой гипотеза H1, то критическая об-ласть для нулевой гипотезы H0 будет иметь вид:

S =

[c1,mn+

m(m+ 1)

2

].

Если выбрана альтернативой гипотеза H′

1, то критическая областьдля нулевой гипотезы H0 будет иметь вид:

S =

[m(m+ 1)

2, c2

].

326

Если выбрана альтернативой гипотеза H′′

1 , то критическая областьдля нулевой гипотезы H0 будет иметь вид:

S =

[m(m+ 1)

2, c3

]∪[c4,mn+

m(m+ 1)

2

].

При этом, константы c1, c2, c3, c4 следует находить по таблицам рас-пределения статистики Вилкоксона W , рассчитанным при условиисправедливости нулевой гипотезы H0 для разных m и n. В качествеискомых констант выбираются квантили распределения. При этом,константы c1 и c2 симметричны относительно середины промежут-ка [m(m+ 1)/2,mn+m(m+ 1)/2]. Также симметрично относитель-но середины этого промежутка расположены константы c3 и c4.Общее требование заключается в том, что вероятность попаданиястатистики W в критическую область при условии справедливостинулевой гипотезы H0 должна быть равна заданному значению α:

P0W ∈ S = α.

Числовые значения констант могут быть найдены из статистиче-ских таблиц [3] и в приложении Д книги.

Критерий Манна-Уитни

Будем проверять те же нулевую и альтернативные гипоте-зы, что и в критерии Уилкоксона. Запишем статистику критерияМанна-Уитни:

U =

n∑

i=1

m∑

j=1

IXi < Yj,

где

IXi < Yj =

1, Xi < Yj ;

0, Xi > Yj .

Находим в таблице [34] критические значения распределения ста-тистики Манна-Уитни: Uleft = Uα,n,m, Uright = Vα,n,m и сравни-ваем с ними статистику критерия. Здесь Uα,n,m и Vα,n,m — кри-тические значения уровня α статистики U при условии справед-ливости гипотезы однородности H0, т.е. P0U 6 Uα,n,m = α,P0U > Vα,n,m = α, α — вероятность ошибки первого рода.

327

Если U > Uright, то нулевая гипотеза отвергается в пользуправосторонней альтернативной гипотезы H1. Если U 6 Uleft, тонулевая гипотеза отвергается в пользу левосторонней альтернатив-ной гипотезыH

′

1. Для случая двусторонней альтернативыH′′

1 нахо-дятся точки Uright = Vα/2,n,m и Uleft = Uα/2,n,m, и нулевая гипотезаH0 отвергается при выполнении любого из неравенств: U > Uright,U 6 Uleft.

Статистики Вилкоксона и Манна-Уитни связаны между собойследующим соотношением:

W = U +m(m+ 1)

2.

Для доказательства справедливости приведенной формулы заме-тим, что значение статистики Вилкоксона W , по существу, равноколичеству неравенств вида: Xi < Yj плюс сумма рангов элемен-тов выборки Y[m] в самой выборке Y[m]. Последняя сумма представ-ляет собой арифметическую прогрессию чисел от 1 до m шагом 1.

Полученная формула позволяет пересчитывать значение од-ной статистики в другую и пользоваться тем распределением, ко-торое более удобно для вычислений.

Для больших объемов выборок существуют аппроксимациистатистики W , которую можно найти, например, в [3].

§7. Непараметрические критерии анализа парных

повторных наблюдений

В отличие от предыдущего параграфа здесь рассматриваются двезависимые выборки. При этом, проверяются те же гипотезы. Вы-борки имеют одинаковый объем, и зависимость носит следующийхарактер. Внутри каждой из выборок элементы независимы, но Xi

и Yi — зависимые наблюдения. Чаще всего i означает номер объек-та, а Xi и Yi — два наблюдения над одним и тем же объектом до ипосле некоторого воздействия.

Пусть имеются две выборки X[n] = (X1, . . . , Xn) и Y[n] =(Y1, . . . , Yn) из генеральных совокупностей с функциями распре-деления равными соответственно F (x) и G(x), которые считаемнепрерывными. Сформулируем гипотезы:

328

• H0 : F (x) = G(x) для всех x ∈ R.• H1 : F (x) > G(x) для всех x ∈ R — правосторонняя альтер-

нативная гипотеза.• H

′

1 : F (x) 6 G(x) для всех x ∈ R — левосторонняя альтерна-тивная гипотеза.

• H′′

1 : F (x) 6= G(x) для всех x ∈ R — двусторонняя альтерна-тивная гипотеза.

Критерий знаков

Составим разности zi = Xi − Yi. Случайные величины zi,i = 1, . . . , n, взаимно независимы и одинаково распределены. Пе-реформулируем гипотезы:

• H0 : Pzi < 0 = Pzi > 0 = 1/2.• H1 : Pzi < 0 > Pzi > 0.• H

′

1 : Pzi < 0 < Pzi > 0.• H

′′

1 : Pzi < 0 6= Pzi > 0.Так как в гипотезах фигурируют вероятности, то можем рассмат-ривать схему Бернулли, где событие zi < 0 означает успех. Рас-смотрим статистику:

L =

n∑

i=1

Izi < 0.

Очевидно, что при выполнении гипотезы H0 статистика L подчиня-ется биномиальному распределению с вероятностью успеха p = 1/2.Критическая область для нулевой гипотезы при выборе альтерна-тивной гипотезы H1 имеет вид: (c1, n]. Критическая область длянулевой гипотезы при выборе альтернативной гипотезы H

′

1 имеетвид: [0, c2). Критическая область для нулевой гипотезы при выбореальтернативной гипотезы H

′′

1 имеет вид: [0, c3) ∪ (c4, n].Для нахождения констант c1, c2, c3, c4 можно использовать

таблицы вероятностей биномиального распределения. Константыc1 и c2 расположены симметрично относительно середины проме-жутка [0, n], тоже относится и к константам c3 и c4. Общее правило,как всегда, заключается в том, что попадание статистики крите-рия L в критическую область при условии выполнения гипотезыH0 равно α.

329

Критерий знаковых ранговых сумм Вилкоксона

Составим разности zi = Xi − Yi. Предполагаем, что величиныzi не зависят друг от друга. Рассмотрим случаи, когда zi < 0 иzi > 0. Рассмотрим те же гипотезы:

• H0 : Pzi < 0 = Pzi > 0 = 1/2.• H1 : Pzi < 0 > Pzi > 0.• H

′

1 : Pzi < 0 < Pzi > 0.• H

′′

1 : Pzi < 0 6= Pzi > 0.Построим вариационный ряд из модулей разностей: |z1|, . . ., |zn|.Сопоставим каждому элементу вариационного ряда ранг: s1 =rank(|z1|), . . ., sn = rank(|zn|), т. е. номер в вариационном ряду.Составим ранговую статистику

U =n∑

i=1

Ψisi,

где

Ψi =

1, zi > 0;

0, zi < 0.

Составлены статистические таблицы [34] распределения статистикиU при условии справедливости гипотезы H0.

Аналогично предыдущему критерию используем таблицы [34]для нахождения критических значений tα,n и сравнения их с полу-ченным значением статистики U . При выборе левосторонней аль-тернативы H1 критическая область имеет вид: [0, c1]. При выбореправосторонней альтернативы H

′

1 критическая область имеет вид:[c2, n(n+1)/2]. При выборе двусторонней альтернативы H

′′

1 крити-ческая область имеет вид: [0, c3] ∪ [c4, n(n + 1)/2]. Константы c1 иc2 расположены симметрично относительно середины промежутка[0, n(n + 1)/2], тоже относится и к константам c3 и c4. Попаданиестатистики критерия U в критическую область при условии выпол-нения гипотезы H0 равно α.

§8. Однофакторный дисперсионный анализ

Однофакторный дисперсионный анализ является обобщением T -критерия для двух выборок из генеральной совокупности.

330

Пусть число выборок k > 2:

X11 X12 . . . X1k

X21 X22 . . . X2k

......

...Xn11 Xn22 . . . Xnkk

N(a1, σ2) N(a2, σ

2) . . . N(ak, σ2)

Пусть все выборки взаимно независимы между собой, при этом вы-борка (X1i, . . . , Xnii) взята из генеральной совокупности с распре-делением N(ai, σ

2). Элементы каждой выборки тоже, конечно, вза-имно независимы.

Выдвигается гипотеза H0 : a1 = a2 = . . . = ak при альтер-нативной гипотезе H1, которая заключается в отрицании гипоте-зы H0. Рассмотрим следующие величины:

X·j =1

nj

nj∑

i=1

Xij , X·· =1

N

nj∑

i=1

k∑

j=1

Xij , N =

k∑

j=1

nj ,

где j — номер выборки.Независимо от справедливости гипотезы H0:

nj∑

i=1

(Xij − X·j)

σ2∼ χ2

nj−1 ∼ G

(1

2,nj − 1

2

).

Следовательно,

S1 =

nj∑

i=1

k∑

j=1

(Xij − X·j)2

σ2∼ χ2

N−k.

Рассмотрим величину

(X·j − aj)

σ

√nj ∼ N(0, 1).

Пусть гипотеза H0 верна. Рассмотри статистику S2 следующего ви-да:

S2 =1

σ2

k∑

j=1

nj(X·j − X··)2.

331

Прибавим и вычтем величину a, получим:

1

σ2

k∑

j=1

nj(X·j − X··)2 =

1

σ2

k∑

j=1

nj

(X·j − a)− 1

N

k∑

j=1

nj(X·j − a)

2

,

так как X·· − a = 1N

nj∑i=1

k∑j=1

(Xij − a) = 1N

k∑j=1

nj(X·j − a).

S2 =1

σ2

k∑

j=1

nj(X·j − X··)2 =

=1

σ2

k∑

j=1

nj

(X·j − a)− 1

N

k∑

j=1

nj(X·j − a)

2

=

=

k∑

j=1

(√nj(X·j − a))2

σ2−

[k∑

j=1

√nj

N

√nj(X·j − a)

]2

σ2=

=

k∑

j=1

[√nj(X·j − a)

σ

]2−

k∑

j=1

√nj

N

√nj(X·j − a)

σ

2

∼ χ2k−1,

как следует из леммы 2.3 главы 16. Из леммы 2.2 главы 16 следу-ет, что статистики S1 и S2 взаимно независимы. По определениюраспределения Фишера Fk−1,N−k получаем, что при выполнениигипотезы H0 статистика

F =S2/(k − 1)

S1/(N − k)∼ Fk−1,N−k

подчиняется распределению Фишера с k − 1 и N − k степенямисвободы числителя и знаменателя соответственно. Заметим, чтостатистика F не зависит от σ2. Большие значения статистики Fсвидетельствуют против нулевой гипотезы, поэтому критическаяобласть S для H0 с вероятностью ошибки первого рода α имеетвид: S = (u1−α,k−1,N−k;∞), где u1−α,k−1,N−k — квантиль уровня1− α распределения Фишера Fk−1,N−k.

332

§9. Критерий однородности Колмогорова–

Смирнова

Пусть имеется две выборки X[n] = X1, . . . , Xn и Y[m] =Y1, . . . , Ym из генеральных совокупностей ξ и η соответствен-но. По выборке X1, . . . , Xn построим вариационный ряд X(1) 6

X(2) 6 . . . 6 X(n), а по Y1, . . . , Ym построим вариационный рядY(1) 6 Y(2) 6 . . . 6 Y(m). Объемы выборок могут быть различны,но, не нарушая общности, предположим, что m 6 n. Функции рас-пределения этих генеральных совокупностей равны F (x) и G(x)соответственно. Наложим дополнительное ограничение: функциираспределения F (x) и G(x) непрерывны.

Критерий Колмогорова–Смирнова проверяет гипотезу о ра-венстве функций распределения двух генеральных совокупностейξ и η, из которых извлечены выборки X[n] и Y[m] соответственно,т. е. H0 : F (x) = G(x) для всех x ∈ R при альтернативной гипотезеH1 : F (x) 6= G(x). Этот критерий основан на использовании эмпи-рических функций распределения F ∗

n(x) и G∗m(x), построенных по

первой и второй выборкам соответственно.Статистика Смирнова определяется следующей формулой:

Dm,n = sup|x|<∞

|G∗m(x) − F ∗

n(x)| (9.1)

Теорема 9.1. Введем обозначение

Dm,n = supx∈R

∣∣G∗m(x, Y[m])− F ∗

n(x,X[n])∣∣ .

Тогда

P0

√mn

m+ nDm,n 6 z

−→ K(z) =

∞∑

j=−∞(−1)je−2j2z2

, (9.2)

если истинная функция распределения F0(x) = F (x) = G(x) непре-

рывна.

На практике значение статистики Dm,n рекомендуется вычис-лять по формулам:

D+m,n = max

16r6m

[ rm

− F ∗n(y(r))

]= max

16s6n

[G∗

m(x(s))−s− 1

n

], (9.3)

333

D−m,n = max

16r6m

[F ∗n(y(r))−

r − 1

m

]= max

16s6n

[ sn−G∗

m(x(s))], (9.4)

Dm,n = max(D+m,n, D

−m,n). (9.5)

При справедливости нулевой гипотезы и неограниченном уве-личении объемов выборок исправленная статистика

√mn

m+ nDm,n (9.6)

асимптотически подчиняется распределению Колмогорова с функ-цией распределения K(z) из правой части (9.2). Таблицу значенийфункции распределения Колмогорова можно найти в [3]. Критиче-ская область для гипотезы H0 при использовании статистики (9.6)имеет вид: S = (k1−α,∞), где k1−α — квантиль уровня 1 − α рас-пределения Колмогорова (9.2).

§10. Коэффициенты ранговой корреляции Спир-

мена и Кенделла

Рассматриваемые в этом параграфе коэффициенты вычисляютсятолько для порядковых шкал.

Определение 10.1. Шкалы, в которых существенен лишь взаим-ный порядок, в котором следуют результаты измерений, а не ихколичественные значения, называют порядковыми или ординаль-ными шкалами.

Пусть имеется два признака A и B, между которыми мы хо-тим установить наличие зависимости или независимости. Пусть(X1, . . . , Xn) — измерение степени выраженности признака A,(Y1, . . . , Yn) — измерение степени выраженности признака B. Каж-дый объект характеризует пара (Xi, Yj), 1 6 i 6 n, 1 6 j 6 n.

Коэффициент ранговой корреляции Спирмена

Проранжируем наблюдения X1, . . . , Xn и Y1, . . . , Yn, ранги ко-торых будут соответственно обозначаться r1, . . . , rn и s1, . . . , sn, тоесть, ri — номер наблюдения Xi в вариационном ряду, построенном

334

по наблюдениям X1, . . . , Xn. Аналогично, si — номер наблюденияYi в вариационном ряду, построенном по наблюдениям Y1, . . . , Yn.Будем предполагать, что в выборках нет повторяющихся элемен-тов.

Рассмотрим статистику Спирмена S =∑n

i=1(si − ri)2. Вычис-

лим коэффициент ранговой корреляции Спирмена:

= 1− 6S

n3 − n.

Нетрудно показать, что || 6 1. Если || = 1, то это означает пол-ную зависимость одного признака от другого, либо, иначе говоря,полную предсказуемость одной выборки по другой. Если ранги при-знаков совпадают, то = 1. Если последовательности рангов пол-ностью противоположны, то = −1. Оба случая означают пол-ную предсказуемость одной ранговой последовательности по дру-гой, или, другими словами, полную зависимость признаков A и B.

Сформулируем гипотезы:• H0: признаки A и B взаимно независимы.• H1: имеется монотонная положительная связь признаков.• H ′

1: имеется монотонная отрицательная связь признаков.• H

′′

1 : имеется монотонная связь признаков.Гипотеза H0 соответствует отсутствию взаимосвязи между призна-ками или, иначе говоря, независимости признаков. Если гипотезаH0 справедлива, то распределение статистики симметрично и кон-центрируется около нуля. При наличии зависимости распределе-ние окажется другим. Для монотонной положительной зависимостираспределение сдвинуто вправо, для монотонной отрицательной— влево.

Для проверки гипотезы H0 необходимо обратиться к табли-цам распределения коэффициента Спирмена [3], вычисленным впредположении истинности гипотезы H0. По заданной вероятностиошибки первого рода α необходимо найти соответствующие поро-говые значения, после чего, при попадании вычисленного по на-блюдениям коэффициента в критическую область следует откло-нить гипотезу H0 в пользу альтернативной гипотезы. При выборев качестве альтернативы гипотезы H1 (положительная монотоннаясвязь) критическую область следует выбрать в виде: (c1, 1]. При вы-боре альтернативы гипотезыH ′

1 (отрицательная монотонная связь)

335

критическую область следует выбрать в виде: [−1, c2]. При выбо-ре альтернативной гипотезы H

′′

1 критическая область для гипоте-зы H0 имеет вид: [−1, c3) ∪ (c4, 1]. Пороговые значения c1, c2, c3,c4 определяются из статистических таблиц так, чтобы вероятностьпопадания в критическую область при выполнении гипотезы H0

была равна α.

Коэффициент ранговой корреляции Кенделла

Коэффициент ранговой корреляции Кенделла применяетсядля решения тех же задач, что и коэффициент Спирмена. Про-веряются те же гипотезы, и алгоритм проверки такой же, как ипри использовании коэффициента Спирмена. Разница лишь в том,что используются статистические таблицы для распределения ко-эффициента Кендалла [3]. Для вычисления статистики Кенделладостаточно посчитать количество инверсий (минимальное число пе-рестановок соседних объектов), которое надо сделать для того, что-бы одно упорядочение объектов превратилось в другое.

Пусть есть пары наблюдений каждого из признаков (X1, Y1),. . ., (Xn, Yn). Упорядочим наблюдения первого признака и проран-жируем их рангами от 1 до n. Затем ранжируем последователь-ность наблюдений второго признака, при этом объекты перенуме-рованы в соответствии с рангами первой совокупности. Пусть вовтором наборе приписаны каждому наблюдению ранги z1, . . . , zn,то есть, теперь все объекты характеризуются парами рангов: (1, z1),. . ., (n, zn). После перенумерования ранги измерений признаков Aпредставляют собой новые номера самих объектов. Пусть R — чис-ло инверсий в выборке z1, . . . , zn. Инверсия суть нарушение по-рядка. Например, в ряду (4, 3, 1, 2) имеется всего 5 инверсий.

Рассмотрим коэффициент ранговой корреляции Кенделла:

τ = 1− 4R

n(n− 1).

Нетрудно доказать, что |τ | 6 1. При этом, |τ | = 1 означает пол-ную предсказуемость (зависимость) признаков. При больших nпри справедливости гипотезы H0 случайные величины

√n− 1 и

τ√

9n(n+ 1)/(2(2n+ 5)) приближенно распределены по стандарт-ному нормальному закону N(0, 1), что позволяет проверять гипо-тезу H0, пользуясь указанной асимптотикой.

336

Для обоих коэффициентов корреляции характерно то обсто-ятельство, что они обнаруживают лишь монотонную зависимостьпризнаков.

§11. Коэффициент корреляции Пирсона

Коэффициент корреляции Пирсона применяется к данным, изме-ренным в шкале отношений.

Определение 11.1. Шкалой отношений называют такую шкалус непрерывным множеством числовых значений, в которой о двухсопоставляемых объектах можно сказать не только, одинаковы ониили различны, не только, в каком из них признак выражен сильнее,но и во сколько раз сильнее этот признак выражен.

Предположим, что есть генеральная совокупность, каждыйэлемент которой обладает двумя количественными признаками. Ес-ли случайным образом извлекать объекты, то пусть ξ — значение,которое принимает первый признак, η — значение, которое прини-мает второй признак. Величины ξ и η — случайные. Корреляцияслучайных величин ξ и η выражается следующей формулой:

ρ(ξ, η) =cov(ξ, η)√Dξ

√Dη

.

Если случайные величины ξ и η независимы, то корреляция равнанулю. Обратное утверждение, вообще говоря, неверно. Если ρ = 1,то существует положительная линейная связь между величинамиξ и η такая, что η = a + bξ, b > 0. Если ρ = −1, то существуетлинейная связь между величинами ξ и η такая, что η = a + bξ,b < 0. Если вектор (ξ, η)T подчиняется совместному нормальномураспределению с вектором математических ожиданий a = (a1, a2)

T

и ковариационной матрицей(

σ21 σ1σ2ρ

σ1σ2ρ σ22

)

то корреляция случайных величин ξ и η равна нулю тогда и толькотогда, когда эти случайные величины взаимно независимы, σ2

1 =Dξ, σ2

2 = Dη.

337

Получим оценку коэффициента корреляции — выборочный ко-эффициент корреляции Пирсона, который определяется выражени-ем:

rX,Y =

1n

n∑i=1

(Xi − X)(Yi − Y )

sXsY,

где s2X = 1n

∑ni=1(Xi − X)2, s2Y = 1

n

∑ni=1(Yi − Y )2. Здесь пред-

полагается, что задана двумерная выборка: (X1, Y1), . . ., (Xn, Yn).Совместное распределение случайных величин ξ и η является нор-мальным.

Сформулируем гипотезы:• H0: ρ = 0 — гипотеза о независимости.• H1: ρ > 0.• H ′

1: ρ < 0.• H ′′

1 : ρ 6= 0 — двусторонняя альтернатива.Справедливо утверждение. При сделанных предположениях о рас-пределении случайного вектора (ξ, η)T , статистика

t = rX,Y

√n− 2/

√1− r2 (11.1)

при выполнении гипотезы H0 подчиняется распределению Стью-дента с n− 2 степенями свободы.

При использовании статистики (11.1) для альтернативы H1

критическая область для гипотезыH0 имеет вид: S = (t1−α,n−2,∞),для альтернативы H ′

1 критическая область для гипотезы H0 имеетвид: S = (−∞, tα,n−2). Критическая область для нулевой гипотезыH0 при альтернативе H ′′

1 будет иметь вид:

S =(−∞, tα

2 ,n−2

)∪(t1−α

2 ,n−2,+∞),

где tβ,n−2 — квантиль уровня β распределения Стьюдента с n − 2степенями свободы. Если значение статистики t ∈ S, то гипотезаH0 отклоняется, если t /∈ S, то гипотеза H0 принимается. Величинавероятности ошибки первого рода равна α.

338

§12. Критерий согласия хи-квадрат для сложных

гипотез

В критерии согласия хи-квадрат реализуется следующая схема.Выдвигаются гипотезы:

• H0: Fξ(x) ≡ F (x) — нулевая гипотеза.• H1: Fξ(x) 6= F (x) — альтернативная гипотеза.

В прикладных задачах, как правило, известна не сама функцияраспределения, а параметрическое семейство, которому она при-надлежит:

F (·/θ) : θ ∈ Θ ⊂ Rl.

Таким образом, проверяемая гипотеза принимает вид:

H0 : Fξ ∈F (·/θ) : θ ∈ Θ ⊂ R

l.

Альтернативная гипотеза H1 примет вид: гипотеза H0 не верна.Разобьем числовую ось на k промежутков: ∆1, . . ., ∆k таким

образом, что⋃

i∆i = R, ∆i∩∆j = ∅, i 6= j. Получаем набор частот:

n1, . . ., nk,∑k

i=1 ni = n. Каждому промежутку ∆1, . . ., ∆k сопо-ставим вероятности: p1(θ), . . ., pk(θ). В монографии [47] приведенатеорема Фишера.

Теорема 12.1. (Теорема Фишера) Пусть Θ – открытое множе-

ство в Rl. Пусть выполнены условия:

1. Для любого θ ∈ Θ:∑k

i=1 pi(θ) = 1.2. Для любого θ ∈ Θ: pi(θ) > c > 0 для любого i = 1, k.3. Для любого θ ∈ Θ существуют и непрерывны производные:

∂pi(θ)/∂θj, ∂2pi(θ)/(∂θu∂θv) для любого i = 1, . . . , k, u, v, j =

1, . . . , l.

4. Для любого θ ∈ Θ матрица(

∂pi(θ)∂θj

)i,j=1,k

имеет ранг l.

Пусть θ — оценка, найденная методом максимального правдопо-

добия по выборке n1, . . . , nk, т. е. θ = argmaxθ∈Θ

L(ni, θ), где

L(ni, θ) =n!

n1! · . . . · nk!

k∏

i=1

pni

i (θ),

339

или θ — оценка по методу минимума хи-квадрат:

θ = argminθ∈Θ

k∑

i=1

(ni − npi(θ))2

npi(θ).

Тогда, если гипотеза H0 верна, то

χ2(θ) =

k∑

i=1

(ni − npi(θ))2

npi(θ)

d−−−−→n→∞

ζ ∼ χ2k−l−1.

Критическая область для гипотезыH0 при использовании ста-тистики χ2(θ) имеет вид: S = (u1−α,k−l−1,∞), где u1−α,k−l−1 —квантиль уровня 1 − α распределения хи-квадрат с k − l − 1 сте-пенями свободы. Вероятность ошибки первого рода приближенноравна α.

§13. Таблицы сопряженности

Определение 13.1. В номинальных шкалах измерения представ-ляют собой метки, обозначающие принадлежность измерения опре-деленной градации измеряемого признака. Никаких содержатель-ных соотношений кроме x = y или x 6= y между значениями в этихшкалах нет.

Для проверки независимости качественных признаков A и B,то есть, признаков, измеряемых в номинальных шкалах, применя-ются таблицы сопряженности.

Пусть имеется два качественных признака A и B. ПризнакA имеет r градаций: A1, . . . , Ar, признак B имеет s градацийB1, . . . , Bs. По выборке из n случайно выбранных объектов мож-но составить таблицу сопряженности:

B1 B2 . . . Bs

A1 n11 n12 . . . n1s m1

A2 n21 n22 . . . n2s m2

. . . . . . . . . . . . . . .Ar nr1 nr2 . . . nrs mr

n1 n2 . . . ns n

340

где nij — количество элементов в выборке, обладающих одновре-менно свойствами Ai и Bj . Приведенная таблица называется таб-

лицей сопряженности. Справедливы равенства:

r∑

i=1

nij = nj ,

s∑

j=1

nij = mi,

s∑

j=1

nj =

r∑

i=1

mi = n.

Пусть pi = P (Ai), i = 1, . . . , r и qj = P (Bj), j = 1, . . . , s. При этом,∑ri=1 pi = 1,

∑sj=1 qj = 1. Признаки A и B называются независи-

мыми, если при любых i и j выполняется равенство:

pij = P (Ai ∩Bj) = piqj .

Очевидно, что∑r

i=1 pij = qj ,∑s

j=1 pij = pi. Сформулируем гипоте-зу независимости и альтернативную ей гипотезу:

• H0: P (Ai ∩Bj) = piqj для любых i, j.• H1: существует пара (i, j) такая, что P (Ai ∩Bj) 6= piqj .

Гипотеза H0 представляет собой гипотезу независимости двух при-знаков.

При анализе таблицы сопряженности речь идет о полиноми-альной схеме. Построим функцию правдоподобия выборки:

L =n!∏

i=1,rj=1,s

nij !

∏

i=1,rj=1,s

(piqj)nij .

Найдем оценки максимального правдоподобия по выборке частот ивоспользуемся теоремой 12.1.

Нетрудно заметить, что, максимизируя lnL по p1, . . . , pr,q1, . . . , qs при ограничениях

∑ri=1 pi = 1 и

∑sj=1 qj = 1 методом

неопределенных множителей Лагранжа, получим следующие оцен-ки:

pi =mi

n, i = 1, . . . , r,

341

qj =nj

n, j = 1, . . . , s.

Статистика χ2 для данной задачи после подстановки оценок методамаксимального правдоподобия имеет вид:

χ2 =

r∑

i=1

s∑

j=1

(nij − minj

n )2

minj

n

d−→ ζ ∼ χ2(s−1)(r−1).

Число степеней свободы в предельном распределении хи-квадрат всоответствии с теоремой Фишера 12.1 вычисляется как rs−(r−1)−(l−1)−1 = (r−1)(s−1). Большие значения статистики хи-квадратсвидетельствуют против нулевой гипотезы H0.

Получаем критерий для проверки гипотезы H0:• Если χ2 > χ2

кр, то отвергаем гипотезу H0 в пользу альтер-нативной гипотезы H1, где χ2

кр представляет собой квантильуровня 1− α распределения хи-квадрат с (s− 1)(r − 1) степе-нями свободы.

• Если χ2 6 χ2кр, то принимаем гипотезу H0.

342

Глава 18

Регрессионный анализ

§1. Спецификация модели

В главе будет рассматриваться следующая модель наблюдений,связывающая значения некоторого наблюдаемого показателя y иобъясняющих переменных x = (x1, . . . , xm)T :

yi = β0 + β1xi1 + β2xi2 + . . .+ βkxik + εi, i = 1, . . . , n, (1.1)

где βT = (β0, . . . , βk) - неизвестные параметры, xij - значения объ-ясняющих факторов, εi — ненаблюдаемая случайная компонента,j — номер переменной, i — номер наблюдения.

Будем предполагать, что имеется n наблюдений (измерений)показателя yi, точно известны значения объясняющих переменныхxi = (xi1, . . . , xik) в каждом из наблюдений, причем в модель на-блюдений (1.1) входит значение ненаблюдаемой случайной компо-ненты εi. Ненаблюдаемая компонента может представлять собойошибку измерений или заменять совокупное действие других пере-менных, значения которых не учитываются в модели наблюдений(1.1).

Сформулируем основные предположения регрессионного ана-лиза, которые относятся к случайным компонентам εi, i = 1, . . . , n.

Первая группа предположений:• Случайные величины ε1, i = 1, . . . , n образуют так назы-

ваемый слабый белый шум, т. е. последовательность цен-трированных (Eεi = 0, i = 1, . . . , n) и некоррелированных(E(εlεu) = 0 при l 6= u) случайных величин с одинаковымидисперсиями σ2 (Eε2i = σ2

i , i = 1, . . . n).

343

Кроме первой группы предположений будем также рассматриватьвторую группу, в которой сформулируем предположение о совмест-ном распределении случайных величин εi, i = 1, . . . , n.

Вторая группа предположений:• Совместное распределение случайных величин εi, i = 1, . . . , n

является нормальным распределением с нулевым векторомматематических ожиданий и ковариационной матрицей σ2En,т. е. случайный вектор εT = (ε1, . . . , εn) ∼ N(0, σ2En), где En

— единичная матрица порядка n× n.Иногда рассматривается частный случай модели (1.1), в кото-

рой априори полагают β0 = 0. Конечно, рассмотрение такого част-ного случая требует отдельного обоснования.

Модель наблюдений (1.1) можно записать в матричном виде:

Y = Xβ + ε, (1.2)

где Y = (y1, . . . , yn)T , β = (β0, β1, . . . , βk)

T , ε = (ε1, . . . , εn)T ,

X =

1 x11 x12 . . . x1k1 x21 x22 . . . x2k. . . . . . . . . . . .1 xn1 xn2 . . . xnk

— матрица порядка n× (k + 1).

§2. Метод наименьших квадратов

В модели наблюдений (1.1), (1.2) неизвестными являются пара-метры σ, β0, β1, . . . , βk. Рассмотрим в качестве процедуры оцени-вания неизвестных параметров метод наименьших квадратов. Ме-тод наименьших квадратов удобнее всего излагать геометрически— на языке векторов. С этой целью введем обозначение: Xr =(x1r, x2r , . . . , xnr)

T , r = 1, . . . , k — столбец матрицы X , тогда

X = (X0, X1, . . . , XK),

где X0 = (1, 1, . . . , 1)T .Из смысла задачи оценки неизвестных параметров β следу-

ет, что оценки разумно выбирать так, чтобы вектор Xβ как можно

344

«лучше» объяснял бы значения наблюдаемого показателя, т. е. век-тор Y . Но тогда естественно выбирать β, минимизируя расстояниемежду векторами или квадрат длины отклонения Y −Xβ.

В этом случае в качестве минимизируемого критерия рассмат-ривают

(Y −Xβ)T (Y −Xβ) =

n∑

i=1

(yi − β0 − β1xi1 − . . .− βkxik)2. (2.1)

Оценки, получаемые из условия минимума (2.1), называютоценками метода наименьших квадратов. Разумеется, для нахож-дения оценок β могут быть применены совсем другие процедуры,например, вместо суммы квадратов можно было бы брать суммуабсолютных величин разностей.

Для минимизации выражения (2.1) по неизвестным пара-метрам β воспользуемся геометрическими представлениями. Рас-смотрим в n-мерном пространстве Rn линейное подпространствоL(X0, X1, . . . , Xk), в котором вектораX0, X1, . . . , Xk являются бази-сом. При этом, конечно, в дальнейшем будем предполагать, что онилинейно независимы. Пусть Y представляют собой ортогональнуюпроекцию вектора Y на подпространство L(X0, X1, . . . , Xk). Оче-видно, что для любого другого вектора Y ∈ L(X0, . . . , Xk) будетвыполняться

(Y − Y )T (Y − Y ) 6 (Y − Y )T (Y − Y ),

неравенство следует из условия ортогональности вектора Y − Yподпространству L(X0, . . . , Xk), действительно, для любого век-тора Y ∈ L(X0, . . . , Xk) выполняется (Y − Y )⊥(Y − Y ), так как(Y − Y ) ∈ L(X0, . . . , Xk) и (Y − Y )⊥L(X0, . . . , Xk). Но тогда

(Y − Y )T (Y − Y ) = (Y − Y − (Y − Y ))T (Y − Y − (Y − Y )) =

= (Y − Y )T (Y − Y ) + (Y − Y )T (Y − Y )

откуда следует

(Y − Y )T (Y − Y ) > (Y − Y )T (Y − Y ),

345

причем, равенство возможно только, если Y = Y . Для того, чтобывектор Y − Y был ортогонален подпространству L(X0, X1, . . . , Xk)необходимо и достаточно, чтобы

(Y − Y )⊥Xi, i = 0, 1, . . . , k

или, чтобы(Y − Y )TX = 0 (2.2)

Так как вектор Y ∈ L(X0, X1, . . . , Xk), то существует набор коэф-фициентов, обозначим их через β0, β1, . . . , βk, что

Y =

k∑

r=0

βrXr = Xβ,

где β = (β0, . . . , βk)T . Тогда равенство (2.2) равносильно равенству

XTY −XTXβ = 0

или равенству

(XTX)β = XTY. (2.3)

Так как, по нашему предположению, столбцы матрицы X линей-но независимы, то отсюда следует, что n > k и определитель|XTX | 6= 0. Следовательно, оценки метода наименьших квадратовβ неизвестных параметров β имеют вид:

β = (XTX)−1XTY. (2.4)

Для удобства дальнейших преобразований введем ряд новых мат-риц и изучим их свойства. Из формулы (2.4) следует, что ортого-нальная проекция произвольного вектора Y на L(X0, . . . , XK) име-ет вид Y = Xβ = X(XTX)−1XTY , но тогда матрица

P = X(XTX)−1XT

представляет собой матрицу ортогонального проектирования напространство L(X0, . . . , Xk). Рассмотрим подпространство L⊥ ор-тогональное подпространству L(X0, . . . , Xk). Любой вектор Y изRn однозначно представим в виде:

Y = Y + (Y − Y ),

346

где Y ∈ L(X0, . . . , Xk), Y − Y ∈ L⊥. Из предыдущего ясно, что

Y − Y = Y −X(XTX)−1XTY = (En −X(XTX)−1XT )Y.

Следовательно, матрица

P⊥ = En − P

является матрицей ортогонального проектирования на подпро-странство L⊥. Действительно, для любого вектора Y ∈ Rn полу-чаем

P⊥Y = Y − PY = Y − Y ,

но вектор Y − Y⊥L(X0, . . . , Xk), следовательно, вектор Y − Y ∈ L⊥.Нетрудно проверить справедливость следующих свойств:

1. PT = P , (P⊥)T = P⊥.2. P 2 = P , (P⊥)2 = P⊥.3. PP⊥ = P⊥P = 0.4. P + P⊥ = En.5. PXj = Xj, j = 0, 1, . . . k, P⊥Xj = 0, j = 0, 1, . . . , k.

Для удобства дальнейшего изложения введем вектор

ε = Y − Y = P⊥Y, (2.5)

который, следуя сложившейся традиции, будем называть векторомостатков. Следует иметь в виду, что после нахождения коэффи-циентов β можно рассмотреть следующую функцию, которую соб-ственно и называют линейной регрессией:

y(x) = β0 + β1x1 + . . .+ βkxk. (2.6)

Построенная линейная регрессия представляет собой эмпириче-скую зависимость между изучаемым показателем y и объясняющи-ми переменными x = (x1, . . . , xk)

T , поэтому естественно называтьостатками разности

yi − y(xi) = εi, i = 1, . . . , n, (2.7)

которые не объясняются построенной эмпирической моделью (2.6).Вектор, составленный из разностей εi, и представляет собой векторε = (ε1, . . . , εn).

347

Нетрудно заметить, что

ε = P⊥Y = P⊥(Xβ + ε) = P⊥ε. (2.8)

Величины εi, i = 1, . . . , n, можно, следовательно, рассматривать,как оценки ненаблюдаемых величин εi, i = 1, . . . , n.

§3. Свойство оценок метода наименьших квадра-

тов

Как нетрудно заметить, оценки метода наименьших квадратов об-ладают свойством несмещенности:

Eβ = (XTX)−1XTEY = (XTX)−1XTXβ = β.

Вычислим дисперсионную (ковариационную) матрицу оценок ме-тода наименьших квадратов, считая, что выполнена первая группапредположений регрессионного анализа:

Dβ = E(β − β)(β − β)T = E(XTX)−1XT εεTX(XTX)−1 =

= (XTX)−1XTσ2EnX(XTX)−1 = σ2(XTX)−1.

Оценки метода наименьших квадратов при условии выполненияпредположений из первой группы являются наилучшими линейны-ми несмещенными оценками. Линейность понимается в том смысле,что оценки имеют вид β = AY , где A = (XTX)−1XT — матри-ца коэффициентов, т.е. речь идет о линейности по наблюдениям.Следуя общему определению эффективности оценок, заметим, чтооценки β являются наилучшими линейными несмещенными оцен-ками в том смысле, что для любых других оценок β вида β = CY ,обладающих свойством несмещенности, оказывается, что разностьдисперсионных матриц оценокDβ−Dβ представляет собой неотри-цательно определенную матрицу, т.е. для любого вектора γ ∈ Rk+1

выполняется γT (Dβ − Dβ)γ > 0. Отсюда, в частности, сразу сле-дует, что дисперсии оценок βi не меньше, чем дисперсии оценок βi,т.е. Dβi > Dβi, i = 0, 1, 2, . . . , k.

Теорема 3.1. (Теорема Гаусса-Маркова) Пусть выполнены все

условия из первой группы предположений регрессионного анализа,

348

тогда оценки метода наименьших квадратов β являются наилуч-

шими линейными несмещенными оценками.

Доказательство. Пусть β = CY — произвольные линейныенесмещенные оценки вектора β. Из условия несмещенности следует

Eβ = CXβ = β.

Так как это равенство должно выполняться для любого вектораβ, то условие несмещенности равносильно матричному равенствуCX = Ek+1. Введем в рассмотрение матрицу D, определяемую ра-венством

D = C − (XTX)−1XT .

Как легко видеть, DX = 0. Очевидно, что

Dβ = E(β − β)(β − β)T = ECεεTCT = σ2CCT .

Заметим, что

CCT = (D+(XTX)−1XT )(D+(XTX)−1XT )T = DDT +(XTX)−1.

Но тогда для произвольного вектора γ ∈ Rk+1:

γT (Dβ −Dβ)γ = σ2γTDDT γ = σ2(γTD)(γTD)T > 0.

Оценим дисперсию одиночного наблюдения σ2. Для этого вна-чале найдем дисперсионную (ковариационную) матрицу Dε. Какследует из формулы (2.4) предыдущего параграфа:

Dε = EP⊥εεTP⊥ = σ2P⊥.

Рассмотрим сумму квадратов:

n∑

i=1

ε2i = εT ε = trεεT .

Вычислим математическое ожидание:

EεT ε = EtrεεT = trEεεT = trE(P⊥εεTP⊥) = σ2trP⊥.

349

Заметим, что

trP⊥ = trEn −X(XTX)−1XT = n− trX(XTX)−1XT =

= n− tr(XTX)(XTX)−1 = n− k − 1.

При выводе формулы мы воспользовались свойством tr(AB) =tr(BA), если оба произведения имеют смысл (т.е. размерности мат-риц позволяют рассматривать оба произведения).

В результате проведенных выкладок получаем, что статистика

S2 =

n∑i=1

(yi − yi)2

n− k − 1=

1

n− k − 1εT ε

является несмещенной оценкой дисперсии σ2.Рассмотрим матрицу E(β − β)εT , элементы которой пред-

ставляют собой ковариации случайных величин βj и εi, j =0, 1, . . . , k, i = 1, 2, . . . , n. Как нетрудно видеть,

E(β − β)εT = (XTX)−1XTEεεTP⊥ = σ2(XTX)−1XTP⊥ = 0.

Последнее равенство следует из свойств матрицы P⊥. Найденнаянесмещенная оценка S2 одиночной дисперсии σ2 позволяет постро-ить несмещенные оценки всех ковариаций вектора оценок β. Дей-ствительно, как было получено ранее, Dβ = σ2(XTX)−1, но те-перь, заменяя σ2 на S2, получаем несмещенные оценки всех кова-риаций и дисперсий вектора β, другими словами, элементы мат-рицы σ2(XTX)−1 являются несмещенными оценками дисперсий иковариаций оценок βj , j = 0, . . . , k.

Лемма 3.1. Пусть выполнены все условия из первой и второйгрупп предположений регрессионного анализа, тогда статистика(n − k − 1)S2/σ2 подчиняется распределению χ2 с n − k − 1 сте-пенями свободы.

Доказательство. Ранее было установлено, что ε = P⊥ε, гдеP⊥ — матрица ортогонального проектирования на подпространствеL⊥. Очевидно, что размерность подпространства L(X0, . . . , Xk)равна k + 1. Но тогда размерность подпространства L⊥ равна

350

n−k−1. Выберем в подпространстве L⊥ ортонормированный базисl1, . . . , ln−k−1. Пусть l = (l1, . . . , ln−k−1). Тогда вектор ε единствен-ным образом представим в базисе l:

ε =

n−k−1∑

r=1

ηrlr = lη,

где ηT = (η1, . . . , ηn−k−1).Очевидно, что

η = lT ε.

В силу второй группы предположений вектор ε подчиняетсямногомерному нормальному распределению, но тогда η также под-чиняется многомерному нормальному распределению в виду линей-ности преообразования.

Нетрудно увидеть, что Eη = lTEε = 0,

Dη = lTDεl = σ2lTP⊥l = σ2lT l = σ2En−k−1,

так как P⊥ матрица ортогонального проектирования на L⊥, но всеli ∈ L⊥, i = 1, . . . , n− k − 1. Кроме того,

εT ε = ηT lT lη = ηT η.

Следовательно, статистики εT ε/σ2 и ηT η/σ2 распределены одина-ково, но из определения распределения χ2 получаем, что статисти-ка ηT η/σ2 подчиняется распределению χ2 с n − k − 1 степенямисвободы.

Лемма 3.2. Пусть выполнены предположения первой и второйгрупп, тогда справедливы утверждения:

1. Вектор оценок β подчиняется многомерному нормальномураспределению, β ∼ N(β, σ2(XTX)−1).

2. Статистика (n− k− 1)S2/σ2 подчиняется распределению χ2 с(n−k−1) степенями свободы и взаимно независима с векторомоценок β.

Доказательство. Первое утверждение сразу следует из ли-нейности явного выражения β и второй группы предположений:

β = (XTX)−1XTY,

351

линейное преобразование не меняет тип нормального распределе-ния.

Вектор математических ожиданий и дисперсионная матрицабыли вычислены ранее. Второе утверждение следует из леммы 3.1и того факта, что E(β − β)εT = 0.

Действительно, как нетрудно заметить(βε

)=

((XTX)−1XT

P⊥

)Y.

Следовательно, вектор (βT , εT ) подчиняется многомерному нор-мальному распределению, но тогда вектора β и ε взаимно неза-висимы.

§4. Построение доверительных интервалов и про-

верка статистических гипотез

При выполнении всех условий из первой и второй групп предполо-жений регрессионного анализа справедлива лемма 3.2 предыдущегопараграфа, из которой сразу следует, что статистика

βj − βj

S√[(XTX)−1](j+1)(j+1)

∼ Tn−k−1, j = 0, . . . , k, (4.1)

где [(XTX)−1](j+1)(j+1) — элемент стоящий на главной диагоналив строке j + 1 и столбце j + 1 матрицы (XTX)−1, распределениеTn−k−1 — распределение Стьюдента с n− k− 1 степенями свободы.

Доказательство следует из определения распределения Стью-дента и леммы 3.2.

Из формулы (4.1) следует формула для доверительного ин-тервала с уровнем доверия 1 − α для любого параметра βj , j =0, 1, . . . , k. Доверительный интервал имеет вид:

Pβj − t1−α

2,n−k−1S

√[(XTX)−1](j+1)(j+1) < βj <

< βj + t1−α2,n−k−1S

√[(XTX)−1](j+1)(j+1)

= 1− α,

352

где t1−α2 ,n−k−1 — квантиль уровня 1− α

2 распределения СтьюдентаTn−k−1.

Важное значение имеет проверка гипотез статистической зна-чимости найденных оценок βj, j = 0, 1, . . . , n. Если доверительныйинтервал для параметра βj с уровнем доверия 1−α содержит нуль,т. е. если концы доверительного интервала имеют разный знак, тонельзя отклонить гипотезу H0: βj = 0, следовательно, в этом слу-чае найденная оценка βj не может быть признана статистическизначимой на уровне значимости α. Отсюда следует правило про-верки статистической значимости оценки βj или, что тоже самое,правило проверки гипотезы H0: βj = 0 (справедливость гипотезыозначает статистическую незначимость оценки βj).

Выберем уровень значимости α и вычислим статистику

tβj =βj

S√[(XTX)−1](j+1)(j+1)

.

Если |tβj | > t1−α2,n−k−1, то гипотеза H0 отклоняется, и оценка βj

признается статистически значимой на уровне значимости α. Ес-ли |tβj | 6 t1−α

2,n−k−1, то гипотеза H0 не отклоняется, и оценка βj

признается статистически незначимой на уровне значимости α.Проверка статистической значимости оценки βj сводится к

проверке гипотезы H0: βj = 0.Нетрудно аналогичным образом проверить более общую гипо-

тезу вида H0: βj = β(0)j . Рассуждая таким же образом, получаем

правило проверки гипотезы H0 на уровне значимости α:

• Если|βj−β

(0)j |

S√

[(XTX)−1](j+1)(j+1)

> t1−α2,n−k−1, то гипотеза H0: βj =

β(0)j отклоняется на уровне значимости α.

• Если|βj−β

(0)j |

S√

[(XTX)−1](j+1)(j+1)

6 t1−α2,n−k−1, то гипотеза H0: βj =

β(0)j принимается на уровне значимости α.

В линейном регрессионном анализе коэффициентом детерминацииR2 называется квадрат коэффициента корреляции между наблю-даемыми значениями показателя Y T = (y1, . . . , yn) и значениямиэмпирической функции Y T = (y1, . . . , yn).

353

Так как XT0 = (1, . . . , 1) и Y = PY , причем, P — матрица

ортогонального проектирования на подпространствоL(X0, . . . , Xn),то PX0 = X0 или XT

0 = XT0 P .

Но тогдаXT

0 Y = XT0 PY = XT

0 Y

илиn∑

j=1

yi =

n∑

i=1

yi,

следовательно,

y =1

n

n∑

i=1

yi =1

n

n∑

i=1

yi = y.

По определению

R2 =

(n∑

i=1

(yi − y)(yi − y))2

n∑i=1

(yi − y)2n∑

i=1

(yi − y)2=

=((Y − yX0)

T (Y − yX0))2

(Y − yX0)T (y − yX0)(Y − yX0)T (Y − yX0)

Заметим, что

(Y − yX0)T (Y − yX0) = ((Y − Y ) + (Y − yX0))

T (Y − yX0) =

= (Y − yX0)T (Y − yX0),

так как вектор Y − Y ∈ L⊥, а Y − yX0 ∈ L(X0, . . . , Xk) и, следова-тельно, вектора Y − Y и Y − yX0 ортогональны, т.е.

(Y − Y )T (Y − yX0) = 0.

Но тогда

R2 =(Y − yX0)

T (Y − yX0)

(Y − yX0)T (Y − yX0)= 1− εT ε

(Y − yX0)T (Y − yX0). (4.2)

354

Для доказательства последнего равенства заметим, что

(Y − yX0)T (Y − yX0) =

= ((Y − Y ) + (Y − yX0))T ((Y − Y ) + (Y − yX0)) =

= (−ε+ (Y − yX0))T (−ε+ (Y − yX0)) =

= −εT ε+ (Y − yX0)T (Y − yX0),

в виду того, что

εT (Y − yX0) = εTY − yεTX0 = εT (Y − Y ) + εT Y − yεTX0 = εT ε,

так как ε ∈ L⊥, Y ∈ L(X0, . . . , Xk), X0 ∈ L(X0, . . . , Xk).Равенство (4.2) удобно в вычислительном отношении, кроме

того, из него видно, что, если построенная линейная регрессия иде-ально точно соответствует наблюдениям, то Y = Y и, следователь-но, ε = 0, но тогда R2 = 1. Наоборот, если β1 = . . . = βk = 0, т.е.линейная регрессия не зависит от x1, . . . , xk, тоR2 = 0. Из определе-ния коэффициента детерминации R2 сразу следует, что 0 6 R2 6 1.

Наиболее важным применением коэффициента R2 являетсяего использование при проверке гипотезы статистической значи-мости линейной регрессионной модели в целом, т.е. при проверкегипотезы H0: β1 = . . . = βk = 0. Если указанную гипотезу H0

нельзя отвергнуть на уровне значимости α, то это означает, что науровне значимости α построенная линейная регрессия статистиче-ски незначима. Малые значения R2 свидетельствуют против стати-стической значимости построенной линейной регрессии.

Лемма 4.1. Пусть выполнены обе группы основных предполо-жений линейного регрессионного анализа, тогда в предположениисправделивости гипотезы H0: β1 = . . . = βk = 0 статистика

F =R2

1−R2

n− k − 1

k∼ Fk,n−k−1

подчиняется распределению Фишера со степенями свободы k и n−k − 1.

Доказательство. Очевидно, что

R2

1−R2=

(Y − yX0)T (Y − yX0)

εT ε.

355

При доказательстве леммы 3.2 было показано, что вектора β и εвзаимно независимы, так как Y = Xβ, и y = 1

n

∑ni=1 yi, то числи-

тель и знаменатель дроби взаимно независимы. Кроме того, ужебыло ранее показано, что статистика

(n− k − 1)S2

σ2=

1

σ2εT ε ∼ χ2

n−k−1

подчиняется распределению χ2 с n−k−1 степенями свободы. Най-дем распределение числителя в предположении справедливости ги-потезы H0: β1 = . . . = βk = 0. Заметим, что

Y = PY = Xβ + Pε = β0X0 + Pε,

y =1

n

n∑

i=1

yi = β0 +1

nXT

0 Pε = β0 +1

nXT

0 ε

Тогда

Y − yX0 = Pε− 1

nXT

0 εX0 = Pε− εPX0 = P (ε− εX0),

где ε = 1n

∑ni=1 εi, X0 = PX0.

Как видим

η = Y − yX0 = P (En − 1

nTn)ε, (4.3)

где Tn = X0XT0 — квадратная матрица порядка n × n, все эле-

менты которой являются единицами. Нетрудно заметить, что η ∈L(X0, . . . , Xk), кроме того, вектор η ортогонален вектору X0, сле-довательно, η ∈ L(X1, . . . , Xk), где базисные вектора определяют-ся следующими равенствами Xr = Xr − xrX0, xr =

∑ni=1 xir/n.

Нетрудно убедиться, что все вектора Xr ортогональны векто-ру X0, следовательно, вектор X0 ортогонален подпространствуL(X1, . . . , Xk). Кроме того, из (4.3) следует, что вектор η подчи-няется многомерному нормальному распределению, Eη = 0.

Нетрудно проверить, что матрица P1 = P (En − Tn/n)— матрица ортогонального проектирования на подпространствоL(X1, . . . , Xk). Вектор η = P1ε, следовательно, Dη = σ2P1.

356

Все свойства, которые были сформулированы для матрицы P ,выполняются и для матрицы P1. Выберем в подпространствеL(X1, . . . , Xk) ортонормированный базис d = (d1, . . . , dk), тогда

η =

k∑

r=1

ξrdr = dξ, ξ = dT η,

ξ = (ξ1, . . . , ξk)T ∼ N(0, σ2Ek),

так как

Dξ = E(dT η)(ηT d) = σ2dTP1P1d = σ2dT d = σ2Ek.

Кроме того,ηT η = ξT dTdξ = ξT ξ.

Следовательно, распределения левой и правой частей совпадают.Но тогда из определения распределения χ2 получаем, что стати-стика

1

σ2(Y − yX0)

T (Y − yX0) ∼ χ2k

подчиняется распределению χ2 с k степенями свободы.

Построенная линейная регрессия статистически значима науровне α тогда и только тогда, когда гипотеза H0: β1 = . . . = βk = 0отклоняется на уровне значимости α. Поэтому правило проверкистатистической значимости линейной регрессии в целом сформули-руем следующим образом:

• Если F = R2

1−R2n−k−1

k > F1−α;k,n−k−1, то гипотеза H0: β1 =. . . = βk = 0 отклоняется на уровне значимости α и, следова-тельно, построенная линейная регрессия является статисти-чески значимой.

• Если F 6 F1−α;k,n−k−1, то гипотеза H0 принимается, и, сле-довательно, построенная линейная регрессия является стати-стически незначимой, здесь F1−α;k,n−k−1 — квантиль уровня1−α распределения Фишера с k и n−k−1 степенями свободы.

357

Глава 19

Бинарная регрессия

§1. Дискретные данные

В данной главе зависимые переменные принимают дискретные зна-чения, выражающие какие-либо качественные признаки. Объясня-ющие переменные могут быть как дискретными, так и непрерывны-ми. Например, при приеме на работу кандидата компания рассмат-ривает многие показатели (возраст, образование, уровень владенияиностранными языками, семейное положение, опыт работы и т.д.),на основе которых она должна сделать вывод: принять на работуили нет.

Выделим несколько классов задач, в которых зависимые пе-ременные принимают дискретные значения:

1. Переменные — это решения «да» (1) или «нет» (0), т. е. выбородной из двух альтернатив.Если имеется только две альтернативы, то результат наблюде-ния обычно описывается переменной, называемой бинарной.В общем случае при наличии k альтернатив результат выбо-ра можно представить переменной, принимающей значения1, . . . , k. Если альтернативы нельзя упорядочить (например,при выборе профессии из списка: учитель, инженер, врач, по-вар), то их нумерация может быть произвольной. В этих слу-чаях соответствующую переменную называют номинальной.

2. Переменные — ранги. Например, «0» означает «категориче-ски против», «1» — «против», «2» — «ни да, ни нет», «3» —«за», «4» — «полностью за». Такая система ранжирования мо-жет быть использована, например, при голосовании.

358

Соответствующая переменная называется порядковой, орди-

нальной или ранговой.3. Переменная — количественная целочисленная характеристи-

ка. Например, количество торговых точек, приносящих при-быль, количество частных предприятий, зарегистрированныхв регионе и т.д.

Для моделей с дискретными зависимыми переменными, конечноже, возможно формальное применение метода наименьших квадра-тов, однако, получить удовлетворительные с содержательной точкизрения результаты удается, как правило, лишь для моделей с ко-личественными целочисленными переменными. В случае порядко-вых переменных интерпретация оценок коэффициентов при объяс-няющих переменных значительно затруднена: увеличение на однуединицу порядковой переменной означает переход к следующей порангу альтернативе, однако далеко не всегда переход от первой аль-тернативы ко второй численно эквивалентен переходу от второй ктретьей. Если же зависимая переменная является номинальной, торезультаты оценивания вообще теряют смысл в силу произвольно-сти нумерации альтернатив. Таким образом, стандартная регресси-онная схема нуждается в коррекции.

§2. Модель линейной вероятности

Рассмотрим задачу покупки семьей некоторой квартиры. Зависи-мая переменная y принимает значение 1, если семья купила квар-тиру в данный период, и 0 в противном случае. Решение о покупкеквартиры зависит от множества факторов (независимых перемен-ных): бюджет семьи, наличие детей, наличие объектов социальнойинфраструктуры в шаговой доступности от дома, удаленность отцентра города и т.д. Из этих факторов можно сформировать векторxT = (1, x1, . . . , xk). Если следовать основным идеям регрессионно-го анализа, то будем считать, что на решение о покупке квартирывлияют также неучтенные факторы, совокупное влияние которыхмоделируется случайной компонентой. При различных предполо-жениях о характере зависимости y от x, можно получить различныемодели построения зависимости. В настоящей главе рассматрива-ются модель линейной вероятности, логит и пробит модели бинар-

359

ного выбора.Пусть имеется выборка объема n наблюдений (xi, yi), i =

1, . . . , n, где xTi = (xi1, . . . , xik)T , yi — зависимая переменная, ко-

торая может принимать только два значения: ноль и единица. Рас-смотрим стандартную модель линейной регрессии:

yi = βTxi + εi, (2.1)

где βT = (β0, . . . , βk) — вектор неизвестных параметров, β ∈ Rk, εi— случайная компонента. В предположениях регрессионного ана-лиза считается, что случайная компонента подчиняется нормально-му закону распределения с нулевым математическим ожиданием.Учитывая это, получаем, что

Eyi = βTxi.

Так как yi принимает значения 0 или 1, то для математическогоожидания yi имеем равенство:

Eyi = 1 · Pyi = 1+ 0 · Pyi = 0 = Pyi = 1. (2.2)

Таким образом, получаем равенство:

Pyi = 1 = βTxi, (2.3)

которое дало название модели линейной вероятности (linear proba-bility model).

Следует отметить некоторые недостатки этой модели, которыене позволяют успешно применять метод наименьших квадратов дляоценивания параметров β и построения прогнозов. Из (2.1) следует,что компонента εi в каждом наблюдении может принимать толькодва значения: (1 − βTxi) с вероятностью Pyi = 1 и (−βTxi) свероятностью 1 − Pyi = 1. Это, в частности, не позволяет счи-тать случайную компоненту нормально распределенной случайнойвеличиной или, подчиняющейся распределению, близкому к нор-мальному.

Проверим выполнение условия из первой группы предполо-жений регрессионного анализа о равенстве дисперсий различныхнаблюдений. Вычислим дисперсию компоненты:

Dεi = βTxi(1− βTxi).

360

Получается, что дисперсия компоненты εi зависит от xi. Известно,что оценка параметров β, полученная обычным методом наимень-ших квадратов, в этом случае не является эффективной.

Еще одним серьезным недостатком модели линейной вероят-ности является тот факт, что прогнозные значения yi = βTxi, т. е.прогнозные значения вероятности Pyi = 1, могут лежать вне от-резка [0, 1] (здесь β — оценка параметра β, полученная методомнаименьших квадратов).

§3. Логит и пробит модели бинарного выбора

Откажемся от предположения о линейной зависимости вероятностиPyi = 1 от β. Предположим, что

Pyi = 1 = F (βTxi), (3.1)

где F (x) — некоторая функция, область значений которой лежитв отрезке [0, 1]. В частности, в качестве функции F (x) можно рас-смотреть функцию распределения некоторой случайной величины.Возможна следующая интерпретация предположения (3.1). Пред-положим, что существует некоторая количественная переменнаяy∗i , связанная с независимыми переменными xi линейным регрес-сионным уравнением:

y∗i = βTxi + εi, (3.2)

где случайные компоненты εi независимы и одинаково распределе-ны с нулевым математическим ожиданием и дисперсией σ2. ПустьF (·) — функция распределения нормированной случайной величи-ны εi/σ. Переменная y∗i является ненаблюдаемой (латентной), арешение, соответствующее значению yi = 1, принимается тогда, ко-гда y∗i превосходит некоторое пороговое значение. Без ограниченияобщности, если константа включена в число независимых перемен-ных модели, можно считать это пороговое значение равным нулю.Величину y∗i можно также интерпретировать как разность полез-ностей альтернативы 1 и альтернативы 0.

Таким образом, получаем

yi =

1, если y∗i > 0,

0, если y∗i < 0.(3.3)

361

Тогда, предполагая, что случайные компоненты εi имеют одно и тоже симметричное распределение с непрерывной функцией распре-деления F (x), F (−x) = 1− F (x), получаем следующие равенства:

Pyi = 1 = Py∗i > 0 = PβTxi + εi > 0 = Pεi > −βTxi =

= 1− F

(−βTxiσ

)= F

(βTxiσ

), (3.4)

что с точностью до нормировки совпадает с (3.1).В модели (3.4) параметры β и σ участвуют только в виде от-

ношения β/σ и не могут быть по отдельности идентифицированы(т. е. оценить можно только отношения β/σ). Поэтому, в данномслучае, без ограничения общности можно считать, что σ = 1.

Наиболее часто в качестве функции F (x) используют:1. Функцию стандартного нормального распределения

Φ(u) =1√2π

u∫

−∞

e−z2

2 dz,

в этом случае модель принято называть пробит моделью.2. Функцию логистического распределения

Λ(u) =eu

1 + eu, (3.5)

тогда модель принято называть логит моделью.Использование функции стандартного нормального распределе-ния представляется естественным в рамках приведенной выше ин-терпретации. Применение функции логистического распределенияобъясняется простотой численной реализации процедуры оценива-ния параметров. У исследователя может возникнуть вопрос о том,какую из моделей (пробит или логит) использовать в конкретномслучае. Точного ответа на этот вопрос нет, но можно дать неко-торые рекомендации. Например, можно выбрать ту модель, длякоторой функция правдоподобия имеет большее значение. Такжеможно отметить, что для значений u, близких по модулю к нулю (вчастности, при u ∈ −[1.2; 1.2]), функции Φ(u) и Λ(u) ведут себя при-мерно одинаково (см. §§4.), в то же время «хвосты» логистическо-го распределения значительно «тяжелее» «хвостов» нормального

362

распределения. Практический опыт показывает, что для выборок снебольшим разбросом независимых переменных и при отсутствиисущественного преобладания одной альтернативы над другой вы-воды, получаемые с помощью пробит и логит моделей, будут, какправило, совпадать.

Исходя из предположения (3.1), функция F (x) нелинейна попараметрам β, и интерпретация этих параметров отличается от ин-терпретации подобных коэффициентов в линейной регрессионноймодели.

§4. Сравнение значений функций нормального и

логистического распределений

Вероятностные распределения, используемые в пробит и логит мо-делях, — стандартное нормальное и логистическое распределениясоответственно. Обе указанные функции распределения симмет-ричны относительно 0 и имеют дисперсии, равные 1 и π2/3 соот-ветственно. Рассмотрим модифицированное логистическое распре-деление с функцией распределения следующего вида:

Λδ(u) =eδu

1 + eδu. (4.1)

Значение параметра δ может быть выбрано таким образом, чтобызначения функции (4.1) были бы достаточно близкими к значени-ям функции стандартного нормального распределения на большойчасти области определения. Рассмотрим, например, δ = 1.6. В сле-дующей таблице можно найти значения функций Φ(u) и Λ1.6(u) дляразличных u. Таблица 19.1 показывает, что функции распределе-ния «очень близки» около 0, но логистическое распределение имеетболее тяжелые «хвосты».

Из-за близости двух распределений трудно идентифицироватьтип распределения при наличии выборки небольшого объема. Та-ким образом, при построении модели бинарной регрессии не имеетбольшого значения, будет использоваться пробит или логит модель,исключая случаи, когда большое количество данных расположеныв хвостах, что может быть обусловлено спецификой рассматрива-емой проблемной области. В моделях множественного дискретно-

363

Табл. 19.1. Таблица значений функций Φ(u) и Λ1.6(u)

u Φ(u) Λ1.6(u)

0.0 0.5 0.5

0.1 0.5398 0.5399

0.2 0.5793 0.5793

0.3 0.6179 0.6177

0.4 0.6554 0.6548

0.5 0.6915 0.6900

0.6 0.7257 0.7231

0.7 0.7580 0.7540

0.8 0.7881 0.7824

0.9 0.8159 0.8085

1.0 0.8413 0.8320

2.0 0.9772 0.9608

3.0 0.9987 0.9918

го выбора пробит и логит модели отличаются гораздо более суще-ственно.

Предположим, что найдены оценки βΦ и βΛ для параметровпробит и логит моделей соответственно. Тогда, используя прибли-женное равенство Λ1.6(u) ≃ Φ(u), тогда можно записать следующееприближенное равенство для оценок параметров:

1.6βΦ ≃ βΛ. (4.2)

Формула (4.2) может быть полезна как быстрый способ сравненияоценок параметров пробит и логит моделей.

§5. Оценивание параметров в логит и пробит мо-

делях

Для нахождения оценок параметров β обычно используют ме-тод максимального правдоподобия, предполагая, что наблюденияy1, . . . , yn независимы. Так как yi может принимать значения 0 или1, то функция правдоподобия примет следующий вид:

L(y1, . . . , yn) =∏

i:yi=0

(1− F (βTxi))∏

i:yi=1

F (βTxi). (5.1)

364

Нетрудно заметить, что

L(y1, . . . , yn) =

n∏

i=1

F yi(βTxi)(1 − F (βTxi))1−yi .

Рассмотрим логарифмическую функцию правдоподобия:

lnL(y1, . . . , yn) =n∑

i=1

(yi lnF (β

Txi) + (1− yi) ln(1 − F (βTxi))).

(5.2)Дифференцируя равенство (5.2) по вектору β, получаем уравнениеправдоподобия, записанное в векторной форме:

∂ lnL

∂β=

n∑

i=1

(yif(β

Txi)

F (βTxi)− (1− yi)f(β

Txi)

1− F (βTxi)

)xi = 0, (5.3)

где f(x) — плотность распределения, соответствующая функцииF (x). Для логит модели уравнение (5.3) можно существенно упро-стить, если воспользоваться тождеством Λ′(u) = Λ(u)(1− Λ(u)):

n∑

i=1

(yi − Λ(βTxi))xi = 0. (5.4)

Уравнение правдоподобия есть лишь необходимое условие ло-кального экстремума. Можно показать, что для пробит и логитмоделей логарифмическая функция правдоподобия (5.2) являетсявогнутой по β функцией и, значит, решение уравнения (5.3) да-ет оценку максимального правдоподобия параметра β [40]. Гессиандля логит модели имеет следующий вид:

H =∂2 lnL

∂β∂βT= −

n∑

i=1

Λ(βTxi)(1 − Λ(βTxi))xixTi . (5.5)

Заметим также, что гессиан в этом случае отрицательно определен[40], т. е. логарифмическая функция правдоподобия вогнута.

Для пробит модели логарифмическую функцию правдоподо-бия (5.2) можно записать в следующем виде:

lnL =∑

i:yi=0

ln(1− Φ(βTxi)) +∑

i:yi=1

ln(Φ(βTxi)). (5.6)

365

Тогда условие (5.3) будет следующим:

∂ lnL

∂β=∑

i:yi=0

−ϕ(βTxi)

1− Φ(βTxi)xi +

∑

i:yi=1

ϕ(βT xi)

Φ(βTxi)xi,

где ϕ(x) = Φ′(x). Учитывая, что нормальное распределение, как илогистическое, симметрично, 1− Φ(βTx) = Φ(−βTx), получаем:

∂ lnL

∂β=

n∑

i=1

qiϕ(βTxi)

Φ(qiβTxi)xi =

n∑

i=0

λixi = 0, (5.7)

где qi = 2yi − 1, λi = qiϕ(βTxi)/Φ(qiβ

Txi).Для вычисления гессиана в модели пробит анализа будем

использовать свойство стандартного нормального распределения:dϕ(u)/du = −uϕ(u). Тогда для пробит модели получим следующеевыражение для гессиана:

H =∂2 lnL

∂βT∂β= −

n∑

i=1

λi(λi + βTxi)xixTi . (5.8)

Эта матрица также отрицательно определена [46].Уравнения правдоподобия (5.4) и (5.7) являются системой

нелинейных (относительно β) уравнений, аналитическое решениекоторой невозможно найти в явном виде в общем случае, поэтомупри ее решении приходится прибегать к численным методам.

§6. Численные методы нахождения оценок в логит

и пробит моделях

В предыдущем параграфе мы говорили о том, что в явном виде най-ти решение уравнения правдоподобия не удается. Будем использо-вать численные методы для того, чтобы найти оценку максималь-ного правдоподобия параметра β, который является (k+1)-мернымвектором. Общая схема численных методов для нахождения оценкимаксимального правдоподобия имеет следующий вид. Сначала вы-бираем начальную точку β(0), на следующей итерации переходим вточку β(1) по следующему правилу:

β(1) = β(0) + µ0,

366

на t-ой итерации переходим в точку βt+1 по следующему правилу:

β(t+1) = β(t) + µt.

Обычно µt выбирают в виде µt = Dt∂ lnL/∂β(t), где ∂ lnL/∂β(t) за-

дает направление «спуска», т. е. направление изменения значений β,Dt — матрица «длин» шага. Итерационный процесс заканчиваетсяна том шаге, на котором выполняется заранее определенное условиеостановки. Такая итеративная процедура в результате определяетточку β (оценку максимального правдоподобия). Задача — опреде-лить способ выбора вектора µt, поскольку от этого зависит скоростьсходимости к искомой точке.

Метод градиентного спуска. Для этого метода предполагает-ся, что Dt = E для любого шага t. Выбор точки на (t + 1)-ой ите-рации осуществляется по правилу:

β(t+1) = β(t) +∂ lnL

∂β(t).

В скалярном случае оценка будет возрастать, если градиент поло-жителен, и уменьшаться, если отрицателен. Метод останавливает-ся, когда значение производной будет «близко» к нулю.

К минусам этого метода можно отнести его «нечувствитель-ность» к скорости изменения значений функции. Следующие триметода учитывают, как быстро логарифмическая функция правдо-подобия меняется [49]. Нельзя отдать предпочтение ни одному изниже описанных методов, поскольку скорость работы алгоритмовзависит от обрабатываемых данных.

Метод Ньютона. В качестве матрицы Dt в методе Ньютона

выбирается(

∂2 lnL∂β(t)T ∂β(t)

)−1

. Например, гессиан логарифмической

функции правдоподобия с двумя параметрами βT = (β0, β1) вы-глядит следующим образом:

∂2 lnL

∂βT ∂β=

(∂2 lnL∂β0∂β0

∂2 lnL∂β0∂β1

∂2 lnL∂β1∂β0

∂2 lnL∂β1∂β1

).

Если ∂2 lnL/∂β0∂β0 больше ∂2 lnL/∂β1∂β1, то градиент меняетсябыстрее при возрастании β0, чем при возрастании на то же самоечисло аргумента β1.

367

Следующий элемент приближения в методе Ньютона выбира-ется по правилу:

βt+1 = β(t) −(

∂2 lnL

∂β(t)T∂β(t)

)−1∂ lnL

∂β(t),

где ∂2 lnL∂β(t)T ∂β(t) = ∂2 lnL

∂βT∂β

∣∣∣β=β(t)

.

Метод scoring. В некоторых случаях математическое ожида-ние гессиана, известное как информационная матрица, проще вы-числить, чем сам гессиан. Метод scoring использует информацион-ную матрицу как матрицу Dt, и следующее приближение выбира-ется по правилу:

βt+1 = β(t) +

(E

[∂2 lnL

∂β(t)∂β(tT )

])−1∂ lnL

∂β(t).

Метод BHHH (названный по первым буквам авторов E.Berndt, B. Hall, R. Hall, J. Hausman [42]) — численный метод,имеющий широкое распространение в эконометрических задачах.Так как гессиан и информационную матрицу в некоторых случаяхсложно вычислить, то в качестве матрицы Dt можно использоватьпроизведение градиентов:

n∑

i=1

∂ lnLi

∂β(t)

(∂ lnLi

∂β(t)

)T

,

где lnLi — значение логарифмической функции правдоподобия, вы-численное в i-ом наблюдении.

Тогда уравнение перехода будет иметь вид:

β(t+1) = β(t) +

(n∑

i=1

∂ lnLi

∂β(t)

(∂ lnLi

∂β(t)

)T)−1

∂ lnL

∂β(t).

Этот метод также называют модифицированным методом scoring.Оценки параметров модели, найденные методом максимально-

го правдоподобия, асимптотически подчиняются нормальному рас-пределению [46]:

βa∼ N(β, V (β)),

368

где V (β) — ковариационная матрица вектора β. Например, для мо-дели с двумя независимыми переменными ковариационная матрицабудет выглядеть следующим образом:

V

β0β1β2

=

V (β0) Cov(β0, β1) Cov(β0, β2)

Cov(β1, β0) V (β1) Cov(β1, β2)

Cov(β2, β0) Cov(β2, β1) V (β2)

,

где Cov(βi, βj) — ковариация оценок βi и βj .Вышеописанные вычислительные методы позволяют попутно

получать оценку для ковариационной матрицы V (β), которая бу-дет необходима для проверки статистических гипотез о значениипараметров регрессии, рассмотренных ниже в § §7..

По свойству асимптотической нормальности и асимптотиче-ской эффективности оценки максимального правдоподобия β кова-риационная матрица V (β) равна:

V (β) ≈ I−1(β) =

(−E

[∂2 lnL

∂β∂βT

])−1

, (6.1)

т. е. ковариационная матрица равна обратному значению информа-ционной матрицы (ожидаемое значение гессиана, взятое с противо-положным знаком).

Выражение в правой части (6.1) вычисляется в точке β, но,поскольку мы знаем только оценку β параметра β, то можем найтитолько оценку для асимптотической ковариационной матрицы, т.е.производные и интегралы вычисляются при β = β.

Можно использовать следующие три способа нахожденияоценки V (β) асимптотической ковариационной матрицы V (β) [46,49]:

1.

V1(β) =

(−E

[∂2 lnL

∂β∂βT

])−1

. (6.2)

Оценка (6.2) часто используется вместо с методом scoring, т.к.этот численный метод на каждой итерации вычисляет инфор-мационную матрицу.

369

2.

V2(β) = −(

n∑

i=1

∂2 lnLi

∂β∂βT

)−1

. (6.3)

Оценка (6.3) чаще всего используется вместе с численным ме-тодом Ньютона.

3.

V3(β) =

(n∑

i=1

g2i xixTi

)−1

, (6.4)

где gi = yi − Λ(βxi) для логит модели (см. (5.5)), и gi =qiϕ(βxi)/Φ(qiβxi), qi = 2yi − 1 (см. (5.7)) для пробит моде-ли.В некоторых случаях возможен альтернативный подход к оце-

ниванию неизвестных параметров. Рассмотрим его на примере ло-гит модели. Предположим, что для каждого набора факторов xTl =(1, x1l, . . . , xnl) проведено несколько наблюдений, или все наблю-дения сгруппированы таким образом, что внутри каждой группызначения факторов меняются мало. Тогда можно заменить различ-ные наборы факторов внутри каждой группы некоторыми средни-ми значениями и, соответственно, все наблюдения внутри группырассматривать как наблюдения, соответствующие выбранным сред-ним значениям факторов. В обоих случаях появляется возможностьоценить эмпирическую вероятность появления единичного значе-ния для соответствующего набора факторов — пусть это будет оцен-ка pl, получаемая как относительная частота (доля) наблюдений,равных единице. Тогда можно применить так называемое логит-преобразование zl = ln(pl/(1 − pl)), после которого, учитывая мо-дель (3.1) с логистической функцией распределения (3.5), получаемновую модель наблюдений:

zi = βTxi + ζi, (6.5)

где относительно случайной компоненты ζi сделаем традиционныепредположения о взаимной независимости наблюдений.

Модель (6.5) можно анализировать как модель наблюдениймножественной регрессии, и для оценивания коэффициентов моде-ли применить метод наименьших квадратов. Трудности примене-ния метода наименьших квадратов к модели (6.5) связаны с тем,

370

что дисперсии наблюдений не постоянны, и выражения для диспер-сий случайных компонент носят приближенный характер. Анало-гичный подход возможен и для случая пробит модели, где вместологит-преобразования применяют обратную функцию к функциистандартного нормального распределения. Возникающие проблемыаналогичны выше рассмотренным.

Сравнивая два подхода к оценке неизвестных параметров мо-дели (3.1), можно согласиться с тем, что метод максимальногоправдоподобия выглядит предпочтительнее. Каким бы способом ниоценивались параметры модели (3.1), о качестве построенной мо-дели можно судить по ее способности правильно прогнозироватьимеющиеся наблюдения. Подставляя в модель оценку β и значе-ния факторов xi, находим оценку вероятности появления единицы:Pyi = 1 = F (βTx). Если наблюдение оказалось равным единице,то для правильного прогноза найденная вероятность должна при-нимать значение, большее 0.5. Перебирая имеющиеся наблюденияи определяя соответствие наблюдения вычисленной вероятности,можно оценить качество построенной модели.

§7. Проверка гипотез о значимости параметров

логит и пробит моделей бинарного выбора

Для логит и пробит моделей проверка гипотез о наличии ограни-чений на коэффициенты, в частности, гипотез о значимости одногоили группы коэффициентов, может проводиться с помощью любогоиз трех критериев — Вальда, отношения правдоподобия, множите-лей Лагранжа [45, 46].

Рассмотрим нулевую гипотезу в виде системы уравнений:

H0 : Qβ = r, (7.1)

где βT = (β0, β1, . . . , βk), Q — матрица констант, r — вектор кон-стант, которые формируются определенным образом в зависимостиот того, какую гипотезу необходимо проверить. Например, рассмот-рим пробит модель Py = 1 = Φ(β0 + β1x1 + β2x2). Для проверкинулевой гипотезы H0 : β1 = 0 система уравнений (7.1) примет сле-

371

дующий вид:

(0 1 0

)β0β1β2

=

(0).

Для проверки гипотезы β1 = β2 = 0 система уравнений (7.1) приметследующий вид:

(0 1 00 0 1

)β0β1β2

=

(00

).

Сначала рассмотрим случай, когда q = 1, где q — число строкматрицы Q. Пусть в строке все элементы, кроме одного равногоединице, равны нулю. В этом случае исследователю требуется про-верить гипотезу о значении одного параметра модели, т. е. гипотезуH0: βi = β∗, где β∗ — некоторое число (часто равное 0). Так каксреднеквадратичное отклонение оценки βi параметра βi неизвест-но, то для него может быть найдена оценка методами, описаннымив §6.

Будем предполагать, что оценки неизвестных параметровасимптотически нормальны. В качестве статистики критерия рас-смотрим функцию:

z =βi − β∗

σ(βi), (7.2)

которая в случае справедливости гипотезыH0 асимптотически под-чиняется стандартному нормальному распределению, если оценкипараметров в модели производятся методом максимального прав-доподобия [49].

Алгоритм критерия

1. Выдвигаем нулевую гипотезу H0 : βi = β∗. Сформулируемальтернативную гипотезу: H1 : βi 6= β∗.

2. Задаем уровень значимости α.3. Вычисляем значение статистики z по формуле (7.2).4. Находим критическую область — это объединение интервалов

(−∞;−u1−α2)∪ (u1−α

2;∞), где u1−α/2 — квантиль стандартно-

го нормального распределения уровня 1− α2 .

5. Если значение статистики (7.2) попадет в критическую об-ласть, то нулевая гипотеза H0 отвергается, в противном слу-чае нет оснований ее отвергнуть при уровне значимости α.

372

Замечание 7.1. В некоторых прикладных статистических паке-тах в качестве асимптотического распределения статистики (7.2)используется распределение Стьюдента с числом степеней свободы,равным n − k. Кроме того, следует отметить, что критерий носитасимптотический характер, истинный уровень значимости близокк α.

Далее рассмотрим основные критерии, используемые для про-верки значимости коэффициентов бинарной регрессии для случая,когда q > 1.

§8. Критерий Вальда

Выдвинем нулевую гипотезу H0 : Qβ = r при альтернативной ги-потезе H1 : Qβ 6= r.

Пусть мы нашли оценку максимального правдоподобия β длянеизвестного параметра β, и V (β) — состоятельная оценка дляасимптотической ковариационной матрицы V (β). Статистика кри-терия Вальда выглядит следующим образом:

W = (Qβ − r)T (QV (β)QT )−1(Qβ − r). (8.1)

При справедливости нулевой гипотезы статистика (8.1) асимптоти-чески подчиняется распределению χ2 с числом степеней свободы,равным количеству тестируемых параметров, т. е. равным q [45].

Пример 8.1. Для пробит модели Py = 1 = Φ(β0 + β1x1 + β2x2)проверим гипотезу H0 : β1 = β∗ при альтернативной гипотезе H1 :β1 6= β∗ при заданном уровне значимости α. Найдем выражение дляW из (8.1) для этого случая. Выражение Qβ−r примет следующийвид:

(0 1 0

)β0β1β2

− β∗ = β1 − β∗.

Выражение (QV (β)QT )−1 в статистике (8.1) будет следующим:(0 1 0

)V (β)

010

−1

=1

V (β1).

373

Получаем выражение для статистики (8.1):

W =(β1 − β∗)2

V (β1)=

(β1 − β∗

σ(β1)

)2

, (8.2)

где β1 — оценка максимального правдоподобия, асимптотическинормальная и сильно состоятельная, σ(β1) — состоятельная оценкасреднеквадратического отклонения β1. О способах нахождения β1и σ(β1) говорилось в § §6.. Статистика (8.2) асимптотически подчи-няется χ2-распределению с одной степенью свободы в случае спра-ведливости гипотезы H0. Нетрудно заметить, что статистика W —квадрат значения статистики z в (7.2). В рассматриваемом случаегипотезуH0 следует отвергнуть при уровне значимости приближен-но равном α в случае, когда W ∈ [χ2

1−α,1;∞), где χ21−α,1 — квантиль

уровня 1− α распределения χ2 с одной степенью свободы.

Пример 8.2. Для пробит модели Py = 1 = Φ(β0 + β1x1 + β2x2)проверим гипотезу H0 : β1 = β2 = 0 при альтернативной гипотезеH1, которая говорит о том, что хотя бы один из параметров (β1, β2)отличен от нуля, при уровне значимости приближенно равном α.Гипотеза H0 может быть записана в следующем виде:

(0 1 00 0 1

)β0β1β2

=

(00

),

где матрица Qβ − r и (QV (β)QT )−1 приобретают вид:

Qβ − r = (β1, β2)T ,

(QV (β)QT )−1 =

(0 1 00 0 1

)V (β)

0 01 00 1

−1

.

Предположив, что оценки β1, β2 не коррелируют (в общем случаеэто неверно), получаем равенства:

(QV (β)QT )−1 =

(σ2(β1) 0

0 σ2(β2)

)−1

=

(1/σ2(β1) 0

0 1/σ2(β2).

)

374

Тогда статистика Вальда (8.1) примет вид:

W =

2∑

i=1

(βi

σ(βi)

)2

= z2β1

+ z2β2.

Здесь также статистика Вальда равна сумме квадратов статистикz, вычисленных для тестируемых параметров. В случае, когда оцен-ки параметров коррелируют (что чаще всего встречается в реаль-ных задачах), окончательный вид статистики W имеет более слож-ный вид.

Алгоритм критерия Вальда

1. Выдвигаем нулевую гипотезу H0 : Qβ = r. Сформулируемальтернативную гипотезу H1 : Qβ 6= r.

2. Задаем уровень значимости критерия α.3. Находим оценку β для неизвестного параметра β и оценкуV (β) для асимптотической ковариационной матрицы.

4. Вычисляем значение статистики W по формуле (8.1).5. Находим критическую область — интервал (χ2

1−α,q;∞), гдеχ21−α,q — квантиль уровня 1 − α распределения χ2 с q степе-

нями свободы.6. Если численное значение статистики W попадет в критиче-

скую область, то нулевая гипотеза H0 отвергается, в против-ном случае нет оснований ее отвергнуть при уровне значимо-сти приближенно равном α.

Критерий Вальда носит асимптотический характер, и, поэтому,уровень значимости критерия должен быть близок к α при большихобъемах наблюдений.

§9. Критерий отношения правдоподобия

Часто для проверки адекватности пробит и логит моделей би-нарных регрессий используют критерии, основанные на сравнениизначений функции правдоподобия в случае, когда максимизацияпроводится по всем неизвестным параметрам, и при условии, чтоQβ = r.

Пусть lnL1 — максимальное значение логарифмической функ-ции правдоподобия (5.2) при условии, что максимизация произво-дится по параметру β без ограничений на этот параметр; lnL0 —

375

максимальное значение логарифмической функции правдоподобия(5.2) при условии, что Qβ = r. Очевидно, что lnL1 > lnL0. Чембольше разность между значениями функций, тем более оправданоиспользование регрессионной пробит или логит модели. Статистикаотношения правдоподобия (likelihood ratio) выглядит следующимобразом:

LR = 2(lnL1 − lnL0), (9.1)

которая при справедливости нулевой гипотезы асимптотическиподчиняется распределению χ2 с числом степеней свободы, равнымq [45, 46].

Алгоритм критерия правдоподобия

1. Выдвигаем нулевую гипотезу H0 : Qβ = r. Сформулируемальтернативную гипотезу H1 : Qβ 6= r.

2. Задаем уровень значимости α.3. Находим значение функции правдоподобия lnL1 в точке β,

которая является оценкой максимального правдоподобия длянеизвестного параметра β в задаче без ограничений и lnL0.

4. Вычисляем значение статистики по формуле (9.1).5. Находим критическую область — интервал (χ2

q,1−α;∞), гдеχ21−α,q — квантиль уровня 1 − α распределения χ2 с q степе-

нями свободы, где q — число строк матрицы Q.6. Если численное значение статистики (9.1) попадет в критиче-

скую область, то нулевая гипотеза H0 отвергается, в против-ном случае нет оснований ее отвергнуть при уровне значимо-сти приближенно равном α.

Критерий отношения правдоподобия носит асимптотический ха-рактер, уровень значимости критерия должен быть близок к α прибольших n.

Подробное описание критерия множителей Лагранжа для про-верки гипотезы H0 : Qβ = r можно найти в [45, 46, 49].

§10. Критерии адекватности моделей бинарной

регрессии

В настоящее время предложено большое количество мер адекват-ности для моделей бинарной регрессии [46, 49, 51], приведем неко-торые из них.

376

Сумма квадратов остатков SSR вычисляется по формуле:

SSR =n∑

i=1

(yi − Fi)2, (10.1)

где Fi = F (βTxi). Значение SSR является часто используемой ме-рой, поскольку она используется для вычисления коэффициентадетерминации R2 в моделях линейной регрессии. Тем не менее, ис-пользование этой меры не может быть математически строго обос-новано, поскольку модели бинарной регрессии не удовлетворяютусловию равенства дисперсий [39]. B. Efron предложил аналог R2

следующего вида [44]:

R2Ef = 1−

n∑i=1

(yi − Fi)2

n∑i=1

(yi − y)2, (10.2)

где y = 1n

n∑i=1

yi.

Взвешенная сумма квадратов WSSR для моделей бинарнойрегрессии может быть вычислена по формуле:

WSSR =

n∑

i=1

(yi − Fi)2

Fi(1− Fi). (10.3)

Как утверждается в работе [39], критерий (10.3) более предпочти-телен, чем критерий (10.1).

Квадратичный коэффициент корреляции SCC вычисляетсяпо формуле:

SCC =

[n∑

i=1

(yi − y)Fi

]2

n∑i=1

(yi − y)2n∑

i=1

(Fi − F )2, (10.4)

где F =∑n

i=1 Fi/n. В случае линейной регрессии коэффициенты(10.2) и (10.4) совпадают, но это не является верным для случаябинарной регрессии.

377

Существует еще одна мера адекватности моделей бинарной ре-грессии [41, 48]:

R2BL =

1

n

n∑

i=1

(yiFi + (1− yi)(1− Fi)

), (10.5)

которая представляет собой среднюю вероятность правильногопредсказания в соответствии с полученным правилом.

Существуют меры адекватности моделей бинарной регрессии,основанные на сравнении значений функции правдоподобия приразличных ограничениях. Например, D. MacFadden предложил ин-декс отношения правдоподобия следующего вида [50]:

LRI = 1− lnL(β)

lnL0, (10.6)

где lnL0 — максимальное значение логарифмической функцииправдоподобия при β1 = · · · = βk = 0.

С практической точки зрения полезно составить таблицу 2×2истинных и ложных прогнозов по следующему правилу:

y =

1, если F > F ⋆,

0, в противном случае.(10.7)

Обычно F ⋆ выбирают равным 0.5, что означает, что мы прогнози-руем 1 в случае, когда модель «говорит», что 1 более вероятна, чем0. Например, в таблице 19.2 количество верных прогнозов равно

Табл. 19.2. Результаты прогнозирования

yi = 1 yi = 0 Кол-во

yi = 1 271 14 285

yi = 0 17 58 75

288 72 360

271 + 58 = 329, т. е. модель, которой соответствует таблица 19.2,корректно прогнозирует 91% данных.

Замечание 10.1. Различные скалярные меры адекватности моде-лей бинарной регрессии дают различные результаты [39]. Оценка

378

ГЛАВА 19. БИНАРНАЯ РЕГРЕССИЯ 379

максимального правдоподобия, на которой основаны все выше пе-речисленные скалярные меры адекватности для моделей бинарнойрегрессии, не выбирается из условия максимизации критерия адек-ватности, в отличие от классической модели линейной регрессии(коэффициенты регрессии, найденные методом наименьших квад-ратов, максимизируют коэффициент детерминации R2). В случаебинарной регрессии оценка максимального правдоподобия β макси-мизирует совместную плотность распределения наблюдаемых слу-чайных величин. Возникает вопрос для исследователя: выбратьлучшую оценку параметров при возможно низком уровне достовер-ного прогноза или получить наилучшую оценку параметров, мак-симизирующую выбранную скалярную меру адекватности модели,которая чаще всего не будет являться оценкой максимального прав-доподобия?

Приложение А Таблица значений функции стандартно-

го нормального распределения

F (x) =1√2π

x∫

−∞

e−y2

2 dy

x 0.00 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09

0.0 0.5000 0.5040 0.5080 0.5120 0.5160 0.5199 0.5239 0.5279 0.5319 0.5359

0.1 0.5398 0.5438 0.5478 0.5517 0.5557 0.5596 0.5636 0.5675 0.5714 0.5753

0.2 0.5793 0.5832 0.5871 0.5910 0.5948 0.5987 0.6026 0.6064 0.6103 0.6141

0.3 0.6179 0.6217 0.6255 0.6293 0.6331 0.6368 0.6406 0.6443 0.6480 0.6517

0.4 0.6554 0.6591 0.6628 0.6664 0.6700 0.6736 0.6772 0.6808 0.6844 0.6879

0.5 0.6915 0.6950 0.6985 0.7019 0.7054 0.7088 0.7123 0.7157 0.7190 0.7224

0.6 0.7257 0.7291 0.7324 0.7357 0.7389 0.7422 0.7454 0.7486 0.7517 0.7549

0.7 0.7580 0.7611 0.7642 0.7673 0.7703 0.7734 0.7764 0.7794 0.7823 0.7852

0.8 0.7881 0.7910 0.7939 0.7967 0.7995 0.8023 0.8051 0.8078 0.8106 0.8133

0.9 0.8159 0.8186 0.8212 0.8238 0.8264 0.8289 0.8315 0.8340 0.8365 0.8389

1.0 0.8413 0.8438 0.8461 0.8485 0.8508 0.8531 0.8554 0.8577 0.8599 0.8621

1.1 0.8643 0.8665 0.8686 0.8708 0.8729 0.8749 0.8770 0.8790 0.8810 0.8830

1.2 0.8849 0.8869 0.8888 0.8907 0.8925 0.8944 0.8962 0.8980 0.8997 0.9015

1.3 0.9032 0.9049 0.9066 0.9082 0.9099 0.9115 0.9131 0.9147 0.9162 0.9177

1.4 0.9192 0.9207 0.9222 0.9236 0.9251 0.9265 0.9279 0.9292 0.9306 0.9319

1.5 0.9332 0.9345 0.9357 0.9370 0.9382 0.9394 0.9406 0.9418 0.9429 0.9441

1.6 0.9452 0.9463 0.9474 0.9484 0.9495 0.9505 0.9515 0.9525 0.9535 0.9545

1.7 0.9554 0.9564 0.9573 0.9582 0.9591 0.9599 0.9608 0.9616 0.9625 0.9633

1.8 0.9641 0.9649 0.9656 0.9664 0.9671 0.9678 0.9686 0.9693 0.9699 0.9706

1.9 0.9713 0.9719 0.9726 0.9732 0.9738 0.9744 0.9750 0.9756 0.9761 0.9767

2.0 0.9772 0.9778 0.9783 0.9788 0.9793 0.9798 0.9803 0.9808 0.9812 0.9817

2.1 0.9821 0.9826 0.9830 0.9834 0.9838 0.9842 0.9846 0.9850 0.9854 0.9857

2.2 0.9861 0.9864 0.9868 0.9871 0.9875 0.9878 0.9881 0.9884 0.9887 0.9890

2.3 0.9893 0.9896 0.9898 0.9901 0.9904 0.9906 0.9909 0.9911 0.9913 0.9916

2.4 0.9918 0.9920 0.9922 0.9925 0.9927 0.9929 0.9931 0.9932 0.9934 0.9936

2.5 0.9938 0.9940 0.9941 0.9943 0.9945 0.9946 0.9948 0.9949 0.9951 0.9952

2.6 0.9953 0.9955 0.9956 0.9957 0.9959 0.9960 0.9961 0.9962 0.9963 0.9964

2.7 0.9965 0.9966 0.9967 0.9968 0.9969 0.9970 0.9971 0.9972 0.9973 0.9974

2.8 0.9974 0.9975 0.9976 0.9977 0.9977 0.9978 0.9979 0.9979 0.9980 0.9981

2.9 0.9981 0.9982 0.9982 0.9983 0.9984 0.9984 0.9985 0.9985 0.9986 0.9986

3.0 0.9987 0.9987 0.9987 0.9988 0.9988 0.9989 0.9989 0.9989 0.9990 0.9990

3.1 0.9990 0.9991 0.9991 0.9991 0.9992 0.9992 0.9992 0.9992 0.9993 0.9993

3.2 0.9993 0.9993 0.9994 0.9994 0.9994 0.9994 0.9994 0.9995 0.9995 0.9995

3.3 0.9995 0.9995 0.9995 0.9996 0.9996 0.9996 0.9996 0.9996 0.9996 0.9997

3.4 0.9997 0.9997 0.9997 0.9997 0.9997 0.9997 0.9997 0.9997 0.9997 0.9998

3.5 0.9998 0.9998 0.9998 0.9998 0.9998 0.9998 0.9998 0.9998 0.9998 0.9998

3.6 0.9998 0.9998 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999

3.7 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999

3.8 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999

3.9 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000

380

Приложение Б Таблица квантилей χ2α,n уровня α распре-

деления χ2 c n степенями свободы

1

2n2 Γ(n2 )

χ2α,n∫

0

xn2 −1e−

x2 dx = α

α 0.001 0.005 0.010 0.025 0.050 0.10 0.125 0.200 0.250 0.333 0.500

n1 0.000 0.000 0.000 0.001 0.004 0.016 0.025 0.064 0.102 0.186 0.455

2 0.002 0.010 0.020 0.051 0.103 0.211 0.267 0.446 0.575 0.811 1.386

3 0.024 0.072 0.115 0.216 0.352 0.584 0.692 1.005 1.213 1.568 2.366

4 0.091 0.207 0.297 0.484 0.711 1.064 1.219 1.649 1.923 2.378 3.357

5 0.210 0.412 0.554 0.831 1.145 1.610 1.808 2.343 2.675 3.216 4.351

6 0.381 0.676 0.872 1.237 1.635 2.204 2.441 3.070 3.455 4.074 5.348

7 0.598 0.989 1.239 1.690 2.167 2.833 3.106 3.822 4.255 4.945 6.346

8 0.857 1.344 1.646 2.180 2.733 3.490 3.797 4.594 5.071 5.826 7.344

9 1.152 1.735 2.088 2.700 3.325 4.168 4.507 5.380 5.899 6.716 8.343

10 1.479 2.156 2.558 3.247 3.940 4.865 5.234 6.179 6.737 7.612 9.342

11 1.834 2.603 3.053 3.816 4.575 5.578 5.975 6.989 7.584 8.514 10.341

12 2.214 3.074 3.571 4.404 5.226 6.304 6.729 7.807 8.438 9.420 11.340

13 2.617 3.565 4.107 5.009 5.892 7.042 7.493 8.634 9.299 10.331 12.340

14 3.041 4.075 4.660 5.629 6.571 7.790 8.266 9.467 10.165 11.245 13.339

15 3.483 4.601 5.229 6.262 7.261 8.547 9.048 10.307 11.037 12.163 14.339

16 3.942 5.142 5.812 6.908 7.962 9.312 9.837 11.152 11.912 13.083 15.338

17 4.416 5.697 6.408 7.564 8.672 10.085 10.633 12.002 12.792 14.006 16.338

18 4.905 6.265 7.015 8.231 9.390 10.865 11.435 12.857 13.675 14.931 17.338

19 5.407 6.844 7.633 8.907 10.117 11.651 12.242 13.716 14.562 15.859 18.338

20 5.921 7.434 8.260 9.591 10.851 12.443 13.055 14.578 15.452 16.788 19.337

21 6.447 8.034 8.897 10.283 11.591 13.240 13.873 15.445 16.344 17.720 20.337

22 6.983 8.643 9.542 10.982 12.338 14.041 14.695 16.314 17.240 18.653 21.337

23 7.529 9.260 10.196 11.689 13.091 14.848 15.521 17.187 18.137 19.587 22.337

24 8.085 9.886 10.856 12.401 13.848 15.659 16.351 18.062 19.037 20.523 23.337

25 8.649 10.520 11.524 13.120 14.611 16.473 17.184 18.940 19.939 21.461 24.337

26 9.222 11.160 12.198 13.844 15.379 17.292 18.021 19.820 20.843 22.399 25.336

27 9.803 11.808 12.879 14.573 16.151 18.114 18.861 20.703 21.749 23.339 26.336

28 10.391 12.461 13.565 15.308 16.928 18.939 19.704 21.588 22.657 24.280 27.336

29 10.986 13.121 14.256 16.047 17.708 19.768 20.550 22.475 23.567 25.222 28.336

30 11.588 13.787 14.953 16.791 18.493 20.599 21.399 23.364 24.478 26.165 29.336

35 14.688 17.192 18.509 20.569 22.465 24.797 25.678 27.836 29.054 30.894 34.336

40 17.916 20.707 22.164 24.433 26.509 29.051 30.008 32.345 33.660 35.643 39.335

45 21.251 24.311 25.901 28.366 30.612 33.350 34.379 36.884 38.291 40.407 44.335

50 24.674 27.991 29.707 32.357 34.764 37.689 38.785 41.449 42.942 45.184 49.335

55 28.173 31.735 33.570 36.398 38.958 42.060 43.220 46.036 47.610 49.972 54.335

60 31.738 35.534 37.485 40.482 43.188 46.459 47.680 50.641 52.294 54.770 59.335

381

α 0.600 0.667 0.750 0.800 0.875 0.900 0.950 0.975 0.990 0.995 0.999

n1 0.708 0.936 1.323 1.642 2.354 2.706 3.841 5.024 6.635 7.879 10.828

2 1.833 2.197 2.773 3.219 4.159 4.605 5.991 7.378 9.210 10.597 13.816

3 2.946 3.405 4.108 4.642 5.739 6.251 7.815 9.348 11.345 12.838 16.266

4 4.045 4.579 5.385 5.989 7.214 7.779 9.488 11.143 13.277 14.860 18.467

5 5.132 5.730 6.626 7.289 8.625 9.236 11.070 12.833 15.086 16.750 20.515

6 6.211 6.867 7.841 8.558 9.992 10.645 12.592 14.449 16.812 18.548 22.458

7 7.283 7.992 9.037 9.803 11.326 12.017 14.067 16.013 18.475 20.278 24.322

8 8.351 9.107 10.219 11.030 12.636 13.362 15.507 17.535 20.090 21.955 26.125

9 9.414 10.215 11.389 12.242 13.926 14.684 16.919 19.023 21.666 23.589 27.877

10 10.473 11.317 12.549 13.442 15.198 15.987 18.307 20.483 23.209 25.188 29.588

11 11.530 12.414 13.701 14.631 16.457 17.275 19.675 21.920 24.725 26.757 31.264

12 12.584 13.506 14.845 15.812 17.703 18.549 21.026 23.337 26.217 28.300 32.910

13 13.636 14.595 15.984 16.985 18.939 19.812 22.362 24.736 27.688 29.819 34.528

14 14.685 15.680 17.117 18.151 20.166 21.064 23.685 26.119 29.141 31.319 36.123

15 15.733 16.761 18.245 19.311 21.384 22.307 24.996 27.488 30.578 32.801 37.697

16 16.780 17.840 19.369 20.465 22.595 23.542 26.296 28.845 32.000 34.267 39.252

17 17.824 18.917 20.489 21.615 23.799 24.769 27.587 30.191 33.409 35.718 40.790

18 18.868 19.991 21.605 22.760 24.997 25.989 28.869 31.526 34.805 37.156 42.312

19 19.910 21.063 22.718 23.900 26.189 27.204 30.144 32.852 36.191 38.582 43.820

20 20.951 22.133 23.828 25.038 27.376 28.412 31.410 34.170 37.566 39.997 45.315

21 21.991 23.201 24.935 26.171 28.559 29.615 32.671 35.479 38.932 41.401 46.797

22 23.031 24.268 26.039 27.301 29.737 30.813 33.924 36.781 40.289 42.796 48.268

23 24.069 25.333 27.141 28.429 30.911 32.007 35.172 38.076 41.638 44.181 49.728

24 25.106 26.397 28.241 29.553 32.081 33.196 36.415 39.364 42.980 45.559 51.179

25 26.143 27.459 29.339 30.675 33.247 34.382 37.652 40.646 44.314 46.928 52.620

26 27.179 28.520 30.435 31.795 34.410 35.563 38.885 41.923 45.642 48.290 54.052

27 28.214 29.580 31.528 32.912 35.570 36.741 40.113 43.195 46.963 49.645 55.476

28 29.249 30.639 32.620 34.027 36.727 37.916 41.337 44.461 48.278 50.993 56.892

29 30.283 31.697 33.711 35.139 37.881 39.087 42.557 45.722 49.588 52.336 58.301

30 31.316 32.754 34.800 36.250 39.033 40.256 43.773 46.979 50.892 53.672 59.703

35 36.475 38.024 40.223 41.778 44.753 46.059 49.802 53.203 57.342 60.275 66.619

40 41.622 43.275 45.616 47.269 50.424 51.805 55.758 59.342 63.691 66.766 73.402

45 46.761 48.510 50.985 52.729 56.052 57.505 61.656 65.410 69.957 73.166 80.077

50 51.892 53.733 56.334 58.164 61.647 63.167 67.505 71.420 76.154 79.490 86.661

55 57.016 58.945 61.665 63.577 67.211 68.796 73.311 77.380 82.292 85.749 93.168

60 62.135 64.147 66.981 68.972 72.751 74.397 79.082 83.298 88.379 91.952 99.607

382

Приложение В Таблица квантилей tα,n уровня α распре-

деления Стьюдента c n степенями свободы

Γ(n+12 )√

nπΓ(n2 )

tα,n∫

−∞

dx(1 + x2

n

)n+12

= α

α 0.600 0.667 0.750 0.800 0.875 0.900 0.950 0.975 0.990 0.995 0.999

n1 0.325 0.577 1.000 1.376 2.414 3.078 6.314 12.706 31.821 63.657 318.31

2 0.289 0.500 0.816 1.061 1.604 1.886 2.920 4.303 6.965 9.925 22.327

3 0.277 0.476 0.765 0.978 1.423 1.638 2.353 3.182 4.541 5.841 10.215

4 0.271 0.464 0.741 0.941 1.344 1.533 2.132 2.776 3.747 4.604 7.173

5 0.267 0.457 0.727 0.920 1.301 1.476 2.015 2.571 3.365 4.032 5.893

6 0.265 0.453 0.718 0.906 1.273 1.440 1.943 2.447 3.143 3.707 5.208

7 0.263 0.449 0.711 0.896 1.254 1.415 1.895 2.365 2.998 3.499 4.785

8 0.262 0.447 0.706 0.889 1.240 1.397 1.860 2.306 2.896 3.355 4.501

9 0.261 0.445 0.703 0.883 1.230 1.383 1.833 2.262 2.821 3.250 4.297

10 0.260 0.444 0.700 0.879 1.221 1.372 1.812 2.228 2.764 3.169 4.144

11 0.260 0.443 0.697 0.876 1.214 1.363 1.796 2.201 2.718 3.106 4.025

12 0.259 0.442 0.695 0.873 1.209 1.356 1.782 2.179 2.681 3.055 3.930

13 0.259 0.441 0.694 0.870 1.204 1.350 1.771 2.160 2.650 3.012 3.852

14 0.258 0.440 0.692 0.868 1.200 1.345 1.761 2.145 2.624 2.977 3.787

15 0.258 0.439 0.691 0.866 1.197 1.341 1.753 2.131 2.602 2.947 3.733

16 0.258 0.439 0.690 0.865 1.194 1.337 1.746 2.120 2.583 2.921 3.686

17 0.257 0.438 0.689 0.863 1.191 1.333 1.740 2.110 2.567 2.898 3.646

18 0.257 0.438 0.688 0.862 1.189 1.330 1.734 2.101 2.552 2.878 3.610

19 0.257 0.438 0.688 0.861 1.187 1.328 1.729 2.093 2.539 2.861 3.579

20 0.257 0.437 0.687 0.860 1.185 1.325 1.725 2.086 2.528 2.845 3.552

21 0.257 0.437 0.686 0.859 1.183 1.323 1.721 2.080 2.518 2.831 3.527

22 0.256 0.437 0.686 0.858 1.182 1.321 1.717 2.074 2.508 2.819 3.505

23 0.256 0.436 0.685 0.858 1.180 1.319 1.714 2.069 2.500 2.807 3.485

24 0.256 0.436 0.685 0.857 1.179 1.318 1.711 2.064 2.492 2.797 3.467

25 0.256 0.436 0.684 0.856 1.178 1.316 1.708 2.060 2.485 2.787 3.450

26 0.256 0.436 0.684 0.856 1.177 1.315 1.706 2.056 2.479 2.779 3.435

27 0.256 0.435 0.684 0.855 1.176 1.314 1.703 2.052 2.473 2.771 3.421

28 0.256 0.435 0.683 0.855 1.175 1.313 1.701 2.048 2.467 2.763 3.408

29 0.256 0.435 0.683 0.854 1.174 1.311 1.699 2.045 2.462 2.756 3.396

30 0.256 0.435 0.683 0.854 1.173 1.310 1.697 2.042 2.457 2.750 3.385

35 0.255 0.434 0.682 0.852 1.170 1.306 1.690 2.030 2.438 2.724 3.340

40 0.255 0.434 0.681 0.851 1.167 1.303 1.684 2.021 2.423 2.704 3.307

45 0.255 0.434 0.680 0.850 1.165 1.301 1.679 2.014 2.412 2.690 3.281

50 0.255 0.433 0.679 0.849 1.164 1.299 1.676 2.009 2.403 2.678 3.261

55 0.255 0.433 0.679 0.848 1.163 1.297 1.673 2.004 2.396 2.668 3.245

60 0.254 0.433 0.679 0.848 1.162 1.296 1.671 2.000 2.390 2.660 3.232

∞ 0.253 0.431 0.674 0.842 1.150 1.282 1.645 1.960 2.326 2.576 3.090

383

Приложение Г Таблица квантилей Fα,n,m уровня α рас-

пределения Фишера c n и m степенями свободы

Fα,n,m∫

0

√(nx)nmm

(nx+m)n+m

xB(n2 ,

m2

) dx = α, Fα,n,m ≡ 1

F1−α,m,n

m\n 2 3 4 5 6 7 8 10 12 15 20 30 50 ∞α

1 0.500 1.50 1.71 1.82 1.89 1.94 1.98 2.00 2.04 2.07 2.09 2.12 2.15 2.17 2.20

0.600 2.63 2.93 3.09 3.20 3.27 3.32 3.36 3.41 3.45 3.48 3.52 3.56 3.59 3.64

0.667 4.00 4.42 4.64 4.78 4.88 4.95 5.00 5.08 5.13 5.18 5.24 5.29 5.33 5.39

0.750 7.50 8.20 8.58 8.82 8.98 9.10 9.19 9.32 9.41 9.50 9.58 9.67 9.74 9.85

0.800 12.0 13.1 13.6 14.0 14.3 14.4 14.6 14.8 14.9 15.0 15.2 15.3 15.4 15.6

2 0.500 1.00 1.13 1.21 1.25 1.28 1.30 1.32 1.35 1.36 1.38 1.39 1.41 1.42 1.44

0.600 1.50 1.64 1.72 1.76 1.80 1.82 1.84 1.86 1.88 1.89 1.91 1.92 1.94 1.96

0.667 2.00 2.15 2.22 2.27 2.30 2.33 2.34 2.37 2.38 2.40 2.42 2.43 2.45 2.47

0.750 3.00 3.15 3.23 3.28 3.31 3.34 3.35 3.38 3.39 3.41 3.43 3.44 3.46 3.48

0.800 4.00 4.16 4.24 4.28 4.32 4.34 4.36 4.38 4.40 4.42 4.43 4.45 4.47 4.48

3 0.500 0.88 1.00 1.06 1.10 1.13 1.15 1.16 1.18 1.20 1.21 1.23 1.24 1.25 1.27

0.600 1.26 1.37 1.43 1.47 1.49 1.51 1.52 1.54 1.55 1.56 1.57 1.58 1.59 1.60

0.667 1.62 1.72 1.77 1.80 1.82 1.83 1.84 1.86 1.87 1.88 1.89 1.90 1.90 1.91

0.750 2.28 2.36 2.39 2.41 2.42 2.43 2.44 2.44 2.45 2.46 2.46 2.47 2.47 2.47

0.800 2.89 2.94 2.96 2.97 2.97 2.97 2.98 2.98 2.98 2.98 2.98 2.98 2.98 2.98

4 0.500 0.83 0.94 1.00 1.04 1.06 1.08 1.09 1.11 1.13 1.14 1.15 1.16 1.18 1.19

0.600 1.16 1.26 1.31 1.34 1.36 1.37 1.38 1.40 1.41 1.42 1.43 1.43 1.44 1.45

0.667 1.46 1.55 1.58 1.61 1.62 1.63 1.64 1.65 1.65 1.66 1.67 1.67 1.68 1.68

0.750 2.00 2.05 2.06 2.07 2.08 2.08 2.08 2.08 2.08 2.08 2.08 2.08 2.08 2.08

0.800 2.47 2.48 2.48 2.48 2.47 2.47 2.47 2.46 2.46 2.45 2.44 2.44 2.43 2.43

5 0.500 0.80 0.91 0.96 1.00 1.02 1.04 1.05 1.07 1.09 1.10 1.11 1.12 1.13 1.15

0.600 1.11 1.20 1.24 1.27 1.29 1.30 1.31 1.32 1.33 1.34 1.34 1.35 1.36 1.37

0.667 1.38 1.45 1.48 1.50 1.51 1.52 1.53 1.53 1.54 1.54 1.54 1.55 1.55 1.55

0.750 1.85 1.88 1.89 1.89 1.89 1.89 1.89 1.89 1.89 1.89 1.88 1.88 1.88 1.87

0.800 2.26 2.25 2.24 2.23 2.22 2.21 2.20 2.19 2.18 2.18 2.17 2.16 2.15 2.13

6 0.500 0.78 0.89 0.94 0.98 1.00 1.02 1.03 1.05 1.06 1.07 1.08 1.10 1.11 1.12

0.600 1.07 1.16 1.20 1.22 1.24 1.25 1.26 1.27 1.28 1.29 1.29 1.30 1.31 1.31

0.667 1.33 1.39 1.42 1.44 1.44 1.45 1.45 1.46 1.46 1.47 1.47 1.47 1.47 1.47

0.750 1.76 1.78 1.79 1.79 1.78 1.78 1.78 1.77 1.77 1.76 1.76 1.75 1.75 1.74

0.800 2.13 2.11 2.09 2.08 2.06 2.05 2.04 2.03 2.02 2.01 2.00 1.98 1.97 1.95

7 0.500 0.77 0.87 0.93 0.96 0.98 1.00 1.01 1.03 1.04 1.05 1.07 1.08 1.09 1.10

0.600 1.05 1.13 1.17 1.19 1.21 1.22 1.23 1.24 1.24 1.25 1.26 1.26 1.27 1.27

0.667 1.29 1.35 1.38 1.39 1.40 1.40 1.41 1.41 1.41 1.41 1.41 1.42 1.42 1.42

0.750 1.70 1.72 1.72 1.71 1.71 1.70 1.70 1.69 1.68 1.68 1.67 1.66 1.66 1.65

0.800 2.04 2.02 1.99 1.97 1.96 1.94 1.93 1.92 1.91 1.89 1.88 1.86 1.85 1.83

8 0.500 0.76 0.86 0.91 0.95 0.97 0.99 1.00 1.02 1.03 1.04 1.05 1.07 1.07 1.09

0.600 1.03 1.11 1.15 1.17 1.19 1.20 1.20 1.21 1.22 1.22 1.23 1.24 1.24 1.25

0.667 1.26 1.32 1.35 1.36 1.36 1.37 1.37 1.37 1.37 1.38 1.38 1.38 1.37 1.37

0.750 1.66 1.67 1.66 1.66 1.65 1.64 1.64 1.63 1.62 1.62 1.61 1.60 1.59 1.58

0.800 1.98 1.95 1.92 1.90 1.88 1.87 1.86 1.84 1.83 1.81 1.80 1.78 1.76 1.74

384

m\n 2 3 4 5 6 7 8 10 12 15 20 30 50 ∞α

9 0.500 0.75 0.85 0.91 0.94 0.96 0.98 0.99 1.01 1.02 1.03 1.04 1.05 1.06 1.08

0.600 1.02 1.10 1.13 1.15 1.17 1.18 1.18 1.19 1.20 1.21 1.21 1.22 1.22 1.22

0.667 1.24 1.30 1.32 1.33 1.34 1.34 1.34 1.34 1.35 1.35 1.35 1.34 1.34 1.34

0.750 1.62 1.63 1.63 1.62 1.61 1.60 1.60 1.59 1.58 1.57 1.56 1.55 1.54 1.53

0.800 1.93 1.90 1.87 1.85 1.83 1.81 1.80 1.78 1.76 1.75 1.73 1.71 1.70 1.67

10 0.500 0.74 0.85 0.90 0.93 0.95 0.97 0.98 1.00 1.01 1.02 1.03 1.05 1.06 1.07

0.600 1.01 1.08 1.12 1.14 1.15 1.16 1.17 1.18 1.18 1.19 1.19 1.20 1.20 1.21

0.667 1.23 1.28 1.30 1.31 1.32 1.32 1.32 1.32 1.32 1.32 1.32 1.32 1.32 1.31

0.750 1.60 1.60 1.59 1.59 1.58 1.57 1.56 1.55 1.54 1.53 1.52 1.51 1.50 1.48

0.800 1.90 1.86 1.83 1.80 1.78 1.77 1.75 1.73 1.72 1.70 1.68 1.66 1.65 1.62

11 0.500 0.74 0.84 0.89 0.93 0.95 0.96 0.98 0.99 1.01 1.02 1.03 1.04 1.05 1.06

0.600 1.00 1.07 1.11 1.13 1.14 1.15 1.16 1.17 1.17 1.18 1.18 1.18 1.19 1.19

0.667 1.22 1.27 1.29 1.30 1.30 1.30 1.30 1.30 1.30 1.30 1.30 1.30 1.30 1.29

0.750 1.58 1.58 1.57 1.56 1.55 1.54 1.53 1.52 1.51 1.50 1.49 1.48 1.47 1.45

0.800 1.87 1.83 1.80 1.77 1.75 1.73 1.72 1.69 1.68 1.66 1.64 1.62 1.60 1.57

12 0.500 0.73 0.84 0.89 0.92 0.94 0.96 0.97 0.99 1.00 1.01 1.02 1.03 1.04 1.06

0.600 0.99 1.07 1.10 1.12 1.13 1.14 1.15 1.16 1.16 1.17 1.17 1.17 1.18 1.18

0.667 1.21 1.26 1.27 1.28 1.29 1.29 1.29 1.29 1.29 1.29 1.29 1.28 1.28 1.27

0.750 1.56 1.56 1.55 1.54 1.53 1.52 1.51 1.50 1.49 1.48 1.47 1.45 1.44 1.42

0.800 1.85 1.80 1.77 1.74 1.72 1.70 1.69 1.66 1.65 1.63 1.61 1.59 1.57 1.54

13 0.500 0.73 0.83 0.88 0.92 0.94 0.96 0.97 0.98 1.00 1.01 1.02 1.03 1.04 1.05

0.600 0.98 1.06 1.09 1.11 1.13 1.13 1.14 1.15 1.15 1.16 1.16 1.16 1.17 1.17

0.667 1.20 1.25 1.26 1.27 1.28 1.28 1.28 1.28 1.28 1.28 1.27 1.27 1.27 1.26

0.750 1.55 1.55 1.53 1.52 1.51 1.50 1.49 1.48 1.47 1.46 1.45 1.43 1.42 1.40

0.800 1.83 1.78 1.75 1.72 1.69 1.68 1.66 1.64 1.62 1.60 1.58 1.56 1.54 1.51

14 0.500 0.73 0.83 0.88 0.91 0.94 0.95 0.96 0.98 0.99 1.00 1.01 1.03 1.04 1.05

0.600 0.98 1.05 1.09 1.11 1.12 1.13 1.13 1.14 1.14 1.15 1.15 1.16 1.16 1.16

0.667 1.19 1.24 1.26 1.26 1.27 1.27 1.27 1.27 1.27 1.26 1.26 1.26 1.25 1.24

0.750 1.53 1.53 1.52 1.51 1.50 1.49 1.48 1.46 1.45 1.44 1.43 1.41 1.40 1.38

0.800 1.81 1.76 1.73 1.70 1.67 1.65 1.64 1.62 1.60 1.58 1.56 1.53 1.51 1.48

15 0.500 0.73 0.83 0.88 0.91 0.93 0.95 0.96 0.98 0.99 1.00 1.01 1.02 1.03 1.05

0.600 0.97 1.05 1.08 1.10 1.11 1.12 1.13 1.13 1.14 1.14 1.15 1.15 1.15 1.15

0.667 1.18 1.23 1.25 1.25 1.26 1.26 1.26 1.26 1.26 1.25 1.25 1.25 1.24 1.23

0.750 1.52 1.52 1.51 1.49 1.48 1.47 1.46 1.45 1.44 1.43 1.41 1.40 1.38 1.36

0.800 1.80 1.75 1.71 1.68 1.66 1.64 1.62 1.60 1.58 1.56 1.54 1.51 1.49 1.46

16 0.500 0.72 0.82 0.88 0.91 0.93 0.95 0.96 0.97 0.99 1.00 1.01 1.02 1.03 1.04

0.600 0.97 1.04 1.08 1.10 1.11 1.12 1.12 1.13 1.13 1.14 1.14 1.14 1.14 1.14

0.667 1.18 1.22 1.24 1.25 1.25 1.25 1.25 1.25 1.25 1.25 1.24 1.24 1.23 1.22

0.750 1.51 1.51 1.50 1.48 1.47 1.46 1.45 1.44 1.43 1.41 1.40 1.38 1.37 1.34

0.800 1.78 1.74 1.70 1.67 1.64 1.62 1.61 1.58 1.56 1.54 1.52 1.49 1.47 1.43

17 0.500 0.72 0.82 0.87 0.91 0.93 0.94 0.96 0.97 0.98 0.99 1.01 1.02 1.03 1.04

0.600 0.97 1.04 1.07 1.09 1.10 1.11 1.12 1.12 1.13 1.13 1.13 1.14 1.14 1.14

0.667 1.17 1.22 1.23 1.24 1.24 1.24 1.24 1.24 1.24 1.24 1.23 1.23 1.22 1.21

0.750 1.51 1.50 1.49 1.47 1.46 1.45 1.44 1.43 1.41 1.40 1.39 1.37 1.36 1.33

0.800 1.77 1.72 1.68 1.65 1.63 1.61 1.59 1.57 1.55 1.53 1.50 1.48 1.46 1.42

385

m\n 2 3 4 5 6 7 8 10 12 15 20 30 50 ∞α

18 0.500 0.72 0.82 0.87 0.90 0.93 0.94 0.95 0.97 0.98 0.99 1.00 1.02 1.02 1.04

0.600 0.96 1.04 1.07 1.09 1.10 1.11 1.11 1.12 1.12 1.13 1.13 1.13 1.13 1.13

0.667 1.17 1.21 1.23 1.24 1.24 1.24 1.24 1.24 1.23 1.23 1.23 1.22 1.22 1.21

0.750 1.50 1.49 1.48 1.46 1.45 1.44 1.43 1.42 1.40 1.39 1.38 1.36 1.34 1.32

0.800 1.76 1.71 1.67 1.64 1.62 1.60 1.58 1.55 1.53 1.51 1.49 1.46 1.44 1.40

19 0.500 0.72 0.82 0.87 0.90 0.92 0.94 0.95 0.97 0.98 0.99 1.00 1.01 1.02 1.04

0.600 0.96 1.03 1.07 1.09 1.10 1.10 1.11 1.12 1.12 1.12 1.13 1.13 1.13 1.13

0.667 1.16 1.21 1.22 1.23 1.23 1.23 1.23 1.23 1.23 1.23 1.22 1.22 1.21 1.20

0.750 1.49 1.49 1.47 1.46 1.44 1.43 1.42 1.41 1.40 1.38 1.37 1.35 1.33 1.30

0.800 1.75 1.70 1.66 1.63 1.61 1.58 1.57 1.54 1.52 1.50 1.48 1.45 1.43 1.39

20 0.500 0.72 0.82 0.87 0.90 0.92 0.94 0.95 0.97 0.98 0.99 1.00 1.01 1.02 1.03

0.600 0.96 1.03 1.06 1.08 1.09 1.10 1.11 1.11 1.12 1.12 1.12 1.12 1.12 1.12

0.667 1.16 1.21 1.22 1.23 1.23 1.23 1.23 1.23 1.22 1.22 1.22 1.21 1.20 1.19

0.750 1.49 1.48 1.47 1.45 1.44 1.43 1.42 1.40 1.39 1.37 1.36 1.34 1.32 1.29

0.800 1.75 1.70 1.65 1.62 1.60 1.58 1.56 1.53 1.51 1.49 1.47 1.44 1.41 1.37

21 0.500 0.72 0.81 0.87 0.90 0.92 0.94 0.95 0.96 0.98 0.99 1.00 1.01 1.02 1.03

0.600 0.96 1.03 1.06 1.08 1.09 1.10 1.10 1.11 1.11 1.12 1.12 1.12 1.12 1.12

0.667 1.16 1.20 1.22 1.22 1.22 1.22 1.22 1.22 1.22 1.22 1.21 1.20 1.20 1.19

0.750 1.48 1.48 1.46 1.44 1.43 1.42 1.41 1.39 1.38 1.37 1.35 1.33 1.32 1.28

0.800 1.74 1.69 1.65 1.61 1.59 1.57 1.55 1.52 1.50 1.48 1.46 1.43 1.40 1.36

22 0.500 0.72 0.81 0.87 0.90 0.92 0.93 0.95 0.96 0.97 0.99 1.00 1.01 1.02 1.03

0.600 0.96 1.03 1.06 1.08 1.09 1.10 1.10 1.11 1.11 1.11 1.12 1.12 1.12 1.12

0.667 1.16 1.20 1.21 1.22 1.22 1.22 1.22 1.22 1.21 1.21 1.21 1.20 1.19 1.18

0.750 1.48 1.47 1.45 1.44 1.42 1.41 1.40 1.39 1.37 1.36 1.34 1.32 1.31 1.28

0.800 1.73 1.68 1.64 1.61 1.58 1.56 1.54 1.51 1.49 1.47 1.45 1.42 1.39 1.35

23 0.500 0.71 0.81 0.86 0.90 0.92 0.93 0.95 0.96 0.97 0.98 1.00 1.01 1.02 1.03

0.600 0.95 1.02 1.06 1.07 1.09 1.09 1.10 1.10 1.11 1.11 1.11 1.11 1.11 1.11

0.667 1.15 1.20 1.21 1.22 1.22 1.22 1.22 1.21 1.21 1.21 1.20 1.19 1.19 1.17

0.750 1.47 1.47 1.45 1.43 1.42 1.41 1.40 1.38 1.37 1.35 1.34 1.32 1.30 1.27

0.800 1.73 1.68 1.63 1.60 1.57 1.55 1.53 1.51 1.49 1.46 1.44 1.41 1.38 1.34

24 0.500 0.71 0.81 0.86 0.90 0.92 0.93 0.94 0.96 0.97 0.98 0.99 1.01 1.01 1.03

0.600 0.95 1.02 1.06 1.07 1.08 1.09 1.10 1.10 1.10 1.11 1.11 1.11 1.11 1.11

0.667 1.15 1.19 1.21 1.21 1.21 1.21 1.21 1.21 1.21 1.20 1.20 1.19 1.18 1.17

0.750 1.47 1.46 1.44 1.43 1.41 1.40 1.39 1.38 1.36 1.35 1.33 1.31 1.29 1.26

0.800 1.72 1.67 1.63 1.59 1.57 1.55 1.53 1.50 1.48 1.46 1.43 1.40 1.38 1.33

25 0.500 0.71 0.81 0.86 0.89 0.92 0.93 0.94 0.96 0.97 0.98 0.99 1.00 1.01 1.03

0.600 0.95 1.02 1.05 1.07 1.08 1.09 1.09 1.10 1.10 1.11 1.11 1.11 1.11 1.11

0.667 1.15 1.19 1.21 1.21 1.21 1.21 1.21 1.21 1.20 1.20 1.19 1.19 1.18 1.16

0.750 1.47 1.46 1.44 1.42 1.41 1.40 1.39 1.37 1.36 1.34 1.33 1.31 1.29 1.25

0.800 1.72 1.66 1.62 1.59 1.56 1.54 1.52 1.49 1.47 1.45 1.42 1.39 1.37 1.32

26 0.500 0.71 0.81 0.86 0.89 0.91 0.93 0.94 0.96 0.97 0.98 0.99 1.00 1.01 1.03

0.600 0.95 1.02 1.05 1.07 1.08 1.09 1.09 1.10 1.10 1.10 1.10 1.11 1.11 1.10

0.667 1.15 1.19 1.20 1.21 1.21 1.21 1.21 1.20 1.20 1.20 1.19 1.18 1.18 1.16

0.750 1.46 1.45 1.44 1.42 1.41 1.39 1.38 1.37 1.35 1.34 1.32 1.30 1.28 1.25

0.800 1.71 1.66 1.62 1.58 1.56 1.53 1.52 1.49 1.47 1.44 1.42 1.39 1.36 1.31

386

m\n 2 3 4 5 6 7 8 10 12 15 20 30 50 ∞α

27 0.500 0.71 0.81 0.86 0.89 0.91 0.93 0.94 0.96 0.97 0.ga 0.99 1.00 1.01 1.03

0.600 0.95 1.02 1.05 1.07 1.08 1.08 1.09 1.10 1.10 1.10 1.10 1.10 1.10 1.10

0.667 1.14 1.19 1.20 1.21 1.21 1.21 1.20 1.20 1.20 1.19 1.19 1.18 1.17 1.16

0.750 1.46 1.45 1.43 1.42 1.40 1.39 1.38 1.36 1.35 1.33 1.32 1.30 1.28 1.24

0.800 1.71 1.66 1.61 1.58 1.55 1.53 1.51 1.48 1.46 1.44 1.41 1.3a 1.35 1.30

28 0.500 0.71 0.81 0.86 0.89 0.91 0.93 0.94 0.96 0.97 0.98 0.99 1.00 1.01 1.02

0.600 0.95 1.02 1.05 1.07 1.08 1.08 1.09 1.09 1.10 1.10 1.10 1.10 1.10 1.10

0.667 1.14 1.18 1.20 1.20 1.20 1.20 1.20 1.20 1.20 1.19 1.19 1.18 1.17 1.15

0.750 1.46 1.45 1.43 1.41 1.40 1.39 1.38 1.36 1.34 1.33 1.31 1.29 1.27 1.24

0.800 1.71 1.65 1.61 1.57 1.55 1.52 1.51 1.48 1.46 1.43 1.41 1.37 1.35 1.30

29 0.500 0.71 0.81 0.86 0.89 0.91 0.93 0.94 0.96 0.97 0.98 0.99 1.00 1.01 1.02

0.600 0.95 1.02 1.05 1.06 1.08 1.08 1.09 1.09 1.10 1.10 1.10 1.10 1.10 1.10

0.667 1.14 1.18 1.20 1.20 1.20 1.20 1.20 1.20 1.19 1.19 1.18 1.17 1.17 1.15

0.750 1.45 1.45 1.43 1.41 1.40 1.38 1.37 1.35 1.34 1.32 1.31 1.29 1.27 1.23

0.800 1.70 1.65 1.60 1.57 1.54 1.52 1.50 1.47 1.45 1.43 1.40 1.37 1.34 1.29

30 0.500 0.71 0.al 0.86 0.89 0.91 0.93 0.94 0.96 0.97 0.98 0.99 1.00 1.01 1.02

0.600 0.94 1.01 1.05 1.06 1.07 1.08 1.08 1.09 1.09 1.10 1.10 1.10 1.10 1.09

0.667 1.14 1.18 1.19 1.20 1.20 1.20 1.20 1.19 1.19 1.19 1.18 1.17 1.16 1.15

0.750 1.45 1.44 1.42 1.41 1.39 1.38 1.37 1.35 1.34 1.32 1.30 1.28 1.26 1.23

0.800 1.70 1.64 1.60 1.57 1.54 1.52 1.50 1.47 1.45 1.42 1.39 1.36 1.34 1.28

60 0.500 0.70 0.80 0.85 0.88 0.90 0.92 0.93 0.94 0.96 0.97 0.98 0.99 1.00 1.01

0.600 0.93 1.00 1.03 1.04 1.05 1.06 1.06 1.07 1.07 1.07 1.07 1.07 1.07 1.06

0.667 1.12 1.16 1.17 1.17 1.17 1.17 1.17 1.16 1.16 1.15 1.14 1.13 1.12 1.10

0.750 1.42 1.41 1.38 1.37 1.35 1.33 1.32 1.30 1.29 1.27 1.25 1.22 1.20 1.15

0.800 1.65 1.59 1.55 1.51 1.48 1.46 1.44 1.41 1.38 1.35 1.32 1.29 1.25 1.18

80 0.500 0.70 0.80 0.85 0.88 0.90 0.91 0.93 0.94 0.95 0.96 0.97 0.99 1.00 1.01

0.600 0.93 0.99 1.02 1.04 1.05 1.06 1.06 1.06 1.07 1.07 1.07 1.06 1.06 1.05

0.667 1.11 1.15 1.16 1.17 1.17 1.16 1.16 1.16 1.15 1.14 1.13 1.12 1.11 1.08

0.750 1.41 1.40 1.38 1.36 1.34 1.32 1.31 1.29 1.27 1.26 1.23 1.21 1.18 1.12

0.800 1.64 1.58 1.53 1.50 1.47 1.44 1.42 1.39 1.37 1.34 1.31 1.27 1.23 1.16

100 0.500 0.70 0.79 0.84 0.88 0.90 0.91 0.92 0.94 0.95 0.96 0.97 0.98 0.99 1.01

0.600 0.92 0.99 1.02 1.04 1.05 1.05 1.06 1.06 1.06 1.06 1.06 1.06 1.06 1.04

0.667 1.11 1.15 1.16 1.16 1.16 1.16 1.16 1.15 1.15 1.14 1.13 1.12 1.10 1.07

0.750 1.41 1.39 1.37 1.35 1.33 1.32 1.30 1.28 1.27 1.25 1.23 1.20 1.17 1.11

0.800 1.64 1.58 1.53 1.49 1.46 1.43 1.41 1.38 1.36 1.33 1.30 1.26 1.22 1.14

120 0.500 0.70 0.79 0.84 0.88 0.90 0.91 0.92 0.94 0.95 0.96 0.97 0.98 0.99 1.01

0.600 0.92 0.99 1.02 1.04 1.04 1.05 1.05 1.06 1.06 1.06 1.06 1.06 1.05 1.04

0.667 1.11 1.15 1.16 1.16 1.16 1.16 1.15 1.15 1.14 1.13 1.13 1.11 1.10 1.06

0.750 1.40 1.39 1.37 1.35 1.33 1.31 1.30 1.28 1.26 1.24 1.22 1.19 1.16 1.10

0.800 1.63 1.57 1.52 1.48 1.45 1.43 1.41 1.37 1.35 1.32 1.29 1.25 1.21 1.12

∞ 0.500 0.69 0.79 0.84 0.87 0.89 0.91 0.92 0.93 0.95 0.96 0.97 0.98 0.99 1.00

0.600 0.92 0.98 1.01 1.03 1.04 1.04 1.04 1.05 1.05 1.05 1.05 1.04 1.04 1.00

0.667 1.10 1.13 1.14 1.15 1.14 1.14 1.14 1.13 1.13 1.12 1.11 1.09 1.07 1.00

0.750 1.39 1.37 1.35 1.33 1.31 1.29 1.28 1.25 1.24 1.22 1.19 1.16 1.13 1.00

0.800 1.61 1.55 1.50 1.46 1.43 1.40 1.38 1.34 1.32 1.29 1.25 1.21 1.16 1.00

387

m\n 2 3 4 5 6 7 8 10 12 15 20 30 50 ∞α

1 0.900 49.5 53.6 55.8 57.2 58.2 59.1 59.7 60.5 61.0 61.5 62.0 62.6 63.0 63.3

0.950 199. 216. 225. 230. 234. 237. 239. 242. 244. 246. 248. 250. 252. 254.

0.975 800. 864. 900. 922. 937. 948. 957. 969. 977. 985. 993.

0.990

0.999

2 0.900 9.00 9.16 9.24 9.29 9.33 9.35 9.37 9.39 9.41 9.43 9.44 9.46 9.47 9.49

0.950 19.0 19.2 19.2 19.3 19.3 19.4 19.4 19.4 19.4 19.4 19.4 19.5 19.5 19.5

0.975 39.0 39.2 39.2 39.3 39.3 39.4 39.4 39.4 39.4 39.4 39.4 39.5 39.5 39.5

0.990 99.0 99.2 99.2 99.3 99.3 99.4 100. 100. 100. 100. 100. 100. 100. 99.5

0.999 999. 999.

3 0.900 5.46 5.39 5.34 5.31 5.28 5.27 5.25 5.23 5.22 5.20 5.18 5.17 5.15 5.13

0.950 9.55 9.28 9.12 9.01 8.94 8.89 8.85 8.79 8.74 8.70 8.66 8.62 8.58 8.53

0.975 16.0 15.4 15.1 14.9 14.7 14.6 14.5 14.4 14.3 14.3 14.2 14.1 14.0 13.9

0.990 30.8 29.5 28.7 28.2 27.9 27.7 27.5 27.2 27.1 26.9 26.7 26.5 26.4 26.1

0.999 149. 141. 137. 135. 133. 132. 131. 129. 128. 127. 126. 125. 125. 123.

4 0.900 4.32 4.19 4.11 4.05 4.01 3.98 3.95 3.92 3.90 3.87 3.84 3.82 3.79 3.76

0.950 6.94 6.59 6.39 6.26 6.16 6.09 6.04 5.96 5.91 5.86 5.80 5.75 5.70 5.63

0.975 10.6 9.98 9.60 9.36 9.20 9.07 8.98 8.84 8.75 8.66 8.56 8.46 8.38 8.26

0.990 18.0 16.7 16.0 15.5 15.2 15.0 14.8 14.5 14.4 14.2 14.0 13.8 13.7 13.5

0.999 61.2 56.2 53.4 51.7 50.5 49.7 49.0 48.0 47.4 46.8 46.1 45.4 44.9 44.1

5 0.900 3.78 3.62 3.52 3.45 3.40 3.37 3.34 3.30 3.27 3.24 3.21 3.17 3.15 3.10

0.950 5.79 5.41 5.19 5.05 4.95 4.88 4.82 4.74 4.68 4.62 4.56 4.50 4.44 4.36

0.975 8.43 7.76 7.39 7.15 6.98 6.85 6.76 6.62 6.52 6.43 6.33 6.23 6.14 6.02

0.990 13.3 12.1 11.4 11.0 10.7 10.5 10.3 10.1 9.89 9.72 9.55 9.38 9.24 9.02

0.999 37.1 33.2 31.1 29.8 28.8 28.2 27.6 26.9 26.4 25.9 25.4 24.9 24.4 23.8

6 0.900 3.46 3.29 3.18 3.11 3.05 3.01 2.98 2.94 2.90 2.87 2.84 2.80 2.77 2.72

0.950 5.14 4.76 4.53 4.39 4.28 4.21 4.15 4.06 4.00 3.94 3.87 3.81 3.75 3.67

0.975 7.26 6.60 6.23 5.99 5.82 5.70 5.60 5.46 5.37 5.27 5.17 5.07 4.98 4.85

0.990 10.9 9.78 9.15 8.75 8.47 8.26 8.10 7.87 7.72 7.56 7.40 7.23 7.09 6.88

0.999 27.0 23.7 21.9 20.8 20.0 19.5 19.0 18.4 18.0 17.6 17.1 16.7 16.3 15.7

7 0.900 3.26 3.07 2.96 2.88 2.83 2.78 2.75 2.70 2.67 2.63 2.59 2.56 2.52 2.47

0.950 4.74 4.35 4.12 3.97 3.87 3.79 3.73 3.64 3.57 3.51 3.44 3.38 3.32 3.23

0.975 6.54 5.89 5.52 5.29 5.12 4.99 4.90 4.76 4.67 4.57 4.47 4.36 4.28 4.14

0.990 9.55 8.45 7.85 7.46 7.19 6.99 6.84 6.62 6.47 6.31 6.16 5.99 5.86 5.65

0.999 21.7 18.8 17.2 16.2 15.5 15.0 14.6 14.1 13.7 13.3 12.9 12.5 12.2 11.7

8 0.900 3.11 2.92 2.81 2.73 2.67 2.62 2.59 2.54 2.50 2.46 2.42 2.38 2.35 2.29

0.950 4.46 4.07 3.84 3.69 3.58 3.50 3.44 3.35 3.28 3.22 3.15 3.08 3.02 2.93

0.975 6.06 5.42 5.05 4.82 4.65 4.53 4.43 4.29 4.20 4.10 4.00 3.89 3.81 3.67

0.990 8.65 7.59 7.01 6.63 6.37 6.18 6.03 5.81 5.67 5.52 5.36 5.20 5.07 4.86

0.999 18.5 15.8 14.4 13.5 12.9 12.4 12.0 11.5 11.2 10.8 10.5 10.1 9.80 9.33

388

m\n 2 3 4 5 6 7 8 10 12 15 20 30 50 ∞α

9 0.900 3.01 2.81 2.69 2.61 2.55 2.51 2.47 2.42 2.38 2.34 2.30 2.25 2.22 2.16

0.950 4.26 3.86 3.63 3.48 3.37 3.29 3.23 3.14 3.07 3.01 2.94 2.86 2.80 2.71

0.975 5.71 5.08 4.72 4.48 4.32 4.20 4.10 3.96 3.87 3.77 3.67 3.56 3.47 3.33

0.990 8.02 6.99 6.42 6.06 5.80 5.61 5.47 5.26 5.11 4.96 4.81 4.65 4.52 4.31

0.999 16.4 13.9 12.6 11.7 11.1 10.7 10.4 9.89 9.57 9.24 8.90 8.55 8.26 7.81

10 0.900 2.92 2.73 2.61 2.52 2.46 2.41 2.38 2.32 2.28 2.24 2.20 2.16 2.12 2.06

0.950 4.10 3.71 3.48 3.33 3.22 3.14 3.07 2.98 2.91 2.84 2.77 2.70 2.64 2.54

0.975 5.46 4.83 4.47 4.24 4.07 3.95 3.85 3.72 3.62 3.52 3.42 3.31 3.22 3.08

0.990 7.56 6.55 5.99 5.64 5.39 5.20 5.06 4.85 4.71 4.56 4.41 4.25 4.11 3.91

0.999 14.9 12.6 11.3 10.5 9.93 9.52 9.20 8.75 8.45 8.13 7.80 7.47 7.19 6.76

11 0.900 2.86 2.66 2.54 2.45 2.39 2.34 2.30 2.25 2.21 2.17 2.12 2.08 2.04 1.97

0.950 3.98 3.59 3.36 3.20 3.09 3.01 2.95 2.85 2.79 2.72 2.65 2.57 2.51 2.40

0.975 5.26 4.63 4.28 4.04 3.88 3.76 3.66 3.53 3.43 3.33 3.23 3.12 3.03 2.88

0.990 7.21 6.22 5.67 5.32 5.07 4.89 4.74 4.54 4.40 4.25 4.10 3.94 3.81 3.60

0.999 13.8 11.6 10.3 9.58 9.05 8.66 8.35 7.92 7.63 7.32 7.01 6.68 6.42 6.00

12 0.900 2.81 2.61 2.48 2.39 2.33 2.28 2.24 2.19 2.15 2.10 2.06 2.01 1.97 1.90

0.950 3.89 3.49 3.26 3.11 3.00 2.91 2.85 2.75 2.69 2.62 2.54 2.47 2.40 2.30

0.975 5.10 4.47 4.12 3.89 3.73 3.61 3.51 3.37 3.28 3.18 3.07 2.96 2.87 2.72

0.990 6.93 5.95 5.41 5.06 4.82 4.64 4.50 4.30 4.16 4.01 3.86 3.70 3.57 3.36

0.999 13.0 10.8 9.63 8.89 8.38 8.00 7.71 7.29 7.00 6.71 6.40 6.09 5.83 5.42

13 0.900 2.76 2.56 2.43 2.35 2.28 2.23 2.20 2.14 2.10 2.05 2.01 1.96 1.92 1.85

0.950 3.81 3.41 3.18 3.03 2.92 2.83 2.77 2.67 2.60 2.53 2.46 2.38 2.31 2.21

0.975 4.97 4.35 4.00 3.77 3.60 3.48 3.39 3.25 3.15 3.05 2.95 2.84 2.74 2.60

0.990 6.70 5.74 5.21 4.86 4.62 4.44 4.30 4.10 3.96 3.82 3.66 3.51 3.37 3.17

0.999 12.3 10.2 9.07 8.35 7.86 7.49 7.21 6.80 6.52 6.23 5.93 5.63 5.37 4.97

14 0.900 2.73 2.52 2.39 2.31 2.24 2.19 2.15 2.10 2.05 2.01 1.96 1.91 1.87 1.80

0.950 3.74 3.34 3.11 2.96 2.85 2.76 2.70 2.60 2.53 2.46 2.39 2.31 2.24 2.13

0.975 4.86 4.24 3.89 3.66 3.50 3.38 3.29 3.15 3.05 2.95 2.84 2.73 2.64 2.49

0.990 6.51 5.56 5.04 4.69 4.46 4.28 4.14 3.94 3.80 3.66 3.51 3.35 3.22 3.00

0.999 11.8 9.73 8.62 7.92 7.44 7.08 6.80 6.40 6.13 5.85 5.56 5.25 5.00 4.60

15 0.900 2.70 2.49 2.36 2.27 2.21 2.16 2.12 2.06 2.02 1.97 1.92 1.87 1.83 1.76

0.950 3.68 3.29 3.06 2.90 2.79 2.71 2.64 2.54 2.48 2.40 2.33 2.25 2.18 2.07

0.975 4.77 4.15 3.80 3.58 3.41 3.29 3.20 3.06 2.96 2.86 2.76 2.64 2.55 2.40

0.990 6.36 5.42 4.89 4.56 4.32 4.14 4.00 3.80 3.67 3.52 3.37 3.21 3.08 2.87

0.999 11.3 9.34 8.25 7.57 7.09 6.74 6.47 6.08 5.81 5.53 5.25 4.95 4.70 4.31

16 0.900 2.67 2.46 2.33 2.24 2.18 2.13 2.09 2.03 1.99 1.94 1.89 1.84 1.79 1.72

0.950 3.63 3.24 3.01 2.85 2.74 2.66 2.59 2.49 2.42 2.35 2.28 2.19 2.12 2.01

0.975 4.69 4.08 3.73 3.50 3.34 3.22 3.12 2.99 2.89 2.79 2.68 2.57 2.47 2.32

0.990 6.23 5.29 4.77 4.44 4.20 4.03 3.89 3.69 3.55 3.41 3.26 3.10 2.97 2.75

0.999 11.0 9.01 7.94 7.27 6.80 6.46 6.19 5.81 5.55 5.27 4.99 4.70 4.45 4.06

17 0.900 2.64 2.44 2.31 2.22 2.15 2.10 2.06 2.00 1.96 1.91 1.86 1.81 1.76 1.69

0.950 3.59 3.20 2.96 2.81 2.70 2.61 2.55 2.45 2.38 2.31 2.23 2.15 2.08 1.96

0.975 4.62 4.01 3.66 3.44 3.28 3.16 3.06 2.92 2.82 2.72 2.62 2.50 2.41 2.25

0.990 6.11 5.18 4.67 4.34 4.10 3.93 3.79 3.59 3.46 3.31 3.16 3.00 2.87 2.65

0.999 10.7 8.73 7.68 7.02 6.56 6.22 5.96 5.58 5.32 5.05 4.77 4.48 4.24 3.85

389

m\n 2 3 4 5 6 7 8 10 12 15 20 30 50 ∞α

18 0.900 2.62 2.42 2.29 2.20 2.13 2.08 2.04 1.98 1.93 1.89 1.84 1.78 1.74 1.66

0.950 3.55 3.16 2.93 2.77 2.66 2.58 2.51 2.41 2.34 2.27 2.19 2.11 2.04 1.92

0.975 4.56 3.95 3.61 3.38 3.22 3.10 3.01 2.87 2.77 2.67 2.56 2.44 2.35 2.19

0.990 6.01 5.09 4.58 4.25 4.01 3.84 3.71 3.51 3.37 3.23 3.08 2.92 2.78 2.57

0.999 10.4 8.49 7.46 6.81 6.35 6.02 5.76 5.39 5.13 4.87 4.59 4.30 4.06 3.67

19 0.900 2.61 2.40 2.27 2.18 2.11 2.06 2.02 1.96 1.91 1.86 1.81 1.76 1.71 1.63

0.950 3.52 3.13 2.90 2.74 2.63 2.54 2.48 2.38 2.31 2.23 2.16 2.07 2.00 1.88

0.975 4.51 3.90 3.56 3.33 3.17 3.05 2.96 2.82 2.72 2.62 2.51 2.39 2.30 2.13

0.990 5.93 5.01 4.50 4.17 3.94 3.77 3.63 3.43 3.30 3.15 3.00 2.84 2.71 2.49

0.999 10.2 8.28 7.27 6.62 6.18 5.85 5.59 5.22 4.97 4.70 4.43 4.14 3.90 3.51

20 0.900 2.59 2.38 2.25 2.16 2.09 2.04 2.00 1.94 1.89 1.84 1.79 1.74 1.69 1.61

0.950 3.49 3.10 2.87 2.71 2.60 2.51 2.45 2.35 2.28 2.20 2.12 2.04 1.97 1.84

0.975 4.46 3.86 3.51 3.29 3.13 3.01 2.91 2.77 2.68 2.57 2.46 2.35 2.25 2.09

0.990 5.85 4.94 4.43 4.10 3.87 3.70 3.56 3.37 3.23 3.09 2.94 2.78 2.64 2.42

0.999 9.95 8.10 7.10 6.46 6.02 5.69 5.44 5.08 4.82 4.56 4.29 4.00 3.76 3.38

21 0.900 2.57 2.36 2.23 2.14 2.08 2.02 1.98 1.92 1.87 1.83 1.78 1.72 1.67 1.59

0.950 3.47 3.07 2.84 2.68 2.57 2.49 2.42 2.32 2.25 2.18 2.10 2.01 1.94 1.81

0.975 4.42 3.82 3.48 3.25 3.09 2.97 2.87 2.73 2.64 2.53 2.42 2.31 2.21 2.04

0.990 5.78 4.87 4.37 4.04 3.81 3.64 3.51 3.31 3.17 3.03 2.88 2.72 2.58 2.36

0.999 9.77 7.94 6.95 6.32 5.88 5.56 5.31 4.95 4.70 4.44 4.17 3.88 3.64 3.26

22 0.900 2.56 2.35 2.22 2.13 2.06 2.01 1.97 1.90 1.86 1.81 1.76 1.70 1.65 1.57

0.950 3.44 3.05 2.82 2.66 2.55 2.46 2.40 2.30 2.23 2.15 2.07 1.98 1.91 1.78

0.975 4.38 3.78 3.44 3.22 3.05 2.93 2.84 2.70 2.60 2.50 2.39 2.27 2.17 2.00

0.990 5.72 4.82 4.31 3.99 3.76 3.59 3.45 3.26 3.12 2.98 2.83 2.67 2.53 2.31

0.999 9.61 7.80 6.81 6.19 5.76 5.44 5.19 4.83 4.58 4.33 4.06 3.78 3.54 3.15

23 0.900 2.55 2.34 2.21 2.11 2.05 1.99 1.95 1.89 1.84 1.80 1.74 1.69 1.64 1.55

0.950 3.42 3.03 2.80 2.64 2.53 2.44 2.37 2.27 2.20 2.13 2.05 1.96 1.88 1.76

0.975 4.35 3.75 3.41 3.18 3.02 2.90 2.81 2.67 2.57 2.47 2.36 2.24 2.14 1.97

0.990 5.66 4.76 4.26 3.94 3.71 3.54 3.41 3.21 3.07 2.93 2.78 2.62 2.48 2.26

0.999 9.47 7.67 6.70 6.08 5.65 5.33 5.09 4.73 4.48 4.23 3.96 3.68 3.44 3.05

24 0.900 2.54 2.33 2.19 2.10 2.04 1.98 1.94 1.88 1.83 1.78 1.73 1.67 1.62 1.53

0.950 3.40 3.01 2.78 2.62 2.51 2.42 2.36 2.25 2.18 2.11 2.03 1.94 1.86 1.73

0.975 4.32 3.72 3.38 3.15 2.99 2.87 2.78 2.64 2.54 2.44 2.33 2.21 2.11 1.94

0.990 5.61 4.72 4.22 3.90 3.67 3.50 3.36 3.17 3.03 2.89 2.74 2.58 2.44 2.21

0.999 9.34 7.55 6.59 5.98 5.55 5.23 4.99 4.64 4.39 4.14 3.87 3.59 3.36 2.97

25 0.900 2.53 2.32 2.18 2.09 2.02 1.97 1.93 1.87 1.82 1.77 1.72 1.66 1.61 1.52

0.950 3.39 2.99 2.76 2.60 2.49 2.40 2.34 2.24 2.16 2.09 2.01 1.92 1.84 1.71

0.975 4.29 3.69 3.35 3.13 2.97 2.85 2.75 2.61 2.51 2.41 2.30 2.18 2.08 1.91

0.990 5.57 4.68 4.18 3.85 3.63 3.46 3.32 3.13 2.99 2.85 2.70 2.54 2.40 2.17

0.999 9.22 7.45 6.49 5.89 5.46 5.15 4.91 4.56 4.31 4.06 3.79 3.52 3.28 2.89

26 0.900 2.52 2.31 2.17 2.08 2.01 1.96 1.92 1.86 1.81 1.76 1.71 1.65 1.59 1.50

0.950 3.37 2.98 2.74 2.59 2.47 2.39 2.32 2.22 2.15 2.07 1.99 1.90 1.82 1.69

0.975 4.27 3.67 3.33 3.10 2.94 2.82 2.73 2.59 2.49 2.39 2.28 2.16 2.05 1.88

0.990 5.53 4.64 4.14 3.82 3.59 3.42 3.29 3.09 2.96 2.81 2.66 2.50 2.36 2.13

0.999 9.12 7.36 6.41 5.80 5.38 5.07 4.83 4.48 4.24 3.99 3.72 3.44 3.21 2.82

390

m\n 2 3 4 5 6 7 8 10 12 15 20 30 50 ∞α

27 0.900 2.51 2.30 2.17 2.07 2.00 1.95 1.91 1.85 1.80 1.75 1.70 1.64 1.58 1.49

0.950 3.35 2.96 2.73 2.57 2.46 2.37 2.31 2.20 2.13 2.06 1.97 1.88 1.81 1.67

0.975 4.24 3.65 3.31 3.08 2.92 2.80 2.71 2.57 2.47 2.36 2.25 2.13 2.03 1.85

0.990 5.49 4.60 4.11 3.78 3.56 3.39 3.26 3.06 2.93 2.78 2.63 2.47 2.33 2.10

0.999 9.02 7.27 6.33 5.73 5.31 5.00 4.76 4.41 4.17 3.92 3.66 3.38 3.14 2.75

28 0.900 2.50 2.29 2.16 2.06 2.00 1.94 1.90 1.84 1.79 1.74 1.69 1.63 1.57 1.48

0.950 3.34 2.95 2.71 2.56 2.45 2.36 2.29 2.19 2.12 2.04 1.96 1.87 1.79 1.65

0.975 4.22 3.63 3.29 3.06 2.90 2.78 2.69 2.55 2.45 2.34 2.23 2.11 2.01 1.83

0.990 5.45 4.57 4.07 3.75 3.53 3.36 3.23 3.03 2.90 2.75 2.60 2.44 2.30 2.06

0.999 8.93 7.19 6.25 5.66 5.24 4.93 4.69 4.35 4.11 3.86 3.60 3.32 3.09 2.69

29 0.900 2.50 2.28 2.15 2.06 1.99 1.93 1.89 1.83 1.78 1.73 1.68 1.62 1.56 1.47

0.950 3.33 2.93 2.70 2.55 2.43 2.35 2.28 2.18 2.10 2.03 1.94 1.85 1.77 1.64

0.975 4.20 3.61 3.27 3.04 2.88 2.76 2.67 2.53 2.43 2.32 2.21 2.09 1.99 1.81

0.990 5.42 4.54 4.04 3.73 3.50 3.33 3.20 3.00 2.87 2.73 2.57 2.41 2.27 2.03

0.999 8.85 7.12 6.19 5.59 5.18 4.87 4.64 4.29 4.05 3.80 3.54 3.27 3.03 2.64

30 0.900 2.49 2.28 2.14 2.05 1.98 1.93 1.88 1.82 1.77 1.72 1.67 1.61 1.55 1.46

0.950 3.32 2.92 2.69 2.53 2.42 2.33 2.27 2.16 2.09 2.01 1.93 1.84 1.76 1.62

0.975 4.18 3.59 3.25 3.03 2.87 2.75 2.65 2.51 2.41 2.31 2.20 2.07 1.97 1.79

0.990 5.39 4.51 4.02 3.70 3.47 3.30 3.17 2.98 2.84 2.70 2.55 2.39 2.25 2.01

0.999 8.77 7.05 6.12 5.53 5.12 4.82 4.58 4.24 4.00 3.75 3.49 3.22 2.98 2.59

60 0.900 2.39 2.18 2.04 1.95 1.87 1.82 1.77 1.71 1.66 1.60 1.54 1.48 1.41 1.29

0.950 3.15 2.76 2.53 2.37 2.25 2.17 2.10 1.99 1.92 1.84 1.75 1.65 1.56 1.39

0.975 3.93 3.34 3.01 2.79 2.63 2.51 2.41 2.27 2.17 2.06 1.94 1.82 1.70 1.48

0.990 4.98 4.13 3.65 3.34 3.12 2.95 2.82 2.63 2.50 2.35 2.20 2.03 1.88 1.60

0.999 7.77 6.17 5.31 4.76 4.37 4.09 3.86 3.54 3.32 3.08 2.83 2.55 2.32 1.89

80 0.900 2.37 2.15 2.02 1.92 1.85 1.79 1.75 1.68 1.63 1.57 1.51 1.44 1.38 1.24

0.950 3.11 2.72 2.49 2.33 2.21 2.13 2.06 1.95 1.88 1.79 1.70 1.60 1.51 1.32

0.975 3.86 3.28 2.95 2.73 2.57 2.45 2.35 2.21 2.11 2.00 1.88 1.75 1.63 1.40

0.990 4.88 4.04 3.56 3.26 3.04 2.87 2.74 2.55 2.42 2.27 2.12 1.94 1.79 1.49

0.999 7.54 5.97 5.12 4.58 4.20 3.92 3.70 3.39 3.16 2.93 2.68 2.41 2.16 1.72

100 0.900 2.36 2.14 2.00 1.91 1.83 1.78 1.73 1.66 1.61 1.56 1.49 1.42 1.35 1.21

0.950 3.09 2.70 2.46 2.31 2.19 2.10 2.03 1.93 1.85 1.77 1.68 1.57 1.48 1.28

0.975 3.83 3.25 2.92 2.70 2.54 2.42 2.32 2.18 2.08 1.97 1.85 1.71 1.59 1.35

0.990 4.82 3.98 3.51 3.21 2.99 2.82 2.69 2.50 2.37 2.22 2.07 1.89 1.74 1.43

0.999 7.41 5.86 5.02 4.48 4.11 3.83 3.61 3.30 3.07 2.84 2.59 2.32 2.08 1.62

120 0.900 2.35 2.13 1.99 1.90 1.82 1.77 1.72 1.65 1.60 1.54 1.48 1.41 1.34 1.19

0.950 3.07 2.68 2.45 2.29 2.18 2.09 2.02 1.91 1.83 1.75 1.66 1.55 1.46 1.25

0.975 3.80 3.23 2.89 2.67 2.52 2.39 2.30 2.16 2.05 1.94 1.82 1.69 1.56 1.31

0.990 4.79 3.95 3.48 3.17 2.96 2.79 2.66 2.47 2.34 2.19 2.03 1.86 1.70 1.38

0.999 7.32 5.78 4.95 4.42 4.04 3.77 3.55 3.24 3.02 2.78 2.53 2.26 2.02 1.54

∞ 0.900 2.30 2.08 1.94 1.85 1.77 1.72 1.67 1.60 1.55 1.49 1.42 1.34 1.26 1.00

0.950 3.00 2.60 2.37 2.21 2.10 2.01 1.94 1.83 1.75 1.67 1.57 1.46 1.35 1.00

0.975 3.69 3.12 2.79 2.57 2.41 2.29 2.19 2.05 1.94 1.83 1.71 1.57 1.43 1.00

0.990 4.61 3.78 3.32 3.02 2.80 2.64 2.51 2.32 2.18 2.04 1.88 1.70 1.52 1.00

0.999 6.91 5.42 4.62 4.10 3.74 3.47 3.27 2.96 2.74 2.51 2.27 1.99 1.73 1.00

391

Приложение Д Таблицы квантилей статистики Вилкок-сона

m n 0.005 0.010 0.025 0.050 0.100 0.200 m(n + m + 1)4 4 . . 10 11 13 14 36

4 5 . 10 11 12 14 15 40

4 6 10 11 12 13 15 17 44

4 7 10 11 13 14 16 18 48

4 8 11 12 14 15 17 20 52

4 9 11 13 14 16 19 21 56

4 10 12 13 15 17 20 23 60

4 11 12 14 16 18 21 24 64

4 12 13 15 17 19 22 26 68

5 5 15 16 17 19 20 22 55

5 6 16 17 18 20 22 24 60

5 7 16 18 20 21 23 26 65

5 8 17 19 21 23 25 28 70

5 9 18 20 22 24 27 30 75

5 10 19 21 23 26 28 32 80

5 11 20 22 24 27 30 34 85

5 12 21 23 26 28 32 36 90

6 6 23 24 26 28 30 33 78

6 7 24 25 27 29 32 35 84

6 8 25 27 29 31 34 37 90

6 9 26 28 31 33 36 40 96

6 10 27 29 32 35 38 42 102

6 11 28 30 34 37 40 44 108

6 12 30 32 35 38 42 47 114

7 7 32 34 36 39 41 45 105

7 8 34 35 38 41 44 48 112

7 9 35 37 40 43 46 50 119

7 10 37 39 42 45 49 53 126

7 11 38 40 44 47 51 56 133

7 12 40 42 46 49 54 59 140

8 8 43 45 49 51 55 59 136

8 9 45 47 51 54 58 62 144

8 10 47 49 53 56 60 65 152

8 11 49 51 55 59 63 69 160

8 12 51 53 58 62 66 72 168

9 9 56 59 62 66 70 75 171

9 10 58 61 65 69 73 78 180

9 11 61 63 68 72 76 82 189

9 12 63 66 71 75 80 86 198

10 10 71 74 78 82 87 93 210

10 11 73 77 81 86 91 97 220

10 12 76 79 84 89 94 101 230

11 11 87 91 96 100 106 112 253

11 12 90 94 99 104 110 117 264

12 12 105 109 115 120 127 134 300

392

Приложение Е Таблица значений функции распределе-

ния Колмогорова

K(x) = 1 + 2

∞∑

m=1

(−1)me−2m2x2

x 0 1 2 3 4 5 6 7 8 9

0,2 0,000000 000000 000000 000000 000000 000000 000000 000000 000001 000004

0,3 0,000009 000021 000046 000091 000171 000303 000511 000826 001285 001929

0,4 0,002808 003972 005476 007377 009730 012589 016005 020022 024682 030017

0,5 0,036055 042814 050306 058534 067497 077183 087577 098656 110394 122760

0,6 0,135718 149229 163255 177752 192677 207987 223637 239582 255780 272188

0,7 0,288765 305471 322265 339114 355981 372833 389640 406372 423002 439505

0,8 0,455858 472039 488028 503809 519365 534682 549745 564545 579071 593315

0,9 0,607269 620928 634285 647337 660081 672515 684836 696445 707941 719126

1,0 0,730000 740566 750825 760781 770436 779794 788860 797637 806130 814343

1,1 0,822282 829951 837356 844502 851395 858040 864443 870610 876546 882258

1,2 0,887750 893030 898102 903973 907648 912134 916435 920557 924506 928288

1,3 0,931908 935371 938682 941847 944871 947758 950514 953144 955651 958041

1,4 0,960318 962487 964551 966515 968383 970159 971846 973448 974969 976413

1,5 0,977782 979080 980310 981475 982579 983623 984610 985544 986427 987261

1,6 0,988048 988791 989492 990154 990777 991364 991917 992438 992928 993389

1,7 0,993823 994230 994612 994972 995309 995625 995922 996200 996460 996704

1,8 0,996932 997146 997346 997533 997707 997870 998023 998165 998297 998421

1,9 0,998536 998644 998744 998837 998924 999004 999079 999149 999213 999273

2,0 0,999329 999381 999429 999473 999514 999553 999588 999620 999651 999679

2,1 0,999705 999728 999750 999771 999790 999807 999823 999837 999851 999863

2,2 0,999874 999886 999895 999904 999912 999920 999927 999933 999939 999944

2,3 0,999949 999954 999958 999961 999965 999968 999971 999974 999976 999978

2,4 0,999980 999982 999984 999985 999987 999988 999989 999990 999991 999992

393

Литература

1. Айвазян С. А., Мхитарян В. С.Прикладная статистика и ос-новы эконометрики. — М.: ЮНИТИ, 1998.

2. Биллингсли П.Сходимость вероятностных мер. — М.: Изд. На-ука, 1977.

3. Большев Л. Н., Смирнов Н. В.Таблицы математической ста-тистики. — М.: Изд. Наука, 1983.

4. Боровков А. А.Теория вероятностей. — М.: Изд. Наука, 1986.

5. Боровков А. А.Математическая статистика. — М.: Изд. Наука,1984.

6. Бочаров П. П., Печинкин А. В.Теория вероятностей. Матема-тическая статистика. — М.: Изд. Гардарика, 1998.

7. Буре В. М., Евсеев Е. А.Основы эконометрики. — СПб.: издСПбГУ, 2004.

8. Буре В. М., Кирпичников Б. К.Вероятностные модели про-должительности функционирования сложных систем. — СПб.:изд. СПбГУ, 1993. — 92 с.

9. Буре В. М., Парилина Е. М., Седаков А. А., ШевкоплясЕ. В.Прикладная статистика в R, STATISTICA и Excel. Описа-тельная статистика. Оценивание параметров. Статистическиекритерии. — СПб.: Изд. СПбГУ, 2011.

10. Ван дер Варден Б. Л.Математическая статистика. — М.: Изд.ИЛ, 1960.

394

11. Валландер С. С.Лекции по статистике и эконометрике. —СПб.: Изд. Европейского уриверситета в СПб, 2005.

12. Емельянов Г. В., Скитович В. П.Задачник по теории вероят-ностей и математической статистике. — 2-е изд., стер. — СПб.:Лань, 2007. — 336 с.

13. Ермаков С. М.Метод Монте-Карло и смежные вопросы. — М.:Изд. Наука, 1975.

14. Ермаков С. М., Жиглявский А. А.Математическая теория оп-тимального эксперимента. — М.: Изд. Наука, 1987.

15. Ермаков С. М., Михайлов Г. А.Курс статистического модели-рования. — М.: Изд. Наука, 1976.

16. Зубков A. M., Севастьянов Б. А., Чистяков В. П.Сборник за-дач по теории вероятностей: Учеб. пособие для вузов. — 2-еизд., испр. и доп. — М.: Наука. Гл. ред. физ.-мат. лит. — 1989.— 320 с.

17. Ибрагимов И. А., Хасьминский Р. З.Асимптотическая теорияоценивания. — М.: Изд. Наука, 1979.

18. Ивченко Г. И., Медведев Ю. И.Математическая статистика. —М.: Высшая школа, 1984. — 248 с.

19. Колмогоров А. Н., Фомин С. В.Элементы теории функций ифункционального анализа. — 4-е изд. М.: Наука, 1976. — 544с.

20. Крамер Г.Математические методы статистики. — М.: Изд.Мир, 1976.

21. Лоэв М.Теория вероятностей. — М.: Изд. ИЛ, 1962.

22. Лукач Е.Характеристические функции. — М. : Наука, 1979. —423 с.

23. Магнус Я. Р., Катышев П. К., Пересецкий А. А.Эконометрика.Начальный курс. — М.: Дело, 2004. — 576 с.

395

24. Неве Ж.Математические основы теории вероятностей. — М.:Мир, 1969.

25. Невзоров В. Б.Рекорды. Математическая теория. — М.: ФА-ЗИС Стохастика, 2000.

26. Никитин Я. Ю.Асимптотическая эффективность непарамет-рических критериев. — М.: ФИЗМАТЛИТ, 1995.

27. Партасарати К.Введение в теорию вероятностей и теорию ме-ры. — М.: Изд. Мир, 1983.

28. Петров В. В.Предельные теоремы для сумм независимых слу-чайных величин. — М.: Изд. Наука, 1987.

29. Рао С. Р.Линейные статистические методы и их применение.— М.: Изд. Наука, 1968.

30. Севастьянов Б. А.Курс теории вероятностей и математическойстатистики. — М.: Изд. Наука, 1982.

31. Секей Г.Парадоксы в теории вероятностей и математическойстатистике. — М.: Изд. Мир, 1990.

32. Тюрин Ю. Н., Макаров А. А.Статистический анализ опыт-ных данных на компьютере. — Под ред. В.Э. Фигурнова. М.:ИНФРА-М, 1998.

33. Феллер В.Введение в теорию вероятностей и ее приложения.Т. 1, 2. — М.: Изд. Мир, 1984.

34. Холлендер М., Вулф Д.Непраметрические методы статистики.— М.: Финансы и статистика, 1983. — 518 с.

35. Ширяев А. Н.Вероятность. — М.: Изд. Наука, 1989.

36. Якушев В. П., Буре В. М.Подходы к обнаружению статисти-ческих зависимостей. — СПб.: изд. СПбГУ, 2003.

37. Якушев В. П., Буре В. М., Якушев В. В.Построение и анализэмпирических зависимостей. — СПб.: изд. СПбГУ, 2005.

396

38. Якушев В. П., Буре В. М.Статистический анализ опытныхданных. Непараметрические критерии. — СПб.: изд. АФИРАСХН, 2001.

39. Amemiya T.Qualitive Response Models: A Survey, Journal ofEconomic Literature, 1981, Vol. XIX, pp. 1483-1536.

40. Amemiya T.Advanced Econometrics, Cambridge: HarvardUniversity Press, 1985.

41. Ben-Akiva M., Lerman S.Discrete choice analysis, The MIT Press,Cambridge Massachusetts, 1985.

42. Berndt E., Hall B., Hall R., Hausman J.Estimation and Inferencein Nonlinear Structural Models, // Annals of Economic and SocialMeasurement, 1974, Vol. 3, 653–665.

43. Davidson R., MacKinnon J. G.Estimation and Inference inEconometrics, New York, Oxford University Press, 1993.

44. Efron B.Regression and ANOVA with Zero-One Data: Measures ofResidual Variation, Journal of American Statistical Association,1978, Vol. 73, pp. 113-121.

45. Engle R. F.Wald, Likelihood Ratio, and Lagrange MultiplierTests in Econometrics. In Intriligator, M. D.; and Griliches, Z.Handbook of Econometrics. II. Elsevier, 1983, pp. 796–801

46. Greene W. H.Econometric Analysis, 5th edition, New Jearsey:Pearson Education, 2003

47. Greenwood P. E., Nikulin M. S.A Guide to Chi-Squared Testing.New York, John Wiley & Sons, Inc., 1996.

48. Kay R., Little S.Assessing the Fit of the Logistic Model: A CaseStudy of Children with Haemolytic Uraemic Syndrome, AppliedStatistics, 35, 1986, pp. 16–30.

49. Long J. S.Regression models for categorial and limited dependentvariables, Thousand Oaks: Sage Publ., 1997.

50. MacFadden D.The Measurement of Urban Travel Demand //Journal of Public Economics, 3, 1978, pp. 303-328.

397

51. Maddala G. S.Introduction to Econometrics, 2nd ed., Macmillan,1992.

52. Rao C.Information and Accuracy Attainable in Estimation ofStatistical Parameters // Bulletin of the Calcutta MathematicalSociety, 37, 1945, pp. 81-91.

398