97

Модуль 4. МЕТОДЫНЕПАРАМЕТРИЧЕСКОЙ ОБРАБОТКИ ИНФОРМАЦИИ

Методы статистической обработки информации можно условноразделить на две группы: параметрические и непараметрические.Параметрические методы используют параметрические семействазависимостей (разделяющей поверхности в распознавании образов, плотностираспределения вероятности, модели объекта) и существенно используютсвойства объектов. Непараметрические методы не ориентированы науказанные параметрические семейства, имеют более универсальнуюструктуру и более широкую область применения. Они работают при большейнеопределенности по априорной информации. Платой за это служит болеесложная обработка исходной выборки и, как правило, непараметрическиеметоды с этой выборкой никогда не расстаются.В лучшем случае исходная избыточная выборка заменяется укороченнойвыборкой, которая впитала основную информацию из исходной выборки.

Непараметрические методы обеспечивают построение статистик(например, оценки регрессии, оценки решающей функции), которые всё равнообладают настраиваемыми параметрами. Эти статистики являются болееуниверсальными (например, их можно применять при меньшей априорнойинформации об изучаемом процессе), но их всегда надо адаптировать креальным свойствам объекта. После более детального изучения объекта всёравно переходят к параметрическим моделям и, после того когда удалось«угадать» структуру модели, она становится «лучшей моделью». Она простаяпо структуре, соответствует «физике процессов», и обладает «хорошими»прогнозирующими свойствами – главном особенностью любой модели.

Еще 20–25 лет назад специалисты по статистической обработкеинформации отмечали три прорыва в непараметрической статистике. Первыйиз них связан с результатами А. Н. Колмогорова (1933 г.) и Н. В. Смирнова(1939 г.) о предельном поведении уклонений эмпирической функциираспределения от теоретической (так появились известные статистикиКолмогорова и Смирнова). Второй – основан на открытии Ф. Уилкоксоном(1945 г.) ранговых критериев. Третий – базируется на использовании Дж.Ходжесом иЭ. Леманом ранговых критериев для оценивания неизвестных параметров(1963 г.). Каждый из этих результатов дал толчок лавинообразномуколичеству исследований, имеющих и хорошие выходы в практику.

В настоящее время можно отметить и четвертый прорыв,заключающийся в использовании оценок Розенблатта – Парзена (предложеныМ. Розенблаттом в 1956 г. и обобщены Э. Парзеном в 1962 г.) для решенияширокого спектра задач идентификации, фильтрации, адаптивногоуправления, оптимизации, распознавания образов.

98

99

ТЕМА 74.1. Оценивание функционалов

В основе получения всех рассматриваемых результатов по обработкеэкспериментальных данных лежит одна простая и перспективная идея [4.3].Она заключается в представлении оцениваемых характеристик случайныхвеличин в виде функционалов от плотностей распределения вероятностей и впоследующей подстановке в функционалы вместо плотностей ихнепараметрических оценок. При этом единообразен не только подход кпостроению оценок соответствующих характеристик, но и к исследованию ихстатистических свойств.

Необходимо по выборке nxx ,,1 K случайной величины X найтиоценку nF функционала

ò¥

¥-

×j=F dxxfxfx )()),(,( K .

Здесь )(×j – известная функция от плотности распределения вероятностиf x( ) и некоторых простых ее преобразований.

Рассмотрим некоторые примеры функционалов. Многие из них имеютлинейный (относительно f x( ) вид:

m xf x dx M X= =-¥

¥

ò ( ) { } – математическое ожидание,

ò¥

¥-

-=-=s }){()()( 222 mXMdxxfmx – дисперсия.

Некоторые зависят от f x( ) нелинейно, например приведенная энтропия:

ò¥

¥-

-= dxxfxfXH )())((log)( .

Схема построения оценки nF следующая. Вначале строится оценка дляплотности вероятности f xn ( ) , а затем она подставляется в функционал.

Основным свойством оценки ),,( 1 nn xx KF является еесостоятельность. Оценка nF функционала F называется состоятельной

100

оценкой, если при n ®¥ она стремится по вероятности к F (обозначаютF¾®¾F p

n ), т. е. если

0}|{|lim =>F-F¥®

ennP .

Здесь P A{ } – вероятность события A .Требование состоятельности определяет практическую пригодность

оценок, ибо в противоположном случае (при несостоятельности оценок)увеличение объема исходной выборки не будет приближать оценку к"истинной" величине. По этой причине свойство состоятельности должнопроверяться в первую очередь.

Оценка nF параметра F называется несмещенной, если

F=F }{ nM .

Она является асимптотически несмещенной, если

F¾¾ ®¾F¥®nnM }{ .

4.2. Простейшие оценки функциии плотности распределения вероятности

По упорядоченной независимой выборке nxxx ,,, 21 K случайнойвеличины X построим оценку F xn ( ) для функции распределения

F x P X x( ) { }= < .

Считаем, что для некоторого фиксированного x в выборке nxxx ,,, 21 K

значения mxxx ,,, 21 K оказались меньше x , а остальные xi больше x . Тогдав качестве оценки для вероятности P X x{ }< берем частоту появлениясобытия { }X x< :

=-

<-=

опытовчислообщее}{событиюствующихблагоприятисходов,число)(

nxXmxFn

= -=å

1 11n

x xii

n( ) , (4.2.1)

101

где 1( )z – единичная функция; 11 00 0

( ), ,, .

zzz

=><

ìíî

В соответствии с законом больших чисел (теорема Бернулли) оценкаF xn ( ) для каждого фиксированного x сходится по вероятности к F x( ) , т. е.оценка является состоятельной. Оценка F xn ( ) также являетсянесмещенной. График ступенчатой оценки F xn ( ) представлен на рис. 4.2.1.

Таккакплотностьраспределения f x( )связана сфункциейраспределения F x( )черезлинейныйоператор дифференцирования

dxxdFxf )()( = ,

то из оценки (4.2.1) вытекает следующая оценка для плотности распределения:

åå==

-d=-==n

ii

n

ii

nn xx

nxx

dxd

ndxxdFxf

11)(1)(11)()( . (4.2.2)

Здесь )( ixx -d – дельта-функция Дирака. Она имеет "игольчатый"("гребенчатый") вид: уходит до ¥ в точке xi , а при остальных значенияхаргумента x равна нулю и обладает свойствами:

òD+

D-

=-di

i

x

xi dxxx 1)( , (4.2.3)

òD+

D-

j=-dji

i

x

xii xdxxxx )()()( . (4.2.4)

F xn ( )1

1n

1n

1n

1n

1n

1n

1n

K

K

Рис. 4.2.1

x1 x2 x3 x4 xn-2 xn-1 xn

x0

102

Первое свойство (4.2.3) показывает, что, несмотря на экзотическоеповедение дельта-функции, площадь под ней единичная.

Второе селектирующее свойство (4.2.4) дельта-функции позволяет легковыполнять интегрирование. Интеграл оказывается равным подынтегральномувыражению, стоящему перед дельта-функцией, в особой точке (в точкевсплеска дельта-функции).

График "гребенчатой"функции f xn ( ) представлен нарис. 4.2.2. Оценка плотностираспределения (4.2.2) являетсянесмещенной, нонесостоятельной. В явном видееё использовать нельзя. Еюудобно пользоваться при

вычислении оценок моментов (математического ожидания, дисперсии и др.)для случайной величины или для аналитической функции случайнойвеличины. Получаемые оценки являются состоятельными и частонесмещенными.

Пример 4.2.1. Необходимо по выборке nixi ,1, = , найти оценкуматематического ожидания от функции )( Xj случайной величины:

ò¥

¥-

j=j dxxfxXM )()()}({ . (4.2.5)

Оценку строим по схеме, описанной в параграфе 4.1. Береминтегральное выражение (4.2.5) и вместо плотности f x( ) ставим ее оценкуf xn ( ) . Получаем (с использованием свойства (4.2.4) для d -функции:

=-dj=j ò å¥

¥- =dxxx

nxXM

n

ii

1)(1)()}({

)

åå ò==

¥

¥-

j=-dj=n

iii

n

ix

ndxxxx

n 11)(1)()(1. (4.2.6)

Отсюда при XX =j )( получаем оценку

mxn

XMn

ii

))º= å

=1

1}{

f xn ( )

K

Рис. 4.2.2x1 x2 x3 x4 xn-2 xn-1 xn

xK

103

для математического ожидания m случайной величины X .Это хорошая оценка (при самых простых условиях она состоятельная,

несмещенная и асимптотически нормально распределённая оценка). Оначаще всего используется на практике.

В многомерном случае (когда рассматривается несколько случайныхвеличин ),,( 1 pXXX K= простейшие оценки функции и плотностираспределения вероятности, базирующиеся на независимой последовательностивекторов (измерений) nxx r

Kr ,,1 , где )...,,( 1 piii xxx =

r, имеют следующий вид

[4.3]:

åÕ= =

-==n

i

p

jjijpnn xx

nxxFxF

1 11 )(11),,()( K

r ,

åÕ= =

-d==n

i

p

jjijpnn xx

nxxfxf

1 11 )(1),,()( K

r . (4.2.7)

Например, для двумерной случайной величины ( , )X Y

å=

--=n

iiin yyxx

nyxF

1)(1)(11),( , å

=-d-d=

n

iiin yyxx

nyxf

1)()(1),( .

Пример 4.2.2. Вычислим моменты

ò¥

¥-

-j=j dxxfmxXM )()()}({o

для центрированной случайной величины mXX -=o

, причемматематическое ожидание m M X= { } неизвестно. Получаем

=÷øö

çèæ

-j=j ò ò¥

¥-

¥

¥-

dxxfdxxxfxXM nn )())()}({o)

=-d÷øö

çèæ

-d-j= åò ò å=

¥

¥-

¥

¥- =

n

ii

n

ii dxxx

ndxxx

nxx

11)(1)(1

=-d-j= å ò=

¥

¥-

n

ii dxxxmx

n 1)()(1 ) åå

===-j

n

ii

n

ii x

nmmx

n 11

1);(1 )) . (4.2.8)

104

Пример 4.2.3. Оценим дисперсию

D X x m f x dx{ } ( ) ( )= --¥

¥

ò 2 .

Если математическое ожидание m известно, то в соответствии сформулой (4.2.6) оценка дисперсии имеет вид

$ { } ( )D Xn

x mii

n

12

1

1= -

=å .

Оценка состоятельная и несмещенная.Если математическое ожидание m случайной величины X неизвестно,

то в соответствии с (4.2.8) имеем

$ { } ( $ ) , $D Xn

x m mn

xii

n

ii

n

22

1 1

1 1= - =

= =å å .

Оценка состоятельная, но смещённая. Математическое ожидание ееn

nD-æ

èçöø÷

1 с ростом n стремится к D (оценка асимптотически несмещенная).

Умножив оценку на коэффициент ( / ( ))n n -1 , получим несмещенную оценку

$ { } ( $ )D Xn

x mi

n

22

1

11

=-

-=å .

Она также является состоятельной оценкой.

Пример 4.2.4. Оценим коэффициент корреляции для двух случайныхвеличин X и Y по независимой выборке niyx ii ,1,, = :

k x m y m f x y dxdyxy x y= - --¥

¥

-¥

¥

òò ( )( ) ( , ) .

Подставляем в эту формулу "гребенчатую" оценку двумерной плотности(4.2.7)

å=

-d-d=n

iiin yyxx

nyxf

1)()(1),(

и получаем

105

ò ò¥

¥-

¥

¥-

--= ))(( yxxy mymxk)

=-d-då=

dxdyyyxxn

n

iii

1)()(1

=-d--d-= å ò ò=

¥

¥-

¥

¥-

dyyymydxxxmxn

n

iiyix

1)()()()(1

= - -=å

11n

x m y mi x i yi

n( )( ) .

Предлагается самостоятельно рассчитать оценку для kxy принеизвестных m mx y, .

Кратные измерения. При кратных измерениях значение x1 появляетсяk1 раз, x k2 2- раз, K , x km m- раз, причем k k k nm1 2+ + + =K , оценкафункции распределения также кусочно-постоянная функция, которая имеетскачки величины k ni / в каждой точке xi :

å=

-=m

ii

in xx

nkxF

1)(1)(

Оценка плотностисохраняет соответственно"гребенчатый" вид:

å=

-d=m

ii

in xx

nkxf

1)()( .

Используя f xn ( ) ,легко получить оценки длямногих моментов, имеющихинтегральный линейный видот плотности f x( ) .Например, оценка для момента (4.2.5) вычисляется по формуле

å=

j=jn

ii

i xnkxM

1)()}({

).

Оценка для плотности распределения вероятности (4.2.2) являетсянесмещенной оценкой. Действительно,

F xn ( )1

nk1

K

K

Рис. 4.2.3

1x 2x 3x 2-mxx

1-mx mx0

nk2 n

k3

nkm 2- n

km 1- nkm

106

M f xn

x x f x dxn i j jj

n

i

n{ ( )} ( ) ( )= - =

-¥

¥

==-¥

¥

ò Õåò1

11K d

)()(1)()(111

xfxfn

dxxxxfn

n

i

n

iiii ==-d= åå ò

==

¥

¥-

.

В то же время оценка f xn ( ) не сходится к f x( ) . Она не обладаетсвойством равномерной сходимости (т. е. является несостоятельнойоценкой), но сходится к f x( ) в кусочно-интегральном смысле [4.7].

4.3. Полиграммы. Оценка "К ближайших соседей"

Повысим (по сравнению с (4.2.2) степень гладкости оценки f xn ( ) . Дляэтого надо повысить соответственно степень гладкости для оценки функциираспределения F xn ( ) . Если F xn ( ) будет состоять из отрезков прямых (рис.4.3.1), то f x dF x dxn n( ) ( ) /= будет состоять из прямоугольников (рис. 4.3.2).Кусочно-постоянная оценка )(xfn называется полиграммой первого порядка.

Она строится на выборочных интервалах, ограниченных выборочнымизначениями упорядоченной выборки nxxx ,,, 21 K Площадь каждогопрямоугольника равна 1 1/ ( )n - . Высота каждого i -го прямоугольника,опирающегося на выборочный интервал ( x xi i, +1), равна величине

11 1( ) ( )n x xi i- -+

.

Аналитически записать полиграмму 1-го порядка несложно, если ввестипрямоугольную селектирующую функцию

)(xFn

K

Рис. 4.3.1

x1 x2 xnx

K

3x 1-nx1

1-n

1)(xfn

K

Рис. 4.3.2

x1 x2 xnx

K

3x 1-nx1

1-n 1

1-n

107

îíì

ÏÎ

=).1;0[,0),1;0[,1)(0 z

zzI

Тогда

÷÷ø

öççè

æ--

--=

+

-

= +å

ii

in

i iin xx

xxIxxn

xf1

0

1

1 1

11

1)( . (4.3.1)

Полиграмма первого порядка представляет собой совокупностьпримыкающих друг к другу прямоугольников, построенных на интервалах,ограниченных точками измерений. Каждый прямоугольник имеет одинаковуюплощадь, равную величине 1 1/ ( )n - . Это значение есть оценка вероятностипопадания случайной величины X в выборочный интервал. Появление оценкивероятности в виде 1 1/ ( )n - обусловлено известным непараметрическимфактом статистической эквивалентности выборочных блоков [4.7]. Простейшимвыборочным блоком является интервал [ , ]x xi i+1 , ограниченный соседнимиупорядоченными отсчетами x xi i, +1. Вероятность попадания случайнойвеличины X в этот выборочный интервал сходится по вероятности к величине1 1/ ( )n - :

1,,2,1,1

1}{ 1 -=-

¾®¾<£¥®

+ nin

xXxPn

pii K .

Кусочно-линейная оценка функции распределения F xn ( ) (см. рис.4.3.1) является состоятельной оценкой, а оценка плотности распределения

)(xfn (4.3.1) вновь за счет дифференцирования оказалась испорченной. Онанесостоятельная. В явном виде ее применять нельзя. В то же время еёможно использовать, так же как и простейшую оценку (4.2.2), при построениисостоятельных оценок линейных функционалов.

Пример 4.3.1. Вычислим оценку математического ожидания.Подставляем оценку плотности вероятности f xn ( ) в интегральную формулудля математического ожидания и получаем

=÷÷ø

öççè

æ--

--=

+

-

= +å ò

+

dxxx

xxIxx

xn

mii

in

i

x

x ii

i

i 10

1

1 11

1

11)

=××-+-

= åò-

=+ dzxxzx

n

n

iiii 1)]([

11 1

1

1

01

108

åå-

=

+-

=

+ +-

=-

+-

=1

1

11

1

1

211)

2(

11 n

i

iin

i

iii

xxn

xxxn

. (4.3.2)

Найденная оценка немного по виду отличается от среднего

арифметического å=

-=n

iixnm

1

1) , но она также несмещенная:

M mn

M x M x mi i

i

n{ $ } { } { }

11

1

111 2

=-

+=+

=

-

å

и состоятельная.Самостоятельно убедитесь, что при некоррелированной выборке

дисперсия оценки равна величине

÷øö

çèæ

--

-=

)1(211

1}{ 1 nn

DmD ) .

Здесь D – дисперсия случайной величины X . Сравните её с дисперсиейобычной оценки: среднего арифметического.

Пример 4.3.2. Найдем оценку дисперсии. При известномматематическом ожидании получаем

=÷øö

çèæ

--

---=

+

-

= +

¥

¥-åò dx

xxxxI

xxnmxD

ii

in

i ii 10

1

1 1

21 )(

11

1)()

=-

+ - - =òå +=

-11 0

1

11

12

nx x x z m dzi i i

i

n[ ( ) ]

=-

- +-

+ - - =+

=

-

+å1

1 32 1

2

1

1

1nx m x x x m x xi

i i

i

n

i i i[( ) ( ) ( )( )]

=-

- - +-

++

=

-

å1

1 311

2

1

1

nx m x m x x

i ii i

i

n[( )( ) ( ) ]. (4.3.3)

Если m неизвестно, то вместо него следует использовать оценку (4.3.2).

Двумерная случайная величина. По выборке x y i ni i, , ,= 1 двумернойслучайной величины X Y, построим оценку – полиграмму первого порядка.

109

Используем метод аналогий. В одномерном случае мы фактически впростейшей оценке плотности распределения

å=

-d=n

iin xx

nxf

1)(1)(

дельта-функции )( ixx -d заменили дельта-образными функциями

=-d )( in xx 1

10

1( )x xI x x

x xi i

i

i i+ +---

æèç

öø÷ ,

построенными на интервалах между соседними отсчетами, и сократили одноиз слагаемых, распределив его вес между остальными.

В двумерном случае в гребенчатую оценку плотности распределения

)()(1),(1

i

n

iin yyxx

nyxf -d-d= å

=

под знак суммы входят произведения дельта-функций. Заменим их на дельта-образные функции и также сократим одно слагаемое (изменив веса слагаемыхс 1 / n на 1 1/ ( )n - . Получаем оценку

f xn x x

I x xx x y y

I y yy yn

i ii

ni

i i i i

i

i i( )

( ) ( )=

- ---

æèç

öø÷

---

æèç

öø÷

=

-

å1

11 1

1

1

0 0 , (4.3.4)

где xi – ближайшее сверху к xi измерение по координате x ; iy – аналогично,ближайшее сверху к yi измерение по второй координате y .

Пример 4.3.3. Рассчитаем оценку для коэффициента корреляции набазе полиграммы (4.3.4):

$( )

( ),kn x x

x m I x xx x

dxx yi i

xi

ni

i i=

- --

--

æèç

öø÷ ´

-¥

¥

=

-

òå1

11

1

1

0

´-

---

æèç

öø÷ =

-¥

¥

ò1

0( )( )

y yy m I y y

y ydy

i iy

i

i i

110

=1

1 2 21

1

nx x m y y mi i

xi

ni i

y-+

-æèç

öø÷

+-æ

èçöø÷=

-

å . (4.3.5)

Эта оценка немного отличается от ранее полученной в параграфе 4.2(пример 4.2.4) оценки. Предельные свойства оценок одинаковы.

Из полученной оценки для коэффициента корреляции вытекает ещеодна оценка для дисперсии. Для этого предположим совпадение случайныхвеличин X и Y . Тогда x y m mi i x y= =, и в упорядоченной выборкеx i ni , ,= 1 , величина ix равна xi+1. В итоге имеем

$Dn

x x mi ix

i

n

21

2

1

111 2

=-

+-æ

èçöø÷

+

=

-

å . (4.3.6)

Некоторые особенности полиграммы первого порядка (4.3.1). Вотличие от "игольчатой" оценки (4.2.2) в полиграмме вместо дельта-функции

)( ixx -d стоят дельта-образные прямоугольные функции

=-d )( in xx 1

10

1x xI x x

x xi i

i

i i+ +---

æèç

öø÷ .

Площадь под ними (так же как и под дельта-функциями) равна единице.С ростом n расстояние между отсчетами ( x xi i+ -1 ) сокращается и стремитсяк нулю при n ®¥ . При этом дельта-образная функция стремится к дельта-функции:

¥®>----d

nin xx )( )( ixx -d .

Основной недостаток этой дельта-образной функции состоит в том, чтоона не обладает сглаживающим свойством, ибо построена на интервалемежду двумя соседними измерениями. Если в выборке x i ni , ,= 1 , окажутсяблизко расположенные измерения xi+1 и xi , то на интервале [ x xi i+1, ] будетсильный всплеск дельта-образной функции. Полиграмма из-за этого являетсяоценкой, содержащей резкие всплески и с их ростом n все больше.

На рис. 4.3.3, 4.3.4 представлены полиграммы при различных объемахn соответственно для случайных величин, имеющих равномерный инормальный законы распределения ( m = 0.5; s = 0.166).

Полученная оценка плотности вероятности (полиграмма первого порядка)не наделена сглаживающим свойством и с ростом n она приближается к"игольчатой" ("гребенчатой") оценке. Статистическое моделированиеподтверждает это свойство. Полиграмма I-го порядка является асимптотическинесмещенной, но не состоятельной оценкой плотности распределениявероятности.

Для улучшения сглаживающих свойств оценки плотности построеныполиграммы более высоких порядков. На рис. 4.3.5 в качестве иллюстрации

111

приведены полиграммы первого (а), второго (б) и третьего (в) порядков.Полиграмма k -го порядка для каждого фиксированного k является такжеасимптотически несмещенной несостоятельной оценкой. Для состоятельностиполиграммы необходимо с ростом объема выборки n увеличивать порядок nkполиграммы.

1

2

3

4

5

6

0

f xn ( )

0 2, 0 4, 0 6, 08, 1x

n = 10

1

2

3

4

5

6

0

f xn ( )

0 2, 0 4, 0 6, 08, 1x

n = 100

7

1

2

3

4

5

6

0

f xn ( )

0 2, 0 4, 0 6, 08, 1x

n = 500

7

Рис. 4.3.3

1

2

3

4

5

6

0

f xn ( )

0 2, 0 4, 0 6, 08, 1 xn = 50

7

1

2

3

4

5

6

0

f xn ( )

0 2, 0 4, 0 6, 08, 1 xn = 100

7

Рис. 4.3.4

112

Если выполняются условия ¥®nk и 0/ ®nkn при ¥®n (т. е. nkрастет не быстрее объема n выборки), то полиграмма nk -го порядка являетсяасимптотически несмещенной и состоятельной оценкой в каждой точкеx непрерывности плотности распределения вероятности f x( ) . Зависимость

nk от n может иметь вид qn сnk = , где c – положительная константа;

¥<< c0 , а 10 << q .

Метод "К ближайших соседей"Считаем, что для одномерной случайной величины X имеется n

независимых наблюдений x xn1, ,K . Зафиксируем некоторое целоеположительное число kn : 1£ £k nn .

Для каждой выбранной точки x существует интервал длительностью),,(2 xnknr , который охватывает kn ближайших к x точек выборки nxx ,,1 K

(рис. 4.3.6). Одна точка попадает на границу интервала, а kn-1 точка – внутрьинтервала. Оценкой плотности распределения вероятности f xn ( ) служитчастота nkn /)1( - попадания в интервал r2 , приведенная к единичнойвеличине интервала:

x1 x2 x3 x4 x5 x6 x7

11n - K

11n - 1

1n -

11n - 1

1n -1

1n -

Kx

a

x1 x2 x3 x4 x5 x6 x7

K

Kx

б 21n -

21n - 2

1n -

f xn ( )

f xn ( )

x1 x2 x3 x4 x5 x6 x7

K

Kx

в3

1n -

f xn ( )

31n -

Рис. 4.3.5

113

),,(21)(

xnknkxf

n

nn r

-= .

Если выполняются условия

k knnn®¥ ®, 0 при n ®¥

(т. е. с ростом объема выборкиколичество точек, попадающих винтервал r2 , растет не быстрее,чем растет объем выборки), тооценка является асимптотическинесмещенной и состоятельной в каждой точке непрерывности плотностивероятности f x( ) .

Для т -мерной случайной величины X независимая выборка nxx ,,1 K

состоит из n точек т -мерного пространства. В выбранной метрике вводитсярасстояние R x y( , ) между двумя точками x и y т -мерного пространства.Для выбранной точки x ближайшие (по расстоянию R ) к ней kn точекпопадают в шар радиуса Rk : W( ) { : ( , ) }x y R x y Rk= £ , причем одна точкалежит на границе этого шара (рис. 4.3.7). Объем шара равен величинеV k n x dyn

x( , , )

( )= ò

W

.

Тогда оценкой f xn ( ) плотностираспределения вероятности служит частота( ) /k nn -1 попадания в шар, приведенная кединичному объему шара:

f x knV k n xn

n

n( )

( , , )=

-1.

Условия сходимости оценки f xn ( ) кf x( ) с ростом объема выборки n те же, что и

в одномерном случае.Условиям сходимости удовлетворяет следующий вид зависимости kn

от n :

10,0, <<<×= qcnck qn .

Способ построения оценки " K ближайших соседей" близок и к способупостроения полиграммы K порядка. Возьмем для конкретности одномерный

Рис. 4.3.6

xxixi-1xi-2 xi+1 xi+2 xi+3

),,4( xnr ),,4( xnr

xxixi-1xi-2 xi+1 xi+2 xi+3

),,5( xnr ),,5( xnr

x1

x2

8RV n x( , , )8

Рис. 4.3.7

114

случай ( X – одномерная случайная величина). Если полиграмма строится навыборочных интервалах (интервалах, ограниченных выборочнымизначениями), то оценка " K ближайших соседей" основывается навыборочных подынтервалах (они ограничены выборочным значением толькос одной стороны). Частота попадания в интервал длительностью r2 (или ввыборочный полуинтервал), равная ( ) /k nn -1 , является также предельной(при n ®¥ ) вероятностью попадания случайной величины X в этотвыборочный полуинтервал. Именно такой непараметрический факт положен ив основу построения полиграммы K порядка.

4.4. Оценка Розенблатта – Парзена

Плотность распределения вероятности связана с функциейраспределения через оператор дифференцирования

f x dF x dx( ) ( ) /= .

Это уравнение берем за основу при построении оценки f xn ( )плотности распределения вероятности. Заменяем в предыдущем уравнениипроизводную конечной разностью

f x F x h F x hh

( ) ( ) ( )»

+ - -2

,

а функции распределения )(),( hxFhxF -+ – их простейшими кусочно-постоянными оценками (4.2.1):

F x hn

x h xn ii

n( ) ( )+ = + -

=å

1 11

,

F x hn

x h xn ii

n( ) ( )- = - -

=å

1 11

,

построенными (см. параграф 4.2) на основе выборки x xn1, ,K дляодномерной случайной величины X . Оценка плотности тогда приобретаетвид

f x nx h x

nx h x

hn

ii

n

ii

n

( )( ) ( )

=+ - - - -

== =å å

1 1 1 1

21 1

115

=+ - - - -

=å

1 1 1 121n h

x h x x h xi i

i

n ( ) ( ).

На рис. 4.4.1 показано, что под знак суммыэтой оценки входит селектирующее прямоугольноеядро

1 12

( ) ( )x h x x h x I x xh

i i i+ - - - -=

-æèç

öø÷

,

где

îíì

<£

=.||1,0,1||,5.0)(

zzzI (4.4.1)

Ядро I z( ) симметричное, и площадь подкривой I z( ) равна единице. Эта функция ничем неотличается от плотности распределениявероятности случайной величины z , равномернораспределенной в интервале [–1; 1]. В итоге оценкадля плотности распределения вероятности имеетвид

f xn h

I x xhn

i

ni( ) = -æ

èçöø÷=

å1 1

1.

Впервые оценка предложена в 1956 году Розенблаттом (Rosenblatt M.Remarks on some nonparametric estimates of a density functions // AMS. 1956. 27.Pp. 832–837). Дальнейшие обобщения данного вида оценок осуществленыПарзеном [Parsen E. On estimation of a probability density function and mode //AMS. 1962. 33. Pp. 1065–1076]. В настоящее время специалистами принятоименовать данный класс оценок оценками Розенблатта – Парзена.

Оценка Розенблатта – Парзена по структуре совпадает с простейшейточечной оценкой

å=

-d=n

iin xx

nxf

1)(1)( ,

только в ней дельта-функция )( ixx -d заменена дельта-образнойпрямоугольной функцией

z0-1 1

I z( )1 2/

Рис. 4.4.1

1

xx hi - x hi +xi

1

xx hi - x hi +xi

1

xx hi - x hi +xi

12

xhxi - x hi +xi

1( )x h xi+ -

1( )x h xi- -

1 1( ) ( )x h x x h xi i+ - - - -

I x xh

i-æèç

öø÷

116

÷øö

çèæ -

=÷øö

çèæ -

dh

xxIhh

xx iin

1.

Дельта-образная прямоугольная функция имеет ширину 2h , высоту1 2/ ( )h , она расположена симметрично около точки xi . Площадь под дельта-образной функцией единичная.

На рис. 4.4.2–4.4.5 приведен простейший иллюстративный примерформирования оценки Розенблатта – Парзена при различной ширине hпрямоугольных ядер. На каждом рисунке даны итоговая оценка f xn ( ) и всеее слагаемые. С ростом h сглаживающие свойства оценки нарастают. По hдля каждого конечного объема выборки существует некоторый оптимум, ибопри малых h оценка представляет собой набор непересекающихся (или слабопересекающихся) дельта-образных функций и оценка теряет свой смысл, апри большом h оценка становится сильно заглаженной и не отражаетиндивидуальных особенностей плотности распределения вероятности.

Рис. 4.4.2

xx1 x2 x3 x4 x5

xx1

x2

x3

x4

x5

f x n h I x xhn

i

i

n( ) = -æ

èçöø÷=

å1 11

1 1 1n h I x x

h-æ

èçöø÷

x

1 1 2n h I x x

h-æ

èçöø÷

x

1 1 3n h I x x

h-æ

èçöø÷

1 1 4n h I x x

h-æ

èçöø÷

x

1 1 5n h I x x

h-æ

èçöø÷

x

Рис. 4.4.3

xx1 2x x3 x4 x5

xx1

x2

x3

x4

x5

f x n h I x xhn

i

i

n( ) = -æ

èçöø÷=

å1 11

1 1 1n h I x x

h-æ

èçöø÷

x

1 1 2n h I x x

h-æ

èçöø÷

x

1 1 3n h I x x

h-æ

èçöø÷

x

1 1 4n h I x x

h-æ

èçöø÷

x

1 1 5n h I x x

h-æ

èçöø÷

117

Степень гладкости оценки плотности зависит от степени гладкостиядра. Заменим в оценке f xn ( ) прямоугольное ядро I z( ) на произвольноеK z( ) и получим

÷øö

çèæ -

= å= h

xxKhn

xf in

in

1

11)( . (4.4.2)

Здесь h – коэффициент размытости ядра. Примеры треугольного,параболического и кубического ядер приведены ниже:

îíì

<£-

=|;|1,0,1|||,|1)(

zzzzK (4.4.3)

îíì

<£-=

|;|1,0,1||),1(75.0)(

2

zzzzK (4.4.4)

xx1

f x n h I x xhn

i

i

n( ) = -æ

èçöø÷=

å1 11

x54xx3x2

x1x

1 1 1n h I x x

h-æ

èçöø÷

x

1 1 2n h I x x

h-æ

èçöø÷

x2

x

1 1 3n h I x x

h-æ

èçöø÷

x3

x

1 1 4n h I x x

h-æ

èçöø÷

x4

x

1 1 5n h I x x

h-æ

èçöø÷

x5Рис. 4.4.4

xx1

f x n h I x xhn

i

i

n( ) = -æ

èçöø÷=

å1 11

x5x4x3x2

x1x

1 1 1n h I x x

h-æ

èçöø÷

x

1 1 2n h I x x

h-æ

èçöø÷

1 1 3n h I x x

h-æ

èçöø÷

1 1 4n h I x x

h-æ

èçöø÷

1 1 5n h I x x

h-æ

èçöø÷

Рис. 4.4.5

x2x3x4 x5

x

xx2x1 x3x4 x5

x

x1 x2x3x4 x5

x1 x2 x3 4x x5

x1 x2 3x x4 x5

118

îíì

<£-+=

.||1,0,1||,|)|1|)(|21()(

2

zzzzzK (4.4.5)

Вид этих ядер изображен на рис. 4.4.6. Все они нормированы на 1. Засчет последнего свойства оценка Розенблатта – Парзена удовлетворяетусловию нормировки для плотности вероятности:

å òò=

¥

¥-

¥

¥-÷øö

çèæ -

=n

i

in dx

hxxK

hndxxf

1

11)( = ( ) 111111

1

1== åå ò

== -

n

i

n

i ndzzK

n.

Оценка (4.4.2) при любых неотрицательныхколоколообразных симметричных усечённыхнормированных на 1 ядрах является состоятельной,если для коэффициента размытости )(nh выполняютсядва условия:

1) 0)(¥®

®n

nh , 2) ¥®¥®n

nhn )( . (4.4.6)

)(nh стремится к нулю, но не быстрее, чем n стремитсяк бесконечности. Это условие эквивалентно условию,накладываемому на параметр nk в оценке "kближайших соседей". Зависимость коэффициентаразмытости )(nh от объема выборки n имеет вид

qcnnh -=)( , (4.4.7)

где 10 << q , ¥<< c0 .Величина )(nh (в отличие от дискретного параметра nk в оценке

"k ближайших соседей") является непрерывной.Для каждого фиксированного значения *x при расчетах оценки )( *xfn

участвует только несколько близлежащих к *x точек ix выборки, которые

попали в область действия ядра ÷÷ø

öççè

æ -*

hxxK i , когда оно принимает не нулевое

значение, т. е. при hxx i <-* || , но точки ix , которые ближе к *x , имеютбольшие веса – рис. 4.4.7 при треугольном виде ядра.

1

Рис. 4.4.6

-1 0 1 z

K z( )

1

-1 0 1z

K z( )

s = 1

s = 1

1

-1 0 1 z

K z( )

s = 1

119

Использование воценке Розенблатта –Парзена усеченныхядер )(zK приводит ксущественномусокращению объемавычислений (посравнению сприменениемнеусеченных ядер).

При выполнениидля коэффициентаразмытости )(nh двухусловий (4.4.6) кромесвойствасостоятельностиоценка Розенблатта – Парзена будет асимптотически несмещеннойи асимптотически нормально распределенной.

В многомерном случае, когда рассматривается m случайных величин

1X , ... , mX и для нее получена независимая выборка ),,( 1 mii xx L , ni ,1= ,оценка плотности равна сумме с весом 1 / n дельта-образных многомерныхфункций, которые можно выбрать в виде произведения одномерныхдельтаобразных функций:

),,( 1 mn xxf K = å=

º-d-dn

imimnin xxxx

n 111 )()(1L

åÕå= == ÷

÷

ø

ö

çç

è

æ -=÷

÷ø

öççè

æ -÷÷ø

öççè

æ -ºn

i

m

j x

jij

x

n

i x

mim

xx

i

x jjmmh

xxK

hnhxxK

hhxxK

hn 1 11

11 11111

11

K . (4.4.8)

Если при любых неотрицательных колоколообразных симметричныхусечённых нормированных на 1 ядрах

1) ;0)(,,0)(1

¾¾ ®¾¾¾ ®¾¥®¥® nxnx nhnh

mK

2) 0)()(1

¾¾ ®¾×× ¥®nxx nhnnhm

K , (4.4.9)

то оценка ),,( yxfn K обладает свойствами:1) она состоятельная;

x

÷÷ø

öççè

æ -*

hxxK i

Рис. 4.4.7

21

0*x hx +*hx -*

ix 1+ix1-ix

÷÷ø

öççè

æ - +*

hxxK i 1

÷÷ø

öççè

æ - -*

hxxK i 1

÷÷ø

öççè

æ -*

hxxK

1

120

2) асимптотически несмещенная: ),,(),,( yxfyxfM nn KK ¾¾ ®¾¥®

;3) асимптотически нормально распределенная.Коэффициенты размытости, удовлетворяющие условиям (4.4.9), имеют

вид

qxx ncnh

jj-=)( , ¥<<

jxc0 , mq /10 << , mj ,1= . (4.4.10)

При использовании квадратичного критерия наилучшего соответствиямежду оценкой и истинной плотностью

òò¥

¥- <<

¥

¥- ×

=-=×)(/101

211 min})],,(),,({[))(,(

Kmqmmmn dxdxxxfxxfMKqI KKKK (4.4.11)

получаем, что

q m= +1 4/ ( ) , (4.4.12)

ядра K( )× – усеченные параболические.Заметим также, что чувствительность функции качества I к виду ядер

K( )× слабая. Функция качества мало отличается по величине длятреугольного, кубического и других ядер, близких по форме к усеченномупараболическому ядру. Усеченность ядер позволяет при реализацииалгоритмов на ЭВМ существенно (в десятки, сотни и тысячи раз) сократитьобъем вычислений. Это обусловлено тем, что каждое ядро охватывает тольконесколько точек ( 2010 -» точек при 1000100 -=n ) всей выборки ивычисления проводятся только для этих точек, а не для всей выборки.

Численный пример. Приведем результаты статистическогомоделирования на ЭВМ. Взята случайная величина, имеющая нормальныйзаконраспределения

)(xf = 2)5.0( 2

21 -

p

x

e .

Выборка генерировалась с помощью датчика псевдослучайных чисел суказанным законом распределения. Оценка Розенблатта – Парзена имеетпараболическое ядро (4.4.4) и коэффициент размытости h n cn( ) /= -1 5 .Оценивание проводилось при различных коэффициентах c > 0 и различныхобъемах выборки. Хорошее сглаживание наблюдается при 5.04.0 ££ c .

121

На рис. 4.4.8 для 4.0=c представлены истинная плотность и ее оценка приразличных n . Качество оценок хорошее при n ³ 100 .

Вводим функцию соответствия (адекватности) оценки и истиннойплотности распределения вероятности

I c nn

f x f xn i ii

n( , ) ( ( ) ( ))= -

=å

1 2

1. (4.4.13)

Графики измененияэтой функции от n прификсированных c и от c прификсированных n приведенына рис. 4.4.9, 4.4.10. Изграфиков видно, чтоосновные изменения функциикачества (4.4.13) происходятпри n £ 500 (для различныхc ). С ростом nчувствительность I к c резкопадает. Это означает, что прибольших n любые c (израссматриваемого интервала[0.1; 0.5]) обеспечиваютоценки одинакового качества.

Адаптивнаяперестройка оценок.Основной недостаток оценокРозенблатта – Парзеназаключается в том, что прирасчете оценки f xn ( ) вкаждой фиксированной точкеx (из области W )необходимо "перелопачивать"выборку, попадающую вобласть действия усеченногоядра. Последовательносмещая x в области W ,приходится многократнообращаться к выборке. Такойспособ обработкиинформации не является

f xn ( )

1

2

0 0 4, 0 8, 1 x

a

4.0;1 == hn

Рис. 4.4.8

f xn ( )

1

2

0 0 4, 0 8, 1 x

д

1.0;1000 == hn

f xn ( )

1

2

0 0 4, 0 8, 1 x

б

18.0;50 == hn

f xn ( )

1

2

0 0 4, 0 8, 1 x

e

087.0;2000 == hn

f xn ( )

1

2

0 0 4, 0 8, 1 x

в

15.0;100 == hn

f xn ( )

1

2

0 0 4, 0 8, 1 x

ж

08.0;3000 == hn

f xn ( )

1

2

0 0 4, 0 8, 1 x

г

11.0;500 == hn

f xn ( )

1

2

0 0 4, 0 8, 1 x

з

07.0;5000 == hn

122

экономичным. Существенной экономии вычислений можно добиться, еслиобрабатывать информацию последовательно по мере ее поступления и еслиотказаться от накопления выборки.

Вдобавок к этому желательно было бы и распараллелить расчеты вцелях повышения быстродействия системы обработки информации.Распараллеливание осуществляется за счет фиксации точек x (из области W ),в которых необходимо иметь значения оценок плотностей. Например, водномерном случае для решения практических задач достаточно иметьоценку плотности в 20–50 дискретных точках x .

В каждой фиксированной точке x ÎW оценку Розенблатта – Парзенавычисляем по формуле (4.4.2) (либо (4.4.8) в многомерном случае), нокоэффициент размытости h делаем зависящим от текущего объема выборкиi :

f xn h i

K x xh in

i

ni( )

( ) ( )=

-æèç

öø÷=

å1 1

1. (4.4.14)

Теперь этой оценке можно придать рекуррентный вид

f x nn

f xn h n

K x xh nn n

n( ) ( )( ) ( )

=-æ

èçöø÷

+-æ

èçöø÷º-

1 1 11

º +-æ

èçöø÷-

æèç

öø÷- -f x

n h nK x x

h nf xn

nn1 1

1 1( )( ) ( )

( ) , 0)(0 =xf . (4.4.15)

I c( )

01.01.0

03.0

05.0

07.0

2.0 3.0 4.0 5.0

n = 50n = 100n = 500

c

Рис. 4.4.10

n = 3000

I n( )

001.0

1000

03.0

K

07.0

09.0

2000 3000 4000 5000

16.0=c 32.0=c 4.0=cn

Рис. 4.4.9

123

Последовательно меняя в этом выражении ),3,2,1( K=nn , мыкорректируем оценку f xn ( ) по мере поступления новых выборочныхзначений xn . Коэффициент размытости здесь меняется по ранееустановленному правилу (4.4.10). Выборку хранить в памяти теперь не надо.Вычислительные устройства, реализованные, например, на микропроцессорахи выполняющие операции, указанные в (4.4.13), могут вести обработкуинформации в реальном масштабе времени.

В многомерном случае формула (4.4.15) приобретает вид

f x nn

f xn h n

Kx xh nn n

jj

m j ji

j( ) ( )

( ) ( )r r=

-æèç

öø÷

+-æ

èçç

ö

ø÷÷ º-

=Õ

1 1 11

1

º +-æ

èçç

ö

ø÷÷ -

æ

èçç

ö

ø÷÷-

=-Õf x

n h nK

x xh n

f xnjj

m j ji

jn1

11

1 1( )( ) ( )

( )r r , (4.4.16)

h n c n qm

j mj jq( ) , , ,= =

+=- 1

41 , 0)(,,3,2,1 0 == xfn r

K .

Метод " K ближайших соседей" (см. параграф 4.3) близок по основнойидее к методу построения оценок Розенблатта – Парзена. В первом из нихучитывается количество ближайших к x точек, во втором – также усеченнымядром выбирается несколько близлежащих к x точек, только теперь формойядра учитывается и вес этих точек. Если ядро прямоугольное, то веса точекодинаковые и обе оценки совпадают. Отличие оценок в форме вычислений. Впервой оценке преобладают логические операции, во второй –арифметические.

4.5. Оценки моментов случайных величин и энтропии

Рассчитаем на основе оценки Розенблатта – Парзена оценки дляматематического ожидания случайной величины $m , дисперсии $D ,математического ожидания функции случайной величины )}({ xM j

),

коэффициента корреляции для двух случайных величин xyk)

, приведённойэнтропии.

Пример 4.5.1. Оценка для математического ожидания имеет вид

=÷øö

çèæ -

=÷øö

çèæ -

= òååò¥

¥-==

¥

¥-

dxh

xxKxhn

dxh

xxKhn

xm in

i

in

i 11

1111)

124

x xh

z x x hz dx hdzii

-= = + =ì

íî

üýþ

, , (4.5.1)

=+=+= òå òå ò-= -= -

])()([1)()(1 1

11

1

11

1

1dzzKzhdzzKx

ndzzKhzx

n

n

ii

n

ii

åå==

=×+=n

ii

n

ii x

nhx

n 11

1]0[1.

Это известная оценка. Она является состоятельной, несмещенной,асимптотически нормально распределенной )/,( 2 nmN s с математическиможиданием mmM n =}{ ) и дисперсией n

nm /22 s=s ) . Здесь m и 2sсоответственно математическое ожидание и дисперсия случайной величиныX .

Пример 4.5.2. Получим теперь оценку дисперсии $D при известномматематическом ожидании m и прямоугольном виде ядра в оценке Розенблатта– Парзена:

$ ( )D x mn h

I x xh

dxi

ni= -

-æèç

öø÷

=-¥

¥

=ò å2

1

1 1 1 12

2

1

1

1nx m hz dzi

i

n( )- + =

-=òå

ååå=®==

-®=+-=+-=n

iih

n

ii

n

ii mx

nhmx

nhmx

n 1

2

0

2

1

22

1

2 )(13

)(1]3

)[(1 . (4.5.2)

Она смещена на величину 32h по сравнению с известной оценкой

å=

-n

ii mx

n 1

2)(1, полученной на основе использования простейшей оценки для

плотности распределения å=

-d=n

iin xx

nxf

1)(1)(

).

Если в оценке плотности вероятности ядро треугольного типа, то

$ [( ) ]Dn

x m hi

i

n= - +

=å

16

2

1

2; (4.5.3)

если ядро параболического типа, то

125

$ [( ) ]Dn

x m hi

i

n= - +

=å

18

2

1

2, (4.5.4)

а при применении кубического ядра

$ [( ) ]Dn

x m hi

i

n= - +

=å

1 215

2

1

2. (4.5.5)

Пример 4.5.3. Вычислим теперь оценку математического ожиданияаналитической функции случайной величины )( Xj при прямоугольном ядрев оценке плотности:

+j

+j=+j=j å òå ò= -= -

hzdx

xdxn

dzhzxn

XMn

i

ii

n

ii

1

1

11

1

1

)()([121)(1)({

)

+j

+j=+j

+ å= !3

)()([121])(

21 2

2

2

1

222

2 hdx

xdxn

dzzhdx

xd in

ii

i K

å=®j>---+

j+

n

iih

i xn

hdx

xd10

4

4

4

)(1]!5

)(K . (4.5.6)

Задание: провести расчеты оценки вышеуказанной величины сиспользованием ядер треугольного, параболического и кубического типов.

Пример 4.5.4. Оценка для коэффициента корреляции имеет вид

=÷ø

öçè

æ -÷øö

çèæ -

--= åò ò=

¥

¥-

¥

¥-

dxdyh

yyKhh

xxKhn

mymxky

i

yx

in

i xyxyx

111))((1

,

)

= --æ

èç

öø÷ -

-æ

èçç

ö

ø÷÷ =

-¥

¥

-¥

¥

=òòå

1 1 11n

x mh

K x xh

dx y mh

K y yh

dyxx

i

xy

i

n

y

i

y( ) ( )

= - -=å

11n

x m y mi xi

n

i y( ) ( ) . (4.5.7)

При неизвестных моментах m mx y, в (4.5.7) будут стоять их оценки.

126

В оценках (4.5.2)–(4.5.6) появилось смещение, обусловленное конечностьюкоэффициентов размытости h . Для ликвидации этого смещения и упрощениярасчетов в оценке плотности вероятности по интегрируемым переменнымцелесообразно брать не дельта-образную функцию, а дельта-функцию.Например, рассмотрим трехмерную случайную величину ( X Y Z, , ) и считаемизвестным, что оценка плотности при дальнейших расчетах входит линейно винтегральное преобразование по y , тогда целесообразно оценку брать в виде

÷øö

çèæ -

-d÷øö

çèæ -

= å= z

iz

zi

x

ix

n

i xn h

zzKh

yyh

xxKhn

zyxf 1)(11),,(1

.

Пример 4.5.5. Вычислим оценку для величины

ò¥

¥-

j=y dyzyxfyzx ),,()(),( .

После подстановки в правую часть приведенной выше оценкиплотности вероятности интеграл (в силу наличия в нем дельта-функции) легковычисляется и мы получаем оценку:

÷øö

çèæ -

j÷øö

çèæ -

=y å= z

i

zi

x

in

i xn h

zzKh

yh

xxKhn

zx 1)(11),(1

.

Энтропия. Это важная статистическая характеристика, котораяиспользуется при количественной оценке информационного содержаниясигнала. Энтропия является мерой неопределенности ситуаций.

Впервые количественная мера неопределенности введена была в 1928году американским инженером по связи Р. Хартли:

H A m( ) log= .

Здесь событие A имеет m возможных исходов. Эта меранеопределенности не учитывает вероятности различных исходов.

К. Шеннону удалось развить понятие меры неопределенности с учетоминформации о вероятностях mpp ,,1 K возможных m исходов:

H A p pii

m

i( ) log= -=å

1.

Если исходы равновероятны ( p p mi = = 1 / , mi ,1= ), тонеопределенность по Шеннону переходит в неопределенность по Хартли.

127

Для дискретной случайной величины X с m возможными состояниямии с вероятностями принятия этих состояний равными mipi ,1, = , энтропиярассчитывается по вышеприведенной формуле.

Для непрерывной случайной величины X используется понятиеприведенной энтропии:

H X f x f x dx( ) ( ) log ( )= --¥

¥

ò . (4.5.8)

Пример 4.5.6. Рассчитаем оценку для приведенной энтропии )(XH .В выражение для приведенной энтропии (4.5.8) подставляем простейшую

оценку å=

-d=n

iin xx

nxf

1)(1)(

) вместо линейно входящей в функционал

плотности f x( ) , а вместо f x( ) под знаком логарифма используем

состоятельную оценку Розенблатта – Парзена ÷÷ø

öççè

æ -= å

= hxx

Khn

xf jn

jn

1

11)( и

получаем состоятельную оценку для энтропии:

åò å=

¥

¥- =-=-d-=

n

iin

n

iinn xf

ndxxx

nxfXH

11)(log1)(1)]([log)( =

= å å= =

úû

ùêë

é÷÷ø

öççè

æ --

n

i

jin

j hxx

Khnn 1 1

11log1, h cn= -1 5/ . (4.5.9)

На рис. 4.5.1 представлены результаты статистического расчета оценкиэнтропии равномерно распределенной случайной величины (истиннаяэнтропия равна нулю) при различных значениях параметра размытости c .

На рис. 4.5.2 представлены те же оценки, но для нормальнораспределенной случайной величины (истинное значение энтропии равно –0.27). Качество оценок хорошее.

Рис. 4.5.1lnn0.1-

Hn

5.0-

0

16.01 =- c32.02 =- c40.03 =- c50.04 =- c2

34

11 2 3

Рис. 4.5.2lnn6.0-

Hn

4.0- 16.01 =- c32.02 =- c40.03 =- c50.04 =- c

27.0-2.0-

1 21 3234

128

Многомерный случай. Энтропия системы случайных величинформально записывается в виде уравнения (4.5.8) с заменой скаляра x навектор:

mmmm dxdxxxfxxfXXH KKKKK 1111 ),,(log),,(),,( ò ò-= =

)},,({log 1 mXXfM K-= .

При построении оценки энтропии заменяем оператор M{}× операторомстатистического усреднения 1 / ( )n ×å , а плотность распределения – оценкойРозенблатта – Парзена, т. е.

H X Xn n h

Kx x

hn mll

m li lj

lj

n

i

n( , , ) log1

111

1 1 1K = -

-æèç

öø÷

é

ëê

ù

ûú

===Õåå , (4.5.10)

где nixxxv milii ,1),,,,,( 1 =KK , – выборка системы случайных величин.