СТОХАСТИЧЕСКОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ...

ISSN 0868–5886 НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2011, том 21, № 2, c. 112–119

МАТЕМАТИЧЕСКИЕ МОДЕЛИ, ОБРАБОТКА ДАННЫХ

112

УДК 519.248: 681.5.001.3 П. А. Кучеренко, С. В. Соколов

СТОХАСТИЧЕСКОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ НЕЛИНЕЙНЫХ ДИСКРЕТНЫХ ОБЪЕКТОВ НА ОСНОВЕ ОБОБЩЕННЫХ

ВЕРОЯТНОСТНЫХ КРИТЕРИЕВ

Показана актуальность исследования альтернативных (по отношению к традиционным) методов стохасти-ческого оценивания параметров нелинейных дискретных объектов. Впервые предложен алгоритм опти-мального оценивания параметров математических моделей дискретных нелинейных стохастических объек-тов на основе критерия минимума вероятности ошибки оценивания. Рассмотрен модельный пример, иллю-стрирующий эффективность реализации предлагаемого алгоритма. Кл. сл.: нелинейный дискретный объект, стохастическое оценивание параметров, обобщенные вероятностные критерии, критерий минимума вероятности ошибки оценивания

ВВЕДЕНИЕ

Стохастическое оценивание параметров мате-матических моделей объектов и систем является на сегодняшний день одним из важнейших на-правлений современных исследований для целого ряда практически значимых областей научной деятельности человека — управления различными системами и процессами, имитационного модели-рования, метрологии, приборостроения и пр. Су-ществующие в настоящее время исследования и разработки в данной области рассматривают в ос-новном непрерывные объекты или процессы, про-текающие в непрерывном времени [1–4], при этом аналогичные вопросы, касающиеся такого широ-кого класса моделей, как дискретные модели сто-хастических систем, остаются на данный момент практически не освещенными. Кроме того, разра-ботанные методы стохастического оценивания па-раметров требуют, как правило, для своей удовле-творительной реализации принятия ряда упро-щающих ограничений — линейности математиче-ских моделей объектов и/или наблюдателей, нор-мального вида распределения помех, их аддитив-ности и пр. [5–9]. Ниже предлагается подход к решению задачи стохастического оценивания (идентификации) параметров моделей нелинейных дискретных объектов, позволяющий избавиться от существующих ограничений разработанных мето-дов, а также повысить потенциальную точность процедуры оценивания за счет использования обобщенных (нелинейных) вероятностных крите-риев.

ПОСТАНОВКА ЗАДАЧИ СТОХАСТИЧЕСКОГО ОПТИМАЛЬНОГО ОЦЕНИВАНИЯ

ПАРАМЕТРОВ

Пусть вектор состояния нелинейного дискрет-ного объекта kx задан в самом общем случае раз-ностным уравнением

1 1( , , )k k k k x f x A n , (1)

где (...)f — известная нелинейная вектор-функция с компонентами, допускающими обращение;

1kx — N-мерный вектор переменных состояния на (k -1)-м шаге времени; kn — N-мерный вектор шума с известной N-мерной плотностью распреде-ления вероятности ( )kq n ; 1kA — вектор (или матрица) параметров объекта соответствующей размерности, в общем случае нестационарный.

Наблюдение для k-го момента времени kz раз-мерности M описывается следующим уравнением (в общем случае также нелинейным):

( , )k k kz s x w , (2)

где (...)s — известная нелинейная вектор-функция наблюдения с компонентами, допускающими об-ращение; kw — M-мерный вектор шума с извест-ной M-мерной функцией плотности распределения вероятности ( )kg w . Для сокращения дальнейшей записи набор векторов сигналов наблюдения iz (i = 1,..., k) на текущем интервале времени обозна-чим через 1

kz .

СТОХАСТИЧЕСКОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ...

НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2011, том 21, № 2

113

В рассматриваемом общем нелинейном стохас-тическом случае задача стохастического опти-мального оценивания текущего неизвестного век-торного параметра 1kA может быть сформулиро-вана как задача нахождения его значения, удовле-творяющего некоторому вероятностному крите-рию оптимальности .J В качестве таких критери-ев, обеспечивающих максимальную (потенциаль-но возможную) точность процедуры оценивания, целесообразно использовать нелинейные вероят-ностные критерии, зависимость которых от апо-стериорной плотности вероятности (АПВ) пере-менных состояния 1 1( | ; )k

k kp x z A в общем случае является нелинейной:

1 1 1( | ; ) d ( )kk k k k

X

J Q p W x z A x A , (3)

где Q — известная нелинейная аналитическая функция; X — заданная область пространства со-стояний.

Здесь важно заметить, что различные вариации вида критериальной функции Q позволяют охва-тить достаточно широкий класс вероятностных критериев оптимальности [10].

Таким образом, задача в данной постановке сводится к отысканию текущей апостериорной плотности 1 1( | ; )k

k kp x z A и последующему опре-делению текущего значения искомого векторного параметра объекта 1kA , удовлетворяющего вы-бранному критерию оптимальности J .

СИНТЕЗ АЛГОРИТМА СТОХАСТИЧЕСКОГО ОЦЕНИВАНИЯ ПАРАМЕТРОВ НЕЛИНЕЙНЫХ

ДИСКРЕТНЫХ ОБЪЕКТОВ НА ОСНОВЕ КРИТЕРИЯ МИНИМУМА ВЕРОЯТНОСТИ

ОШИБКИ ОЦЕНИВАНИЯ

Известно [11], что многомерную апостериор-ную плотность вероятности вектора состояния x для k-го момента времени 1 1( | ; )k

k kp x z A можно представить в виде

11 1 *

1

1

121 1 1 1

1

*1 1

( , )( | ; ) ;( )

( , )

... ( | ; ) ( ( , ; ))

d ( ( , )) ;

( ) ... ( , )d ,

k kkk k

k

k k

kkk k k k l

k k k d

k k k k

ph

p q

g

h

x Ax z AA

x A

x z A l x x A Y

x d z x Y

A x A x

, (4)

где 121 1( | ; )k

kkp

x z A — определенная на преды-

дущем (k – 1)-м шаге апостериорная плотность

вероятности вектора состояния объекта; 2k

A —полученная на (k – 1)-м шаге оценка искомого век-тора параметров объекта; 1 1( , ; )k k k l x x A — N-мерный вектор с компонентами, полученными в результате обратного преобразования соответст-вующих компонентов (...)f ; lY — якобиан преоб-разования от вектора переменных kn к вектору

kx ; ( , )k kd z x — M-мерный вектор с компонента-ми, полученными в результате обратного преобра-зования соответствующих компонентов (...)s ;

dY — якобиан преобразования от вектора пере-менных kw к вектору kz .

Тогда с учетом (4) обобщенный вероятностный критерий оптимальности идентификации парамет-ров нелинейной дискретной системы (3) можно окончательно представить следующим образом:

1*

1

( , ) d( )k k

kkX

Jh

x A xA

.

В качестве одного из возможных вариантов критерия оптимальности идентификации J ис-пользуем далее критерий минимума отклонения апостериорной плотности вероятности текущей ошибки оценивания переменных состояния объ-екта ke от заданной функции на выбранном ин-тервале ее предельно допустимого изменения — от mine до maxe , т. е.

max max

1 1min min

21min min ... ( ) ( | ) d

k k

e ek

k k k ke e

J r

A Ae e z e ,

где kk k

e x x — вектор текущей ошибки оцени-

вания, k

x — вектор текущих оценок переменных состояния объекта; 1( | )k

k e z — многомерная апо-стериорная плотность вероятности ошибки оцени-вания; ( )k kr e — эталонная функция, выбираемая исходя из физического смысла и особенностей за-дачи идентификации конкретного объекта.

Учитывая линейную зависимость значений те-кущей ошибки ke от переменной состояния :kx

kk ke x x

, выразим АПВ ошибки оценивания 1( | )k

k e z через определенную ранее АПВ пере-менной состояния объекта 1 1( | ; )k

k kp x z A :

1 1 1( | ) ( | ; )k kkk k kp

e z e x z A .

П. А. КУЧЕРЕНКО, С. В. СОКОЛОВ


114

В этом случае процедуру параметрической идентификации на основе минимизации предло-женного критерия можно представить следующим образом:

max max

1 1min min

max max

1min min

21

2

1 1

min min ... ( ) ( | ) d

min ... ( ) ( | ; ) d .

k k

k

e ek

k k k ke e

e ek

kk k k k ke e

J r

r p

A A

A

e e z e

e e x z A e (5)

Производя соответствующую замену перемен-ных в полученном ранее выражении для АПВ па-раметров состояния (4) и обозначив критериаль-ное выражение через 1( )k A , процедуру мини-мизации критерия (5) можно представить в сле-дующем компактном виде:

)(minmin 111

kkk

J AAA

, (6)

где

max max

min min

max max

min min

2

1 1 1

1*

1

( ) ... ( ) ( | ; ) d

( , )... d .( )

e ek

kk k k k k ke e

e ekk k

kke e

r p

h

A e e x z A e

e x A eA

Здесь важно отметить, что в общем случае ре-шения поставленной задачи вектор текущих оце-

нок переменных состояния объекта k

x , входящий в (6), представляет собой некоторый оператор L от многомерной апостериорной плотности распреде-

ления переменной состояния, т. е. k

x 1 1( | ; )k

k kL p x z A и, следовательно, является нелинейной вектор-функцией от искомого пара-

метра 1 :kA 1k k

x U A . Тогда критериальное выражение в (6) оконча-

тельно можно представить в следующем обоб-щенном виде:

max max

min min

1 11 *

1

( ( ), )( ) ... d( )

e ek k k

k kke e h

e U A AA eA

. (7)

Как было отмечено выше, процедура опти-мального оценивания текущего значения парамет-ра, удовлетворяющего предлагаемому критерию, предполагает минимизацию функции (7) на основе известных методов оптимизации функций многих переменных, вариант применения которых рас-смотрим ниже в процессе численного моделиро-вания конкретной процедуры оценивания.

ПРИМЕР

Проиллюстрируем эффективность предложен-ного метода следующим примером с последую-щим сравнительным анализом полученных ре-зультатов с результатами альтернативного подхо-да к решению поставленной задачи идентифика-ции. Пусть стохастический дискретный объект за-дан нелинейным разностным уравнением

1.31 1 1 1( , )k k k k k k kx f x a n a x n , 1 1x , (8)

где 1ka — неизвестный искомый параметр (для рассматриваемого далее модельного примера ис-ходное значение этого параметра 1 1ka для всех k ( набл1, ,k N , наблN — общее количество дос-тупных измерений); kn — шум объекта с плотно-

стью вероятности 2 2

1( )( )

qbq nn qa qb

(плотностью вероятности Коши) с параметрами 0qa , 0.03qb .

Наблюдение переменных состояния заданного объекта осуществляется дискретным измерителем, описываемым уравнением

1.5( )k k k k k kz s x w c x w ,

где kc — известный параметр наблюдателя (для рассматриваемого далее модельного примера зна-чение параметра 1kc для всех k,); kw — шум измерителя с плотностью вероятности ( )g w

2 2

1( )

gbn ga gb

(плотностью вероятности

Коши) с параметрами 0ga , 0.04gb . Соответственно функция 1( )ka для k-го шага

алгоритма примет вид

max

min

2

1 1 1( ) ( ) ( | ; ) de

kkk k k k k k

e

a r e p e x z a e



115

max

min

2

121 1 1 1 1

*1

( | ; ) ( , ; ) d ( , )( ) d

( )

kk k ke k k k k k k k

k k kke

p x z a q l e x x a x g d z e xr e e

h a

, (9)

1.31 1 1 1 1 1 1 1( , ; ) ( ( ), ; ) ( )kk k k k k k k k k k kq l e x x a q l e U a x a q e U a a x

,

1.51 1( , ) ( , ( )) ( ( ))kk k k k k k k kg d z e x g d z e U a g z c e U a

.

В качестве эталонных функций ( )k kr e ,

набл1, ,k N выберем численно заданные на ин-тервале [ min 1e , max 1e ] зависимости (рис. 1), удовлетворяющие очевидным требованиям к виду АПВ текущей ошибки оценивания для случая кор-ректного (близкого к истинному) определения значения искомого параметра, а именно требова-нию положительной определенности, требованию расположения максимальных значений этой функ-ции вблизи нулевого значения ошибки и одновре-менно достаточно небольшой величины ее инте-грального значения на выбранном интервале. От-метим также, что предлагаемый вариант критерия

позволяет дополнительно учитывать динамиче-ские особенности используемого метода получе-ния оценок переменных состояния (выбор которо-го для данного примера обсуждается ниже), на-пример динамику абсолютной и/или относитель-ной величины получаемых ошибок оценивания на различных временнх интервалах.

Как показали приведенные ниже результаты численных экспериментов, подобная функцио-нальная зависимость ( )k kr e достаточно эффектив-но обеспечивает необходимую точность и ско-рость сходимости алгоритма идентификации для исследуемого объекта.

Рис. 1. График зависимости эталонных функции )( kk er от номера k шага алгоритма идентификации.

ke — ошибка оценивания переменных состояния объекта



116

Рис. 2. Зависимость АПВ текущей ошибки оценивания ),( 1 kk eaV от идентифицируемого параметра 1ka для k-го шага алгоритма (k = 22)

Априорная плотность вероятности для первой

итерации алгоритма задавалась плотностью веро-ятности Коши с параметром сдвига 1.3 и парамет-ром масштаба 0.2.

Определение оценок было произведено с ис-пользованием дискретного нелинейного алгоритма калмановской фильтрации [11] при следующем выборе параметров алгоритма фильтрации: дис-персии шумов объекта и наблюдателя принима-лись равными 0.01nD и 0.05wD соответст-

венно; начальное значение оценки — 1 0.85;x

начальное значение элемента корреляционной матрицы ошибок — 1 1R .

На рис. 2 представлен полученный в результате моделирования график входящей в формулу (9) АПВ текущей ошибки оценивания для k-го шага алгоритма (k = 22), которая, являясь функцией те-кущей ошибки ke , зависит в то же время от значе-

ний искомого параметра 1ka ( 1( | )kkkp e x z

1 1 1( ( ) | ) ( , )k

k k k kp e U a z V a e ).

Определение интегралов, входящих в выраже-ние (9), здесь и в дальнейшем производилось чис-ленно с использованием квадратурных формул с шагом 0.05 . Бесконечные пределы интегриро-вания по переменной состояния x были заменены на конечные значения, удовлетворяющие точност-ным требованиям к алгоритму оценивания ( min 0x , max 4x ).

В качестве одной из интересных особенностей графика рис. 2 можно отметить сравнительную простоту распознаваемости диапазона наиболее вероятных значений текущих оценок искомого па-раметра объекта, удовлетворяющих выбранному критерию, — за счет резкого изменения формы функции 1( , )k kV a e вдоль оси оцениваемого пара-метра 1ka . При этом сечение построенной функ-ции вдоль оси ke (на выбранном интервале [ mine ,

maxe ]), наименее отличающееся от эталонной функции ( )k kr e (а следовательно, и минимум кри-териального выражения (9)), располагается вблизи истинного значения искомого параметра ( 1 1ka ).



117

Наглядным подтверждением этого является при-веденный график самой функции 1( )ka на этом же шаге алгоритма (см. рис. 3).

Как показали результаты моделирования, вид приведенных на рис. 3 зависимостей является ха-рактерным для критериальных выражений, полу-чаемых на различных итерациях алгоритма. Здесь важно отметить, что, имея многоэкстремальный характер, критериальные выражения на различных шагах алгоритма (при k ≥ 17) принимают свои наименьшие значения в районе истинного значе-ния искомого параметра 1 1.0ka (рис. 4).

Для минимизации определенной на очередном шаге алгоритма целевой функции 1( )ka исполь-зовался метод численной минимизации, основан-ный на прямой подстановке набора значений ис-комого параметра (заданных в интервале его воз-можных значений с шагом 0.05) и обеспечиваю-щий в рассматриваемом случае достаточную опе-ративность и удовлетворительную точность полу-чаемых результатов.

Результаты моделирования процедуры нели-нейной параметрической идентификации показа-ли, что при выборе количества дискретных значе-ний сигнала наблюдения k ≥ 17 отклонение оценки

Рис. 3. Зависимость функции критериаль-ного выражения )( 1 ka от искомого па-раметра 1ka для различных шагов k алго-ритма

Рис. 4. График зависимости функ-ции критериального выражения

)( 1 ka от номера k шага работы алгоритма идентификации



118

параметра объекта 1ˆka от его истинного значения 1 1ka не превышает 5–10 % от его величины

(рис. 5). Для анализа сравнительной эффективности

предложенного подхода выберем в качестве аль-тернативного подхода к идентификации парамет-ров заданного объекта (8) один из наиболее из-вестных и широко используемых методов пара-метрического оценивания — метод наименьших квадратов (МНК) и сопоставим полученные ре-зультаты рассмотренных методов.

Критерий МНК, подлежащий минимизации по переменным состояния объекта и искомому пара-метру, в рассматриваемом случае формулируется следующим образом [13]:

набл 2 2

11

ˆ ˆ ˆ ˆ( , ) ( )N

k k k kk

E x f x a z s x

.

Соответственно, расширенный вектор оценок переменных состояния и искомого параметра A , определяемый по методу наименьших квадратов, определится как

набл

1

2ˆ

ˆˆ

ˆ ˆ arg min( )

ˆ

A

N

ax

A x E

x

. (10)

Процедура минимизации в (10) производилась на основе одного из достаточно распространенных методов прямой оптимизации — метода Нелде-ра—Мида, показавшего наилучшие результаты из всех исследованных минимизационных процедур для данного примера. Указанный метод был реа-лизован с использованием стандартного набора методов оптимизации среды математических вы-числений Mathematica.

На рис. 5 представлены полученные в результа-те моделирования зависимости значений оценок искомого параметра от количества произведенных наблюдений (номеров шагов работы алгоритма) для обоих рассмотренных выше подходов.

Сравнительный анализ приведенных зависимо-стей показывает, что, несмотря на менее уверен-ную работу предлагаемого алгоритма в начальный интервал времени (при k < 17), значения оценок искомого параметра, получаемые в дальнейшем, оказываются значительно более близкими к его истинной величине, чем при использовании аль-тернативного подхода на основе МНК. Кроме то-го, приведенный график наглядно демонстрирует качественное расхождение в тенденциях измене-ния получаемых оценок параметров с увеличени-ем времени работы алгоритма идентификации.

Представленные результаты исследований под-тверждают принципиальную возможность эффек-тивной реализации предложенного метода пара-метрической идентификации с использованием обобщенных вероятностных критериев, и в част-ности с использованием критерия минимума от-клонения АПВ ошибки оценивания от заданной функции.

Рис. 5. Зависимости значений 1ˆ kaоценки искомого параметра от ко-личества наблюдений для двух рас-смотренных подходов



119

ЗАКЛЮЧЕНИЕ

Таким образом, в работе получено решение за-дачи стохастического оптимального оценивания параметров нелинейных дискретных объектов, об-ладающее рядом новых свойств:

– более высоким по сравнению с традицион-ными методами уровнем потенциальной точности процесса идентификации параметров за счет ис-пользования обобщенных вероятностных критери-ев, зависящих в общем случае нелинейно от АПВ распределения вектора состояния и позволяющих охватить широкий класс условий оптимальности;

− возможностью его использования при раз-личных видах плотности распределения вероятно-сти шума как объекта, так и наблюдателя;

− отсутствием ограничений на использование предлагаемого подхода также и для нестационар-ных неизвестных параметров стохастических объ-ектов;

− принципиальной возможностью применения метода для нелинейных дискретных объектов и наблюдателей, в том числе при нелинейной зави-симости функции объекта от искомого параметра.

Работа выполнена при поддержке РФФИ (грант

№ 10-07-00158).

СПИСОК ЛИТЕРАТУРЫ

1. Каргин А.В., Фатуев В.А. Об одном методе струк-турно-параметрической идентификации динамиче-ских систем // Автоматика и телемеханика. 2006. № 4. С. 116–125.

2. Мамай В.И., Сотников В.И., Щербань О.Г. Субоп-тимальная параметрическая идентификация нели-

нейных динамических систем // Известия вузов. Радиоэлектроника. 2005. № 3. С. 15–23.

3. Narayanan M., Narayanan S. Parametric identification of nonlinear systems using multiple trials // Nonlinear Dynamics. 2007. N 4. P. 341–360.

4. Blasco X., Herrero J.M., Martinez M. Nonlinear pa-rametric model identification with Genetic Algorithms. Application to a Thermal Process // Lecture Notes in Computer Science. 2001. V. 2084. P. 466–512.

5. Льюнг Л. Идентификация систем. Теория для поль-зователя. М.: Наука, 1991. 432 с.

6. Гроп Д. Методы идентификации систем. М.: Мир, 1979. 302 с.

7. Справочник по теории автоматического управления / Под ред. А.А. Красовского. М.: Наука, 1987. 712 с.

8. Штейнберг Ш.Е. Идентификация в системах управления. М.: Энергоатомиздат, 1987. 87 с.

9. Сейдж Э., Мелса Дж. Идентификация систем управления. М.: Мир, 1974. 248 с.

10. Хуторцев В.В., Соколов С.В., Шевчук П.С. Сов-ременные принципы управления и фильтрации в стохастических системах. М.: Радио и связь, 2001. 808 с.

11. Тихонов В.И., Харисов В.Н. Статистический анализ и синтез радиотехнических устройств и систем. М.: Радио и связь, 1991. 608 c.

12. Левин Б.Р. Теоретические основы статистической радиотехники. М.: Радио и связь, 1989. 656 с.

13. Эйкхофф П. Основы идентификации систем управления. М.: Мир, 1975. 680 с.

Ростовский государственный университет путей сообщения, г. Ростов-на-Дону Контакты: Кучеренко Павел Александрович, [email protected] Материал поступил в редакцию 24.10.2010.

THE STOCHASTIC ESTIMATION PROCEDURE OF THE PARAMETERS OF THE NONLINEAR DISCRETE OBJECTS

BASED ON THE GENERALIZED PROBABALISTIC CRITERIONS

P. A. Kucherenko, S. V. Sokolov

Rostov State University of Transport Communication, Rostov-on-Don

The relevance of researching of the alternative (against to the traditional) methods of the stochastic estima-tion of parameters for the nonlinear discrete objects is shown. For the first time the algorithm for the optimal es-timation of the parameters for the mathematical models of the discrete nonlinear stochastic objects on the ground of the minimum probability criterion of the estimation error for the proposed algorithm is suggested. The model example, illustrating the efficiency for realization of the suggested algorithm is considered. Keywords: nonlinear discrete plant, stochastic parameters estimation, generalized probabilistic criteria, minimum criterion of the estimation error probability

СТОХАСТИЧЕСКОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ...

Documents