Логистическая регрессия в задаче

моделирования обучаемого.

Смирнова Н.В.

ИПУ РАН, 2011 1

действие студента контекст

Событие

«значимых» событий в процессе решения задачи может быть

очень много,

появление одного «значимого» события должно лишь приводить

к небольшому увеличению или уменьшению значения

соответствующего показателя (или показателей),

сигнализировать о необходимости выбора воздействия на

студента должно достижение показателями критических уровней.

Измерение показателей (модель обучаемого)

Использование показателей (модель обучаемого)

Эвристическому алгоритму управления требуются

качественные оценки:

действие студента контекст

Событие

Различным типам ситуаций с учетом их значимости приписываются разные весовые

коэффициенты

Каждый показатель вычисляется по формуле:

В качестве функции, которая берется от суммы весовых коэффициентов, была взята

1

n

ii

E f w

2( )

1 ( )

axf xax

Измерение показателей (модель обучаемого)

[0, 1]E

0 1a b

низ

ср

выс

Задача классификации

- множество описаний объектов,

5

X

Y - множество номеров (наименований классов)

Существует неизвестная зависимость: *:y X Y

Дано: обучающая выборка

Требуется построить алгоритм

: ,X Y

способный классифицировать

x X

(1) (1) ( ) ( ), ,{( ),...,( )}m

m mX x y x y

Логит-модель-1

6

Логит-модель:

{0, 1}y

эл. сообщение: спам/не спам,

цена дома: дорогой/нет

0: не принадлежит классу («не спам»)

1: принадлежит классу («спам»)

( ) ( 1| ; )h x P y x

Если , то считаем, что

Иначе считаем, что

( ) 0.5h x

1y

0y

Неизвестная зависимость, которую должны найти:

Логит-модель-2

( ) ( 1| , ) ( )h x P y x f z

0 1 1...

n nz x x

1( )1 z

f ze

z

( )f z

Вероятность смерти в результате болезни сердца:

Логит-модель-3. Пример

использования

0 1 1 2 2 3 3z x x x 1( ) ,

1 zf z

e

Факторы:

1

x - превышение 50-летия в десятках лет,

2

x - пол (0-муж, 1-жен),

3

x - уровень холестерина, уменьшенный на 5 (ммоль/л),

Пусть

1 2 35.0 2.0 1.0 1.2z x x x

Пусть пациент – мужчина 50 лет с холестерином 7.0

5.0 2.0 0 1.0 0 1.2 (7.0 5.0), ( ) 0.07z f z

Логит-модель-4

0 1 1...

n nz x x

( ) [0,1]f z

действие студента контекст

Событие

0 1, ,...,

n - весовые коэффициенты событий

i

x - количество событий вида i

( )f z - значение показателя, где

Интерпретация:

( ) 0.5f z уровень показателя высокий

Нужно различать: высокий, средний, низкий уровни

Логит-модель-5. Модель обучаемого

Можно каждый показатель характеризовать с

помощью вектора

где

1 2 3

( ( ), ( ), ( )),h x h x h x

( ) ( | , ) ( ), 1,3i

h x P y i x f z i

3

1

( ) 1i

i

h x

Выбирать i нужно на основе

max ( )ii

h x

# - уровень показателя средний,

(0.1,0.6,0.3)

- уровень показателя низкий

(0.8,0.1,0.1)

Параметры находим так:

Логит-модель-6

Как найти ? Т.е. как найти

(1) (1) ( ) ( ), ,{( ),...,( )}m

m mX x y x yДана обучающая выборка:

2( ) ( )

1

1 1( ) ( ( ) )2

mi i

i

J h x ym

( )h x

Составляем:

1,..., ?

n

1,...,

n

Спасибо за внимание!

Инф. источники:

Слайды 1-3 /

статья Смирнова Н.В., Шварц А.Ю. (в печати)

Слайд 4 /

http://ru.wikipedia.org/wiki/Задача_классификации

Слайды 5-7/

http://ru.wikipedia.org/wiki/Логистическая_регрессия

Слайды 9-10/

ml-class.com