invatare supervizata. clasificare

Ruxandra Stoean

[email protected]

http://inf.ucv.ro/~rstoean

Invatare supervizata. Modele liniare

mailto:[email protected]

http://inf.ucv.ro/~rstoean

Invatare supervizata

Concept

Date de intrare cu iesiri puse la dispozitie

De invatat modul de asociere intrare-iesire

Predictie asupra iesirii unor date noi

Clasificare

Iesiri grupate in doua sau mai multe clase

Iesiri calitative (discrete, factori, categoriale, categorialeordonate) [1]

Predictie asupra clasei unor noi date

Regresie

Iesiri cantitative (continue) [1]

Predictie asupra valorii de iesire pentru intrari noi

[1] Florin Gorunescu, Data Mining: Concepts, Models and Techniques, Intelligent Systems Reference Library, Volume 12,

Springer, 2011

Clasificare

A

A

B

?

Intrari Iesiri

Asociere

Regresie

0.2

?

Intrari Iesiri

Asociere

0.4

0.9

Clasificare, regresie

Date de antrenament

(iesiri cunoscute)

Date de test

(iesiri necunoscute)

ModelInvatare

P

r

e

d

i

c

t

i

e

Invatare supervizata. Definitie [1]

O multime de date - perechi de tip (intrare, iesire)

Intrarea este o secventa de valori pentru atributele datelor

Iesirea este o decizie confirmata

Fiecare inregistrare (obiect, exemplu, vector) este descrisa de un

numar de atribute cu domeniu de definitie discret sau continuu.

Iesirile sunt toate fie discrete (clasificare), fie continue (regresie).

[1] Catalin Stoean, Ruxandra Stoean, Support Vector Machines and Evolutionary Algorithms for Classification: Single or

Together?, Intelligent Systems Reference Library, Volume 69, Springer, 2014

Invatare supervizata. Definitie [1]

Multimea de date se imparte in trei submultimi distincte:

Multimea de antrenament (training)

Multimea de validare

Multimea de test (iesirile datelor sunt ascunse)

Algoritmul invata asocierile dintre fiecare data de antrenament siiesirea sa (faza de antrenament).

Modelul obtinut:

testat pe multimea de validare pentru a ii masura eroarea de predictie

testat pe multimea de test pentru a ii masura abilitatea de generalizare

[1] Catalin Stoean, Ruxandra Stoean, Support Vector Machines and Evolutionary Algorithms for Classification: Single or

Together?, Intelligent Systems Reference Library, Volume 69, Springer, 2014

Exemple

Clasificare – Pima Indians diabetes [1]

Clasa:

pozitiv pentru diabet (clasa 0) – 268 de cazuri

negativ (clasa 1) – 500 de cazuri

Numar

sarcini

Conce

ntratie

glucoz

a la 2

ore

Presiu

ne

diastoli

ca a

sangel

ui

Grosim

e

cutelor

de

piele

de pe

triceps

Insulin

a serica

la 2 ore

Index

masa

corpor

ala

Functie

mostenire

diabet

Varst

a

Clasa

6 148 72 35 0 33.6 0.627 50 1

1 85 66 29 0 26.6 0.351 31 0

8 183 64 0 0 23.3 0.672 32 1

[1] UCI Machine Learning Repository http://archive.ics.uci.edu/ml/

Exemple Regresie - Boston housing [1] – 506 instante

Valoarea medie a caselor in mii de dolari americani

Rata

crime

i

Prop

ortia

de

zone

rezid

ential

e

Prop

ortia

de

maga

zine

mici

Rau

in

apro

piere

Conc

entra

tia de

noxe

Numa

rul

medi

u de

came

re

Prop

ortia

de

cladir

i

ridica

te

inaint

e de

1949

Dista

nta

pana

la

centr

ele de

angaj

are

Acces

ibilit

ate

autos

trazi

Taxe Rapo

rtul

elev-

profe

sor

Prop

ortia

de

afro-

ameri

cani

Proce

ntul

popu

latiei

sarac

a

Val

0.00

632

18.0

0

2.31

0

0 0.53

80

6.57

50

65.2

0

4.09

00

1 296.

0

15.3

0

396.

90

4.98 24.0

0

0.02

731

0.00 7.07

0

0 0.46

90

6.42

10

78.9

0

4.96

71

2 242.

0

17.8

0

396.

90

9.14 21.6

0

0.02

729

0.00 7.07

0

0 0.46

90

7.18

50

61.1

0

4.96

71

2 242.

0

17.8

0

392.

83

4.03 34.7

0

[1] UCI Machine Learning Repository http://archive.ics.uci.edu/ml/

Modele liniare

Suficient de performante pentru un numar mic de date de

antrenament

Regresie

Modelul liniar

Clasificare

Regresia logistica (Logistic regression)

Masini liniare cu suport vectorial

Regresia liniara multipla

m date de antrenament de tipul (X, Y):

X = (X1, X2, …, Xn) un vector de intrare n atribute - variabile independente, explicative, predictive

Y – iesirea (outcome) Variabila dependenta, functie de celelalte variabile, variabila raspuns

Y ia valori continue

Ecuatia de regresie: f(X) = b0 + b1X1+b2X

2 + … + bnXn

b1, b2, …, bn – coeficientii (parametrii) de regresie

b0 – interceptorul, constanta de regresie

Estimarea parametrilor

Metoda celor mai mici patrate (least squares)

Determina coeficientii bj, j = 0, 1, 2,…, n, a.i. sa minimizeze

suma reziduurilor la patrat (SR) pentru datele de

antrenament (xi, yi), i = 1, 2, …, m

𝑆𝑅 = 𝑖=1𝑚 (𝑦𝑖 −𝑓(𝑥𝑖))

2

Reziduul (eroarea) este diferenta dintre valoarea de iesire

reala si cea prognozata prin f.

Exemplu R – regresie liniara simpla

Problema: estimarea duratei de reparatie a unor componente de calculator (in minute) pe baza numarului de componente de reparat[1]

unitati <- c(1, 2, 3, 4, 4, 5, 6, 6, 7, 8, 9, 9, 10, 10)

minute <- c(23, 29, 49, 64, 74, 87, 96, 97, 109, 119, 149, 145, 154, 166)

# Reprezentam grafic x versus y

plot(unitati, minute)

myModel <- lm(minute ~ unitati)

abline(myModel)

[1] S. Chatterjee, A.S. Hadi, Regression Analysis by Example (4th ed.), Wiley, 2006.

Rezultat

e

Y

Ypred

Regresia liniara multipla

Problema: Boston housing

In pachetul mlbench ce trebuie instalat si inclus

Iesirea: medv

Functia lm()

#pentru Boston housing

library(mlbench)

mlm <- lm(medv ~ ., data=BostonHousing)

summary(mlm)

Rezultate si

interpretare

(1/4)

Modelul este:

Y = 36.46 – 0.11*crim + 0.05*zn + 0.21*indus + 2.69*chas –

17.77*nox + 3.81*rm + 0.0007*age – 1.48*dis + 0.31*rad –

0.01*tax – 0.95*ptratio + 0.009*black – 0.52*lstat

Rezultate si interpretare (2/4) Ipoteza: Reziduurile

trebuie sa aiba distributienormala, cu media la 0 sivalorile gresite cat maiaproape de medie si nu la marginea intervalului

Coeficientii de regresie

Eroarea standard a uneicoeficient masoara preciziamodelului in estimareavalorilor necunoscutepentru coeficient (valoaremai mica este mai buna)

Rezultate si interpretare (3/4)

Masura a semnificatieivariabilei

*** semnificatie ridicata

Valoarea p cat mai mica

Deviatia standard a reziduurilor – ideal proportionala cu prima sia treia cuantila (1.5 +/-eroarea standard)

Gradele de libertate –diferenta intre numarul de observatii (date) sinumarul de variabile(coeficienti + interceptor)


R2 evalueaza gradul de

potrivire al modelului cu

datele – ideal aproape de

1.

Modelul explica 74% din

variabilitatea originala, iar

26% e din cauza

variabilitatii reziduurilor.

Testul F compara modelul

cu toti parametrii cu unul

cu mai putini.

Valorea p sugereaza ca

modelul cu toti e potrivit.

Alte ipoteze asupra modelului de regresie

1. ValorileY trebuie sa fie exprimate ca o functie liniara a

variabilelor X.

2. Variatia observatiilor in jurul dreptei de regresie este

constanta (homoscedasticitate).

3. ValorileY (sau erorile) au o distributie normala.

Toate aceste ipoteze pot fi verificate examinand reziduurile [1].

[1] Mike Marin, Checking Linear Regression Assumptions in R, https://www.youtube.com/watch?v=eTZ4VUZHzxw

Grafice de diagnostic

(1/4)

R poate plota graficele de

diagnostic pentru

modelul pe care l-am

potrivit datelor.

Util in mod special cand

regresia este multipla

Nu este posibila

vizualizarea grafica a

modelului

Adaugam la program:

par(mfrow=c(2,2))

plot(mlm, which=1:4)


(2/4)1. Graficul reziduurilor vs.

valorileY prognozate

verifica liniaritatea si

homoscedasticitatea

modelului.

i. Liniaritate – linia rosie ar

trebui sa fie aprox.

orizontala, fara curburi

ii. Homoscedasticitate –

varianta observatiilor in

jurul dreptei y=0 este

constanta (constant

variance).


(3/4)

2. Verificarea ipotezei de

normalitate a

distributiei

reziduurilor (normal

errors)

i. Punctele ar trebui sa

cada pe o linie

diagonala.

3. O alta verificare a

liniaritarii si

homoscedasticitatii.

ii. Reziduurile pentru

fiecare atribut sunt

standardizate


(4/4)

4. Distanta Cook este o

masura a influentei

fiecarei date asupra

coeficientilor de

regresie.

i. Masoara marimea

schimbarii modelului

daca data respectiva este

omisa.

ii. Orice data pentru care

distanta Cook este >=1

sau mult mai mare decat

pentru celelalte puncte

e influenta pentru

model.

Predictia pe date noi

#medv = 12.70

nou <- data.frame(crim = 1.13081, zn = 0.00, indus = 8.140, chas = 0, nox = 0.5380, rm = 5.7130, age = 94.10, dis = 4.2330, rad = 4, tax = 307.0, ptratio = 21.00, black = 360.17, lstat = 22.60)

predict(mlm, nou)

Regresia logistica

m date de antrenament de tipul (X, Y):

X = (X1, X2, …, Xn) un vector de intrare

Y – iesirea (outcome)

Y variabila binara (2 clase)

Problema de clasificare

Regresia logistica

Forma similara cu regresia

Sens diferit

Predictie asupra unei transformari a luiY

Regresia logistica

Transformarea logit

p – proportia de date cu o anumita caracteristica

Ex.: proportia pacientilor cu diagnostic pozitiv pentru o boala

logit 𝑦 = ln𝑝

1−𝑝

p – proportia datelor de clasa y

1-p – proportia datelor de clasa opusa

Modelul logit presupune ca noua iesire este o combinatie liniara

a variabilelor predictive

logit(y) = 𝛼 = b0 + b1X1+b2X

2 + … + bnXn

Regresia logistica

De indata ce rezolvam problema

Calculam 𝛼 pentru un exemplu nou

p=𝑒𝛼

1+𝑒𝛼pentru un exemplu nou

Daca p>= 0.5 atunci clasa = 1; altfel clasa = -1

p – probabilitatea de a apartine primei clase

Ex.: probabilitatea ca un pacient sa fie diagnosticat pozitiv

Estimarea parametrilor

Metoda verosimilitatii maxime (maximum likelihood)

Functia glm() in R

glm - generalized linear model – model liniar generalizat (non-

normal errors, non-constant variance)

Trebuie setat family = binomial pentru ca R sa apeleze regresia

logistica.

#pentru Pima Indians Diabetes

library(mlbench)

mlr <- glm(diabetes ~ ., family=binomial,

data=PimaIndiansDiabetes)

summary(mlr)

Rezultate si

interpretare

(1/5)

Modelul este:

logit(p)=-8.40 + 0.12*pregnant + 0.03*glucose - 0.01*pressure +

0.0006*triceps – 0.001*insulin + 0.09*mass + 0.95 * pedigree + 0.01

* age


Masura a semnificatiei

variabilei

O valoare z mai mare

decat 2 in modul e

semnificativ la nivelul de

p = 0.05.

Coeficientul pentru o

variabila (ca argument al

functiei exponentiale) da

schimbarea proportionala

in variabila raspuns

pentru o schimbare cu o

unitate a valorii variabilei.


Potrivirea modelului se poate determina princalculul diferentei privinddevianta reziduala (residual deviance) dintre un model cu predictori fata de modelul nul (doar cu interceptor).

Se aplica testul chi-patratcu gradele de libertate date de diferenta intre gradelemodelului curent si ale celui nul (i.e. numarul de variabile predictive).

Rezultate si interpretare (4/5)with(mlr, null.deviance - deviance)

with(mlr, df.null - df.residual)

with(mlr, pchisq(null.deviance - deviance, df.null -

df.residual, lower.tail = FALSE))

Valoarea p obtinuta confirma faptul ca modelul este

semnificativ mai bun decat unul nul.

Rezultate si interpretare (5/5) AIC (Akaike information

criterion) este folosit

pentru a compara mai

multe modele pentru

aceeasi multime de date.

Avand astfel si alte

modele (in viitor), vom

putea compara valoarea

AIC de 741.45 cu ale

celorlalte, cel cu valoarea

minima fiind

castigatorul.

Predictia pe date noi p>=0.5, clasa=0; altfel clasa=1

# caz pozitiv cf bazei de date

nou <- data.frame(pregnant=11, glucose=143, pressure=94, triceps=33, insulin=146, mass=36.6, pedigree=0.254, age=51)

predict(mlr, nou, type="response")

# caz negativ

nou2 <- data.frame(pregnant=13, glucose=145, pressure=82, triceps=19, insulin=110, mass=22.2, pedigree=0.245, age=57)

predict(mlr, nou2, type="response")

Predictia pe date noi p>=0.5, clasa=0; altfel clasa=1

# inca un caz negativ

nou3 <- data.frame(pregnant=0, glucose=102, pressure=78, triceps=40,

insulin=90, mass=34.5, pedigree=0.238, age=24)

predict(mlr, nou3, type="response")

Exercitii

Implementati in R un model liniar pentru predictia

cuantumului bacsisului de la restaurant conform problemei

7.1 Tips, pagina 153 [1].

Aplicati in R un model de regresie logistica pentru

discriminarea intre o piesa rock si una clasica conform

problemei 7.12 Music, pagina 171 [1].

[1] Dianne Cook, Deborah F. Swayne, Graphics for Data Analysis. Interactive and Dynamic With R and Ggobi, Springer, 2007

invatare supervizata. clasificare

Documents