ee-240 análise de tendência: regressão linear
DESCRIPTION
EE-240 Análise de Tendência: Regressão Linear. Sir Francis Galton (1822 - 1911) Antropólogo e meteorologista britânico. Regression towards mediocrity in hereditary stature. Journal of the Anthropological Institute , v. 15, pp. 246-263, 1885. - PowerPoint PPT PresentationTRANSCRIPT
EE-240/2009
Análise de Tendência por Regressão LinearEE-240
Análise de Tendência:Regressão Linear
EE-240/2009
Análise de Tendência por Regressão Linear
• Sir Francis Galton (1822 - 1911)
Antropólogo e meteorologista britânico.
• Regression towards mediocrity in hereditary
stature. Journal of the Anthropological Institute, v.
15, pp. 246-263, 1885.
• A altura dos filhos tende a ser aproximar da
média da população (“regressão à média”).
• Atualmente, a palavra “regressão” não é mais
empregada com esse sentido.
EE-240/2009
Análise de Tendência por Regressão Linear
Cenário considerado
• A tendência é significativa ?
• Qual é o tempo predito de falha tf ?
Índice associadoà degradação
Tempo, ou Stress Acumulado
EE-240/2009
Análise de Tendência por Regressão Linear
Cenário considerado
• A tendência é significativa ?
• Qual é o tempo predito de falha tf ?
Índice associadoà degradação
Tempo, ou Stress Acumulado
EE-240/2009
Análise de Tendência por Regressão Linear
Cenário considerado
• A tendência é significativa ?
• Qual é o tempo predito de falha tf ?
Índice associadoà degradação
Tempo, ou Stress Acumulado
tf
EE-240/2009
Análise de Tendência por Regressão Linear
Cenário considerado
tf
EE-240/2009
Análise de Tendência por Regressão Linear
Índice de
degradação
Tempo
Coeficiente linear
(“intercept”) Coeficiente
angular (“slope”)
“Ruído”
(discrepância com
relação à reta)
EE-240/2009
Análise de Tendência por Regressão Linear
Método de Mínimos Quadrados
• Notação:
• Valores observados:
EE-240/2009
Análise de Tendência por Regressão Linear
EE-240/2009
Análise de Tendência por Regressão Linear
• A reta ajustada passa no centróide do conjunto de pontos (ti, yi):
• Os resíduos ei têm média zero:
EE-240/2009
Análise de Tendência por Regressão Linear
• Os resíduos não são correlacionados com o tempo:
EE-240/2009
Análise de Tendência por Regressão Linear
Exemplo
EE-240/2009
Análise de Tendência por Regressão Linear
Exemplo
EE-240/2009
Análise de Tendência por Regressão Linear
Exemplo
EE-240/2009
Análise de Tendência por Regressão Linear
REGRESS Multiple linear regression using least squares.
b = REGRESS(y,X) returns the vector of regression coefficients, b, in the linear model y = Xb, (X is an nxp matrix, y
is the nx1 vector of observations).
>> t = [0 1 4 5 7]'
y = [2 1 8 12 13]'
X = [ones(5,1) t]
b = regress(y,X)
b =
0.8916
1.8554
Exemplo
EE-240/2009
Análise de Tendência por Regressão Linear
Formulação Matricial:
EE-240/2009
Análise de Tendência por Regressão Linear
>> t = [0 1 4 5 7]'
>> y = [2 1 8 12 13]'
>> X = [ones(5,1) t]
>> inv(X'*X)*X'*y
ans =
0.8916
1.8554
EE-240/2009
Análise de Tendência por Regressão Linear
Análise de Variância
(.)2
EE-240/2009
Análise de Tendência por Regressão Linear
Sum of squares about the mean SYY
Dispersão dos valores dedegradação observados
EE-240/2009
Análise de Tendência por Regressão Linear
Sum of squares due to regression SSReg
Dispersão associada aoaumento da degradação (tendência)
EE-240/2009
Análise de Tendência por Regressão Linear
Sum of squares about regression
(Residual Sum of Squares RSS)
Dispersão não explicadapelo modelo de tendência
EE-240/2009
Análise de Tendência por Regressão Linear
RSS
Sum of Squares about the mean SYY
=Sum of Squares due to regression SSReg + Residual Sum of Squares RSS
SYY SSReg
Um índice muito utilizado para avaliar a qualidade da reta ajustada é o coeficiente de
determinação R:
EE-240/2009
Análise de Tendência por Regressão Linear
RSSSYY SSReg
• Se a reta ajustada passasse por todas as observações, a soma quadrática dos resíduos RSS
seria zero (caso ideal).
• Se o modelo descrever adequadamente o comportamento dos dados, espera-se que RSS
seja “pequeno”.
• Formalmente, para que a tendência linear seja considerada significativa, RSS deve ser
significativamente menor que SSReg (teste de hipótese).
EE-240/2009
Análise de Tendência por Regressão Linear
Graus de Liberdade
Se houvesse apenas n = 2 observações, o ajuste sempre seria perfeito (RSS = 0):
Faltam graus de liberdade (“degrees of freedom” - df) para verificar a “qualidade” do modelo.
Ajuste Excelente?
Graus de liberdade (df) = No. observações (n) – No. parâmetros ajustados
EE-240/2009
Análise de Tendência por Regressão Linear
RSSSYY SSReg
• Somas de quadrados devem ser comparadas levando-se em conta os graus
de liberdade associados.
• Para isso, podem-se usar médias quadráticas:
Mean Square = Sum of Squares / Degrees of Freedom
(MS = SS / df)
EE-240/2009
Análise de Tendência por Regressão Linear
RSSSYY SSReg
EE-240/2009
Análise de Tendência por Regressão Linear
• A significância da regressão (isto é, da tendência linear da degradação observada)
pode ser avaliada comparando-se MSReg e s2
EE-240/2009
Análise de Tendência por Regressão Linear
i ~ N(0, 2)
i não correlacionado com j (i j)
Pode-se mostrar que:
Assumindo:
Se 1 = 0 (i.e. se não houver tendência linear) a razão segue
uma distribuição F com 1 e (n – 2) graus de liberdade:
EE-240/2009
Análise de Tendência por Regressão Linear
Teste F para Significância da Regressão
• Hipótese nula H0: 1 = 0 (não há tendência linear)
• Hipótese alternativa H1: 1 0
• Se F > Fcrit = F1–(1, n – 2), pode-se rejeitar a hipótese nula com 100 (1 – ) % de
confiança.
Fcrit
n = 11, = 0.2 Fcrit = 1.91
EE-240/2009
Análise de Tendência por Regressão Linear
EE-240/2009
Análise de Tendência por Regressão Linear
>> X = [ones(n,1) t]
>> b = inv(X'*X)*X'*y
>> yhat = X*b
>> ybar = mean(y)
>> SYY = (y - ybar)'*(y-ybar)
>> SSReg = (yhat -ybar)'*(yhat - ybar)
>> R2 = SSReg/SYY
>> MSReg = SSReg
>> RSS = (y - yhat)'*(y - yhat)
>> s2 = RSS/(n-2)
>> F = MSReg/s2
>> alpha = 0.05
>> Fcrit = finv(1-alpha,1,n-2)
>> p = 1 - fcdf(F,1,n-2)
EE-240/2009
Análise de Tendência por Regressão Linear
n = 11
SYY = 135
SSReg = MSReg = 109
R2 = SSReg/SYY = 0.81
RSS = 25
s2 = RSS/(n – 2) = 2.8
F = MSReg/s2 = 39
= 0.05
Fcrit = 5.1
p = 1.5 10 - 4
Tendência Significativa
EE-240/2009
Análise de Tendência por Regressão Linear
n = 11
SYY = 3370
SSReg = MSReg = 849
R2 = SSReg / SYY = 0.25
RSS = 2520
s2 = RSS/(n – 2) = 280
F = MSReg/s2 = 3.0
= 0.05
Fcrit = 5.1
p = 0.12
Tendência Não Significativa
EE-240/2009
Análise de Tendência por Regressão Linear
Intervalos de confiança para 0 e 1
Sob as hipóteses usuais, pode-se mostrar que:
Estimativas não-polarizadas
Variância aumenta com 2 e diminui com n e STT ou seja, a precisão das estimativas
melhora com:
i) redução no “ruído”
ii) aumento da quantidade de dados coletados
iii) aumento no timespan da coleta de dados
EE-240/2009
Análise de Tendência por Regressão Linear
Intervalos de confiança para 0 e 1
Sob as hipóteses usuais, pode-se mostrar que:
Na prática, não se conhece o valor de e, em seu lugar, pode-se usar a seguinte
estimativa:
EE-240/2009
Análise de Tendência por Regressão Linear
• Erro-padrão de b0 e b1:
EE-240/2009
Análise de Tendência por Regressão Linear
Empregando-se os erros-padrão de b0 e b1 (i.e. usando s no lugar de ), os intervalos de
confiança são dados com base em valores críticos da distribuição T de Student.
x
p(x)
EE-240/2009
Análise de Tendência por Regressão Linear
Com 100 (1 – ) % de confiança, 0 e 1 encontram-se entre os seguintes limites:
>> s = sqrt(s2)
>> tbar = mean(t)
>> STT = (t - tbar)'*(t - tbar)
>> sb0 = s*sqrt(1/n + tbar^2/STT)
>> sb1 = s/sqrt(STT)
>> Tcrit = tinv(1-alpha/2,n-2)
>> b0_min = b0 - sb0*Tcrit
>> b0_max = b0 + sb0*Tcrit
>> b1_min = b1 - sb1*Tcrit
>> b1_max = b1 + sb1*Tcrit
EE-240/2009
Análise de Tendência por Regressão Linear
Exemplo
b0:[-0.1562, 4.1146]
b1:[0.6369, 1.3588]
Valores usados para gerar este exemplo:
0 = 3
1 = 0.8
EE-240/2009
Análise de Tendência por Regressão Linear
Estimação do RULEstimação do RULEstimação do RULEstimação do RULEstimação do RUL
EE-240/2009
Análise de Tendência por Regressão Linear
tf estimado
Estimação do RUL
EE-240/2009
Análise de Tendência por Regressão Linear
= 0.05
Estimação do RUL
EE-240/2009
Análise de Tendência por Regressão Linear
Intervalo de confiança para tf
Estimação do RUL
EE-240/2009
Análise de Tendência por Regressão Linear
Muito Obrigado!