regressão - aula 02/04
TRANSCRIPT
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Análise de Regressão:Estimação, testes e propriedades
Rodrigo de Sá
Fundação de Economia e Estatística, 2011
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Livro texto
Damodar GujaratiEconometria Básica3ª ed. 2005.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Precisão
Sabemos que os nossos estimadores de MQO irão mudarconforme a amostra.
Por isso, precisamos de uma medida de PRECISÃO dessesestimadores.
A medida de precisão utilizada é o ERRO-PADRÃO.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Erros-padrão dos estimadores de MQO
Fórmulas explícitas dos erros-padrão dos estimadores
se(β1
)=
σ√∑x2i
se(β0
)= σ
√ ∑X 2
i
n∑
x2i
Estimador da variância dos resíduos
σ2 =
∑ui
n − 2
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Propriedades dos erros-padrão
O erro-padrão do β1 é diretamente proporcional a σ einversamente proporcional a
∑x2i.
Quanto maior a variabilidade da variável explicativa Xi
maior será a precisão do nosso estimador!Precisamos que a nossa amostra �seja tão variada quantopossível�.
O erro-padrão do β0 é diretamente proporcional a σ e∑X 2
ie inversamente proporcional a
∑x2ie a n.
Se o coe�ciente angular é superestimado o intercepto serásubestimado.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Melhor estimador linear não viesado (MELNV)
Dadas as suposições do modelo clássico de regressãolinear, dizemos que os estimadores de MQO β0 e β1 sãoMELNV, isto é:
São lineares;São não viesados, ou seja, sua média ou valor esperado é
igual ao valor verdadeiro, E(βi
)= βi ;
Eles apresentam a menor variância dentro da classe detodos os estimadores lineares não viesados.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Melhor estimador linear não viesado (MELNV)
Figura: Comparação das distribuições de um estimador de MQO e deoutro estimador
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Melhor estimador linear não viesado (MELNV)
Figura: Distribuição de três estimadores
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
O coe�ciente de determinação (r 2)
Até aqui nos ocupamos de estimar os coe�cientes deregressão, seus erros-padrão e algumas das suaspropriedades.
Mas também temos que analisar o GRAU DE AJUSTE aum conjunto de dados da reta de regressão ajustada(estimada).
Os Yi observados não �cam todos sobre a reta deregressão; temos erros positivos e negativos.
O que esperamos é que esses resíduos sejam tão pequenosquanto possíveis.
O COEFICIENTE DE DETERMINAÇÃO r2 (duasvariáveis) ou R2 (regressão múltipla) é uma medidasintética que diz quão bem a reta de regressão da amostrase ajusta aos dados.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Visualização do r2
Figura: Representação das variações de Y e X
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Derivação do r2
Yi = Yi + ui
yi = yi + ui
y2i = y2i + u2i + 2yi ui∑i
y2i =∑i
y2i +∑i
u2i + 2∑i
yi ui∑i
y2i =∑i
y2i +∑i
u2i
SQT = SQE + SQR
r2 =SQE
SQT
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Componentes da variação do Yi
Figura: Divisão da variação do Yi em dois componentes
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Derivação do r2
r2 =SQE
SQT
r2 =
∑(Yi − Y
)2∑(
Yi − Y)2
r2 = β21
(∑x2i∑y2i
)
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Propriedades do r2
É uma quantidade não negativa.
0 ≥ r2 ≥ 1.
r2 = 1 signi�ca um ajuste perfeito, isto é, Yi = Yi paratodo i .
r2 = 0 signi�ca não há nenhuma relação entre a variávelindependente e a variável explicativa.
β1 = 0 =⇒ Yi = β0 = Y .A melhor previsão para qualquer valor de Y ésimplesmente sua média (incondicional).A reta de regressão será horizontal ao eixo X .
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Coe�ciente de correlação (r)
Figura: Padrões do correlação
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Propriedades do r
Pode ser positivo ou negativo, com o sinal dependendo dacovariância.
−1 ≥ r ≥ 1.
É simétrico por natureza: rXY = rYX .
É independente da origem e da escala.
Se X e Y são ESTATISTICAMENTE INDEPENDENTES,o coe�ciente de correlação entre eles é igual a zero(r = 0)...
...Mas r = 0 não implica que duas variáveis sejamindependentes.
É uma MEDIDA DE ASSOCIAÇÃO LINEAR ouDEPENDÊNCIA LINEAR apenas. (SeY = X 2 =⇒ rYX = 0)
Não implica qualquer relação de causa e efeito.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Modelo clássico de regressão linear (MCRL)
Vimos anteriormente que, dadas as 10 hipóteses clássicasdo modelo de regressão linear, os estimadores de MQO sãoMELNV, isto é, são não viesados e têm variância mínima.
Quais eram as hipóteses sobre os resíduos?
Dentre essas hipóteses, as relativas ao resíduos eram:expectativa zero; não correlacionados; variância constante.
Não havia nenhuma hipótese sobre a distribuição dosresíduos.
Hipóteses corroboravam a estimação de ponto.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Modelo clássico de regressão linear (MCRL)
Vimos anteriormente que, dadas as 10 hipóteses clássicasdo modelo de regressão linear, os estimadores de MQO sãoMELNV, isto é, são não viesados e têm variância mínima.
Quais eram as hipóteses sobre os resíduos?
Dentre essas hipóteses, as relativas ao resíduos eram:expectativa zero; não correlacionados; variância constante.
Não havia nenhuma hipótese sobre a distribuição dosresíduos.
Hipóteses corroboravam a estimação de ponto.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Modelo clássico de regressão linear (MCRL)
Vimos anteriormente que, dadas as 10 hipóteses clássicasdo modelo de regressão linear, os estimadores de MQO sãoMELNV, isto é, são não viesados e têm variância mínima.
Quais eram as hipóteses sobre os resíduos?
Dentre essas hipóteses, as relativas ao resíduos eram:expectativa zero; não correlacionados; variância constante.
Não havia nenhuma hipótese sobre a distribuição dosresíduos.
Hipóteses corroboravam a estimação de ponto.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Modelo clássico de regressão linear normal (MCRLN)
Porém, podemos estar interessados em um intervalo paraas estimativas dos βi .
Intervalos para o estimador possibilitam testes dehipóteses.
Precisamos especi�car a distribuição de probabilidade dasperturbações ui .
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
A hipótese da normalidade
A REGRESSÃO LINEAR NORMAL CLÁSSICA supõe quecada ui se distribua NORMALMENTE, com
média E (ui ) = 0variância E
(u2i)= σ2
covariância: E (ui , uj) = 0, i 6= j .
De maneira concisa, ui ∼ N(0, σ2
).
OBS.: Como para quaisquer duas variáveis distribuídasnormalmente covariância igual a zero implicaindependência, então ui ∼ NID
(0, σ2
).
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Por que a hipótese da normalidade?
Uma das possíveis explicações dos resíduos ui é que elesrepresentam a in�uência combinada (na variável dependente) deum grande número de variáveis independentes que não sãoexplicitamente introduzidas no modelo de regressão.
Esperamos que a in�uência dessas variáveis seja pequena e�aleatória�.Pelo TEOREMA DO LIMITE CENTRAL, com algumasrestrições, a soma de variáveis aleatórias se distribuinormalmente.
A hipótese da normalidade dos resíduos �facilita os cálculos�,pois a soma de variáveis distribuídas normalmente temdistribuição normal.
A distribuição normal é uma distribuição simples, com apenasdois parâmetros (média e variância), e amplamente estudada.
O estimador de MQO sob normalidade coincide com oestimador de MÁXIMA VEROSSIMILHANÇA.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Propriedades dos estimadores de MQO sobnormalidade
Com a hipótese da normalidade, os estimadores de MQO(β0, β1, σ
2
)apresentam as seguintes propriedades estatísticas:
São não viesados. (*)
Tem variância mínima. (*)
estimadores não viesados com variância mínima são ditosestimadores e�cientes.
Consistência, isto é, conforme o tamanho da amostraaumenta inde�nidamente, os estimadores convergem paraseus verdadeiros valores na população. (propriedadeassintótica)
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Propriedades dos estimadores de MQO sobnormalidade
Figura: Consistência: distribuição do estimador conforme o tamanhoda amostra aumenta
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Propriedades dos estimadores de MQO sobnormalidade
β0 se distribui NORMALMENTE com
média E(β0
)= β0
variância σ2β0
=∑
X2
i
n∑
x2i
σ2
concisamente β0 ∼ N(β0, σ
2
β0
).
β1 se distribui NORMALMENTE com
média E(β1
)= β1
variância σ2β1
= 1∑x2
i
σ2
concisamente β1 ∼ N(β1, σ
2
β1
).
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Propriedades dos estimadores de MQO sobnormalidade
(n − 2) σ2/σ2 é distribuída como χ2 (qui-quadrado) comn − 2 graus de liberdade.(β0, β1
)se distribuem independentemente de σ2.
β0 e β1 têm variância mínima em toda a classe deestimadores não-viesados, sejam lineares ou não.
São os MELHORES ESTIMADORES NÃO-VIESADOS(MENV).
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Teste de hipótese
Teste de hipótese
Cuidado para não testar hipóteses demais; quanto mais vocêtorturar os dados, maior a probabilidade de que eles confessem,mas uma con�ssão arrancada à força pode não ser admissívelno tribunal da opinião cientí�ca. (STIGLER, 1987).
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Estimativa de intervalo
Figura: Exemplo consumo x renda
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Estimativa de intervalo
A projeção marginal a consumir estimada, β1, é 0.5091.Quão con�ável é esta estimação?
Podemos construir um intervalo ao redor do estimador deponto de modo que este intervalo tenha, por exemplo, 95%de incluir o verdadeiro valor do parâmetro.
Tentamos descobrir dois números positivos δ e α de modoque a probabilidade do intervalo aleatório(β1 − δ, β1 + δ
)conter o verdadeiro β1 é de 1− α.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Estimativa de intervalo
A projeção marginal a consumir estimada, β1, é 0.5091.Quão con�ável é esta estimação?
Podemos construir um intervalo ao redor do estimador deponto de modo que este intervalo tenha, por exemplo, 95%de incluir o verdadeiro valor do parâmetro.
Tentamos descobrir dois números positivos δ e α de modoque a probabilidade do intervalo aleatório(β1 − δ, β1 + δ
)conter o verdadeiro β1 é de 1− α.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Estimativa de intervalo
A projeção marginal a consumir estimada, β1, é 0.5091.Quão con�ável é esta estimação?
Podemos construir um intervalo ao redor do estimador deponto de modo que este intervalo tenha, por exemplo, 95%de incluir o verdadeiro valor do parâmetro.
Tentamos descobrir dois números positivos δ e α de modoque a probabilidade do intervalo aleatório(β1 − δ, β1 + δ
)conter o verdadeiro β1 é de 1− α.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Estimativa de intervalo
P(β1 − δ ≤ β1 ≤ β1 + δ
)= 1− α
O intervalo, se existir, é chamado INTERVALO DECONFIANÇA.
1− α é o COEFICIENTE DE CONFIANÇA.
0 ≤ α ≤ 1 é o NÍVEL DE SIGNIFICÂNCIA.
Também é a probabilidade de cometer o ERRO TIPO 1,isto é, rejeitar uma hipótese verdadeira.
β1 − δ é o LIMITE DE CONFIANÇA INFERIOR e β1 + δ éo LIMITE DE CONFIANÇA INFERIOR.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Intervalo de con�ança para β1
A variável aleatória
t =β1 − β1ep(β1
)t =
(β1 − β1
)√∑x2i
σ
segue a distribuição t com n − 2 graus de liberdade.
Intervalo de con�ança de β1
A probabilidade de β1 estar entre
β1 − tα/2ep(β1
)≤ β1 ≤ β1 + tα/2ep
(β1
)é de 100 (1− α)%. tα/2 é chamado VALOR CRÍTICO.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Distribuição t
Figura: Distribuição t
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Exemplo consumo X renda
β1 = 0.5091, ep(β1
)= 0.0357 e gl = 8
tα/2 = 2.306
0.5091± 2.306 (0.0357)
0.5091± 0.0823
(0.4268, 0.5914)
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Teste de hipótese e intervalo de con�ança
Figura: Intervalo de con�ança
REGRA DE DECISÃO: Construa um intervalo de 100 (1− α)%para β1. Se β1, segundo H0, se encontrar dentro deste intervalode con�ança, não rejeite H0; mas se β1 se encontrar fora deste
intervalo rejeite H0.
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Teste de hipótese e teste de signi�cância
Podemos contruir um intervalo de con�ança ao redor dovalor que queremos testar e ver se os dados con�rmam ounão essa hipótese.
A região de aceitação é o intervalo
β∗1 − tα/2ep(β1
)≤ β1 ≤ β∗1 + tα/2ep
(β1
)O teste, então, é
t =β1 − β∗1ep(β1
)
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Teste de hipótese e teste de signi�cância
Figura: Intervalo de con�ança para β∗1= 0.3
Análise deRegressão:Estimação,testes e
propriedades
Rodrigo deSá
Precisão epropriedades
Coe�cientededeterminação
ModeloNormal
Teste dehipótese
Teste de hipótese e teste de signi�cância
Figura: Intervalo de con�ança para β∗1= 0.3