regressão - aula 01/04

Análise deRegressão:Introdução

Rodrigo deSá

Natureza daregressão

Conceitos daregressão(população)

Conceitos daregressão(amostra)

Estimação

Hipóteses

Análise de Regressão:Introdução

Rodrigo de Sá

Fundação de Economia e Estatística, 2011


Rodrigo deSá




Estimação

Hipóteses

Livro texto

Damodar GujaratiEconometria Básica3ª ed. 2005.


Rodrigo deSá




Estimação

Hipóteses

Interpretação da regressão

Variável DEPENDENTE: a variável que se quer explicar.

Arrecadação.

Variáveis EXPLICATIVAS: as variáveis utilizadas paraexplicar a variável dependente.

Renda, consumo, taxa de juros, etc.

OBJETIVO: estimar/prever o VALOR MÉDIO dadependente em termos dos valores conhecidos das variáveisexplicativas.

O resultado é a ESPERANÇA CONDICIONAL da variávelDEPENDENTE dada as (realizações) das variáveisEXPLICATIVAS.


Rodrigo deSá




Estimação

Hipóteses

Exemplo 1 - Alturas

Para cada país, região, etc., pode-se calcular umaALTURA MÉDIA.

Também pode-se comparar a altura média de dois países(A é maior do que B ou não se pode a�rmar que sãoestatisticamente diferentes?) usando um teste de diferençade médias.

Mas pode-se ir além: Pode-se calcular a ALTURA MÉDIAde um determinado grupo da população de um pais, porexemplo, qual é a altura média dos �lhos de país quemedem 1,83cm?


Rodrigo deSá




Estimação

Hipóteses

Exemplo 1 - Alturas

Figura: Altura dos �lhos correspondentes a dadas alturas dos pais


Rodrigo deSá




Estimação

Hipóteses

Exemplo 2 - In�ação versus desemprego

Figura: Curva de Phillips hipotética


Rodrigo deSá




Estimação

Hipóteses

Relações estatísticas versus deterministas

Nas RELAÇÕES ESTATÍSTICAS lidamos com variáveisALEATÓRIAS (ou ESTOCÁSTICAS), ou seja, aquelas quetêm distribuição de probabilidade.

Mesmo se conhecermos a renda, taxa de impostos, etc. deum consumidor, podemos apenas ESTIMAR qual será oseu gasto, E (C |W , τ) = f (W , τ).

Nas RELAÇÕES DETERMINISTAS (ou FUNCIONAIS)podemos calcular exatamente o valor da variáveldependente.

Conhecendo a massa de dois corpos e a distância entreeles, podemos calcular a força de atração entre elas,F = k

m1m2

d2.

Mas mesmo na Física existem áreas onde as relações nãosão determinísticas, como a Física Quântica!


Rodrigo deSá




Estimação

Hipóteses

Regressão versus causação

Um agrônomo pode estar interessado em estudar adependência do rendimento da colheita de trigo em relaçãoà temperatura, chuva e quantidade de fertilizantes.

Porém, sem uma teoria, a regressão sozinha não dá razãoestatística para supor que a precipitação de chuva nãodependa do rendimento da colheita.

Sabemos, pelo bom senso, que a altura dos �lhos dependeda altura dos país, e não o contrário! Os �lhos nascemdepois dos pais.

Mas e a in�ação e o desemprego? Qual variável determinaqual?


Rodrigo deSá




Estimação

Hipóteses

Regressão versus correlação

São relacionadas, porém apresentam diferenças.

Na análise de CORRELAÇÃO estamos interessados nograu de associação entre duas variáveis.

Na análise de REGRESSÃO estamos interessados emprever ou estimar o valor médio de uma variável (emfunção das outras variáveis do modelo).

Na análise de CORRELAÇÃO tratamos as duas variáveissimetricamente

Na análise de REGRESSÃO tratamos a variávelDEPENDENTE como ESTOCÁSTICA e as variáveisEXPLICATIVAS como DETERMINADAS.


Rodrigo deSá




Estimação

Hipóteses

A natureza dos dados

DADOS DE SÉRIE TEMPORAL: um conjunto deobservações dos valores que uma variável assume emdiferentes momentos do tempo.

Exemplo: arrecadação anual do RS nos anos{t = 1980, 1981, ..., 2010}.

DADOS DE CORTE (CROSS-SECTION): dados de umamesma variável coletados para vários indivíduos em umdeterminado ponto do tempo.

Exemplo: arrecadação anual em 2010 dos municípiosgaúchos {i = 1, 2, ..., 496}.

DADOS COMBINADOS (DADOS DE PAINEL):observações de vários indivíduos em vários instantes dotempo.

Exemplo: arrecadação anual de cada um dos municípiosgaúchos de 1980 a 2010,{i = 1, ..., 496, t = 1980, ..., 2010}.


Rodrigo deSá




Estimação

Hipóteses

Exemplo 3 - Consumo X Renda

Figura: Consumo e renda familiar semanal

(18)(37)


Rodrigo deSá




Estimação

Hipóteses


Figura: Dispersão do consumo em função da renda


Rodrigo deSá




Estimação

Hipóteses


Figura: Probabilidades condicionais do consumo


Rodrigo deSá




Estimação

Hipóteses


Figura: Reta de regressão da população


Rodrigo deSá




Estimação

Hipóteses

Função de regressão populacional (FRP)

Pelo exemplo vemos que a média condicional de gastos decada família E (Y |Xi ) é uma função de Xi . Assim,

E (Y |Xi ) = f (Xi )

E (Y |Xi ) = β0 + β1Xi .

β0 e β1 são coe�cientes desconhecidos, porém �xos,chamados de COEFICIENTES DE REGRESSÃO. São elesque queremos estimar.

FUNÇÃO DE REGRESSÃO LINEAR DA POPULAÇÃO.


Rodrigo deSá




Estimação

Hipóteses

O signi�cado do termo �linear�

LINEAR NAS VARIÁVEIS

Exemplo: E (Y |Xi ) = β0 + β1Xi .

LINEAR NOS PARÂMETROS

Exemplo:E (Y |Xi ) = β0 + β1X2

i.

Exemplo: E (Y |Xi ) = β0 + β1 logXi .

NÃO LINEAR:

Exemplo: E (Y |Xi ) = β0 + β21Xi .


Rodrigo deSá




Estimação

Hipóteses

O signi�cado do termo �linear�

Figura: Funções lineares nos parâmetros


Rodrigo deSá




Estimação

Hipóteses

Especi�cação estocástica da FRP

Voltemos ao exemplo (11) e vejamos o consumo especí�code cada família (e não a sua média) em função da renda.Ele sempre aumenta?

Podemos dizer que o consumo de uma família Yi especí�casitua-se ao redor do consumo médio de todas as famíliascom renda X = Xi , ou seja, em torno da sua expectativacondicional.


Rodrigo deSá




Estimação

Hipóteses

Especi�cação estocástica da FRP

Assim, podemos expressar o DESVIO de um indivíduo Yi

em torno do seu valor esperado:

ui = Yi − E (Y |Xi )

Yi = E (Y |Xi ) + ui

Yi = β0 + β1Xi + ui .

Tomando o valor esperado condicional de ambos os lados:

E (Yi |Xi ) = E [E (Y |Xi ) |Xi ] + E (ui |Xi )

E (Yi |Xi ) = E (Y |Xi ) + E (ui |Xi )

E (ui |Xi ) = 0.

A hipótese de que a reta de regressão passa pela médiacondicional de Y implica que os valores médioscondicionais do erro são zero. EM MÉDIA NÃOERRAMOS!


Rodrigo deSá




Estimação

Hipóteses

O signi�cado do termo de pertubação estocástico

O DESVIO ou TERMO DE PERTURBAÇÃOESTOCÁSTICO pode ser entendido como o componenteassistemático �substitui� todas as variáveis que afetam Y

que não estão no modelo. Por que não aumentar o númerode variáveis?

1 Imprecisão da teoria.1 A Teoria Econômica pode não explicitar todas as variáveis

que afetam uma outra.2 É certo que a renda afeta o consumo, mas quais outras

variáveis também o fazem?

2 Indisponibilidade de dados.1 Mesmo que saibamos que variáveis afetam a nossa variável

de interesse, pode ser que não tenhamos acesso a váriasdelas.

3 Variáveis essenciais versus variáveis periféricas.1 Podemos decidir não usar algumas variáveis por

acreditarmos que o seu efeito é pequeno.


Rodrigo deSá




Estimação

Hipóteses

O signi�cado do termo de pertubação estocástico

1 Casualidade intrínseca no comportamento humano.2 Variáveis proxy fracas.

1 As variáveis utilizadas podem não ser medidas acuradas.2 Exemplo: renda permanente da função de consumo

proposta por Milton Friedman.

3 Princípio da parcimônia.

1 Seguindo a navalha de Ocan, gostaríamos de deixar onosso modelo de regressão tão simples quanto possível.

4 Forma funcional errada.


Rodrigo deSá




Estimação

Hipóteses

Função de regressão amostral

Mas nós não conhecemos a população!

Por isso precisamos estimar a função de regressão amostralpara fazermos inferência sobre a função de regressãopopulacional.


Rodrigo deSá




Estimação

Hipóteses


Figura: Amostras aleatórias


Rodrigo deSá




Estimação

Hipóteses


Figura: Retas de regressão baseadas em duas amostras diferentes


Rodrigo deSá




Estimação

Hipóteses

Função de regressão amostral estimada

Yi = β0 + β1Xi

Yi é o estimador de E (Y |Xi ).

βi é o estimador de βi .

Assim:

Yi = β0 + β1Xi + ui


Rodrigo deSá




Estimação

Hipóteses

Retas de regressão

Figura: Regras de regressão da amostra e da população


Rodrigo deSá




Estimação

Hipóteses

Exercício 1

Os modelos a seguir são lineares nos parâmetros, nas variáveis,em ambos ou em nenhum?


Rodrigo deSá




Estimação

Hipóteses

Exercício 2

A seguinte reta de regressão é FRP ou FRA? Por que? Comovocê interpretaria os pontos dispersos em torno da reta deregressão? Além do PIB que outros fatores, ou variáveis,poderiam determinar a despesa de consumo pessoal?


Rodrigo deSá




Estimação

Hipóteses

O método dos mínimos quadrados ordinários (MQO)

Queremos estimar Yi = β0 + β1Xi + ui através deYi = β0 + β1Xi + ui = Yi + ui .

Fazemos isso minimizando

∑u2i =

∑(Yi − Yi

)2∑

u2i =∑(

Yi − β0 + β1Xi

)2.

Resolvendo...


Rodrigo deSá




Estimação

Hipóteses

Estimador de MQO

Estimador da inclinação

β1 =

∑(Xi − X

) (Yi − Y

)∑(Xi − X

)2β1 =

∑(Xi − X

)Yi∑

X 2

i − nX 2

β1 =

∑(Yi − Y

)Xi∑

X 2

i − nX 2

Estimador do intercepto

β0 = Y − β1X


Rodrigo deSá




Estimação

Hipóteses


Figura: Consumo e renda familiar


Rodrigo deSá




Estimação

Hipóteses


Figura: Calculando...


Rodrigo deSá




Estimação

Hipóteses


Figura: Reta de regressão estimada


Rodrigo deSá




Estimação

Hipóteses

Propriedades numéricas dos estimadores de MQO

1 Os estimadores de MQO são expressos exclusivamente emtermo das quantidades observadas pela amostra (Y e X ).

2 Eles são ESTIMADORES DE PONTO, isto é, dada umaamostra, cada estimador fornecerá um único ponto doparâmetro relevante da população.

3 Depois de obter as estimativas de MQO (β0e β1), pode-seobter facilmente a reta de regressão da amostra, queapresenta as seguintes propriedades:

1 Ela passa pelas médias de Y e X .2 O valor médio do Y estimado é igual ao valor médio do Y

real (observado na amostra).3 O valor médio dos resíduos é zero.4 Os resíduos não tem correlação com o Y previsto,5 Os resíduos não tem correlação com o X .


Rodrigo deSá




Estimação

Hipóteses

Hipóteses subjacentes ao MQO

O objetivo é utilizar β0 e β1 para fazermos inferência sobreβ0 e β1 e Yi para tentarmos saber algo sobre E (Y |Xi ).

Para isso precisamos de hipóteses estatísticas sobre comoas variáveis são geradas (suas distribuições deprobabilidade).

O MODELO CLÁSSICO (OU PADRÃO, OUGAUSSIANO) DE REGRESSÃO LINEAR (MCRL) têm 10hipóteses que vão garantir suas propriedades estatísticas.


Rodrigo deSá




Estimação

Hipóteses

1. Linear nos parâmetros

Caso contrário, estaríamos estimando um modeloespeci�cado de forma incorreta!

Lembrem-se que o modelo PODE ser não-linear nasvariáveis.


Rodrigo deSá




Estimação

Hipóteses

2. X �xados

Os valores das variáveis explicativas (Xi ) são �xados emamostragem repetida.

As variáveis explicativas são não-estocásticas.

Isso implica que a análise de regressão é condicional aosdados valores do regressor.

Mais uma vez o exemplo do consumo! (11)


Rodrigo deSá




Estimação

Hipóteses

3. O erro tem média zero

Dado o valor de Xi , o valor médio do termo de perturbaçãoaleatória ui é zero,

E (ui |Xi ) = 0.

Isto implica que os fatores não incluídos explicitamente nomodelo (e, portanto, incluídos em ui ) não afetamsistematicamente o valor médio de Y .

Assim,

E (Yi |Xi ) = β0 + β1Xi .


Rodrigo deSá




Estimação

Hipóteses

3. O erro tem média zero

Figura: Distribuição condicional do erro


Rodrigo deSá




Estimação

Hipóteses

4. Homoscedasticidade

Os erros são HOMOCEDÁSTICOS, ou seja, suaVARIÂNCIA É CONSTANTE PARA QUALQUER VALORDE Xi .

var (ui |Xi ) = E (ui − E (ui ) |Xi )2

var (ui |Xi ) = E(u2i |Xi

)var (ui |Xi ) = σ2.

Se os erros fossem HETEROCEDÁSTICOS, poderíamosdenotar a sua variância como var (ui |Xi ) = σ2i .


Rodrigo deSá




Estimação

Hipóteses


Figura: Erros homocedásticos


Rodrigo deSá




Estimação

Hipóteses


Figura: Erros heterocedásticos


Rodrigo deSá




Estimação

Hipóteses


Exemplos

Homocedástica: o consumo aumenta com a renda, mas avariabilidade é igual tanto para pessoas com maior oumenor renda.Heterocedástica: o consumo aumenta com a renda, mas avariabilidade também aumenta com a renda. Indivíduospobres, em geral, consomem toda a renda (poucavariabilidade). Indivíduos mais ricos podem consumirgrande parte da renda como também podem poupá-la.

É importante que os erros tenham variância constante poiso modelo clássico considera todos os Yi importantes.


Rodrigo deSá




Estimação

Hipóteses

5. Os erros não são correlacionados entre si

Não existe nenhuma autocorrelação entre as perturbações.

Dados dois valores Xi e Xj quaisquer (i 6= j), a correlaçãoentre ui e uj é zero.

cov (ui , uj |Xi ,Xj) = 0.

Caso contrário, Yt dependeria também de ut−1, e não sódas variáveis explicativas.


Rodrigo deSá




Estimação

Hipóteses

5. Os erros não são correlacionados entre si

Figura: Padrões de correlação entre os erros.


Rodrigo deSá




Estimação

Hipóteses

6. Os erros não são correlacionados com X

A perturbação u e a variável explanatória X não temcorrelação.

cov (ui ,Xi ) = 0.

Essa hipótese é necessária porque precisamos separar osefeitos de X e u sobre o Y ; caso contrário, não saberíamosque parte do efeito atribuiríamos às variáveis e aos erros.

Essa hipótese abre espaço para que o X também sejaestocástico!


Rodrigo deSá




Estimação

Hipóteses

7. Observações su�cientes

O número de observações n deve ser maior do que onúmero de parâmetros a serem estimados (número devariáveis explicativas).

Quantos pontos precisamos para traçarmos uma reta?


Rodrigo deSá




Estimação

Hipóteses

8. Variabilidade de X

Os valores X em uma dada amostra não podem ser todosiguais.

Isto é, var (X ) > 0.

O que aconteceria na fórmula do estimador caso contrário?

O que aconteceria se regredirmos a arrecadação dosgovernos municipais gaúchos contra a unidade dafederação a qual pertencem?


Rodrigo deSá




Estimação

Hipóteses

9. Especi�cação correta

O modelo de regressão está corretamente especi�cado.

Isto é, não há nenhum viés de especi�cação.


Rodrigo deSá




Estimação

Hipóteses

9. Especi�cação correta

Figura: Curvas de Phillips linear e não-linear.


Rodrigo deSá




Estimação

Hipóteses

10. Ausência de multicolinearidade

Não há relação lineares perfeitas entre as variáveisexplicativas.

Voltaremos a esse ponto quando tratarmos de regressãomúltipla.

regressão - aula 01/04

Education