chapter 10: multicollinearity - hem | karlstads universitet consequences of heteroskedasticity ols...

Chapter 10: MulticollinearityChapter 10: Multicollinearity

Iris Wang

iris.wang@kau.se

Econometric problemsEconometric problems

MulticollinearityWhat does it mean? A high degree of correlation amongst theexplanatory variablesWhat are its consequences? It may be difficult to separate outWhat are its consequences? It may be difficult to separate outthe effects of the individual regressors. Standard errors maybe overestimated and t‐values depressed. Note a symptom may be high R2 but low t valuesNote: a symptom may be high R2 but low t‐valuesHow can you detect the problem? Examine the correlationmatrix of regressors ‐ also carry out auxiliary regressions

t thamongst the regressors. Look at the Variance‐inflating factor (VIF)

NOTENOTE: be careful not to apply t tests mechanically without checking for multicollinearitymulticollinearity is a data problem, not a misspecification problemmulticollinearity is a data problem, not a misspecification problem

Variance‐inflating factor (VIF)Variance inflating factor (VIF)

Multicollinearity inflates the variance of anMulticollinearity inflates the variance of an estimator 

VIF = 1/(1 R 2)VIFJ = 1/(1‐RJ2)

where RJ2 measures the R2 from a regression of X h h X i bl /Xj on the other X variable/s

⇒serious multicollinearity problem  if VIFJ>5

Econometric problemsEconometric problems

HeteroskedasticityHeteroskedasticity

What does it mean? The variance of the error term is not t tconstant

What are its consequences? The least squares results l ffi i d d lare no longer efficient and t tests and F tests results may 

be misleading

H d t t th bl ? Pl t th id l i tHow can you detect the problem? Plot the residuals against each of the regressors or use one of the more formal tests

Ho can e remed the problem? Respecif the modelHow can we remedy the problem? Respecify the model –look for other missing variables; perhaps take logs or choose some other appropriate functional form; or make sure relevant variables are expressed “per capita”p p p

The Homoskedastic CaseThe Homoskedastic Case

The Heteroskedastic CaseThe Heteroskedastic Case

The consequences of heteroskedasticity

OLS estimators are still unbiased (unless there are also i d i bl )omitted variables)

However OLS estimators are no longer efficient or minimum varianceminimum varianceThe formulae used to estimate the coefficient standard errors are no longer correct• so the t-tests will be misleading• confidence intervals based on these standard errors will be

wrong

Detecting heteroskedasticityDetecting heteroskedasticity

Visual inspection of scatter diagram or the residuals

Goldfeld‐Quandt test suitable for a simple form of heteroskedasticitysuitable for a simple form of heteroskedasticity

Goldfeld‐Quandt test (JASA, 1965)Goldfeld Quandt test (JASA, 1965)

P. 382, Suppose it looks as if σ i = σ XiP. 382, Suppose it looks as if σui   σuXii.e. the error variance is proportional to the square of one of the X’sqRank the data according to the variable and conduct an F test using RSS2/RSS12 1

where these RSS are based on regressions using the first and last [n‐c]/2 observations [c is a 

l f d ll b f ]central section of data usually about 25% of n]Reject H0 of homoskedasticity if Fcal > Ftables

RemediesRemedies

Respecification of the modelRespecification of the modelInclude relevant omitted variable(s)Express model in log-linear form or some other p gappropriate functional formExpress variables in per capita form

Where respecification won’t solve the problem use robust Heteroskedastic Consistent Standard Errors (due to Hal White Econometrica 1980)Errors (due to Hal White, Econometrica 1980)

Basic Econometrics, Spring 2012

Chapter 11: Heteroskedasticity

Iris Wangg

iris.wang@kau.se

1

Chapter 11: Heteroskedasticity

Definition:Heteroskedasticity occurs when the constant variance assumption, i.e. Var(ui|Xi)= σ2, fails. This happens when variance of the error term (ui) changes across different values of Xi. Heteroskedasticity is present if theof Xi.

Example: Savingsi=α0+α1income+ui

Heteroskedasticity is present if thevariance of unobserved factorsaffecting savings (ui) increases with income

- Higher variance of ui for higherHigher variance of ui for higherincome

2

Ch t 11 H t k d ti itChapter 11: Heteroskedasticity

Outline1. Consequences of Heteroskedasticity2. Testing for Heteroskedasticity

3

1. Consequences of Heteroskedasticity

• OLS is unbiased and consistent under the following 4 assumptions:p– Linear in parameters

– Random sampling

No perfect collinearity– No perfect collinearity

– Zero conditional mean (E(u|X)=0)

• Homoskedasticity assumption (MLR.4) stating  constant error variance (Var(u|X)= σ2) plays no role in showing that OLS is unbiased & consistentunbiased & consistent

– Heteroskedasticity doesn’t cause bias or inconsistency in OLS iestimators

4

1. Consequences of Heteroskedasticity ‘cntd• However, estimators of variances, Var(βj) are biased without 

homoskedasticityOLS standard errors are biased– OLS standard errors are biased

– Standard confidence interval, t, and F statistics which are based on standard errors are no longer valid.

& l h & d b– t & F statistics no longer have t & F distribution  resp.

– And this is not resolved in large samples

• OLS is no longer BLUE and asymptotically efficientg y p y– It is possible to find estimates that are more efficient than OLS (e.g. 

GLS, Generalized Least Squares)

• Solutions involve using:• Solutions  involve using:i. Generalized least squares (GLS)

ii. Weighted least squares (WLS) is a special case of GLS, p.373

5

Weighted Least Squares (WLS)g q

• Aim: to specify the form of heteroskedasticity detected and use weighted least squares estimatorleast squares estimator. 

– If we have correctly specified the form of the variance, then WLS is more efficient than OLS

If d f f i WLS ill b bi d b t it i– If we used wrong form of variance, WLS will be biased but it is generally consistent as long as E(u|X)=0. 

– But, efficiency of WLS is not guaranteed when using wrong form of ivariance.

• We use this to transform the original regression equation with homoskedastic error term

i.e. the bias will improvewith large N

homoskedastic error term

6

2. Testing for Heteroskedasticity• Why test for heteroskedasticity?

– First, unless there is evidence of heteroskedasticity, many prefer to use the usual t under OLSthe usual t under OLS

– This is because the usual t statistics have exact t distribution under the assumptions of homoskedasticity & normally distributed errors. 

Second if heteroskedasticity is present it is possible to obtain better– Second, if heteroskedasticity is present, it is possible to obtain better estimator than OLS when the form of heteroskedasticity is known. 

• In the regression model:Y= β0+β1x1+…+βkxk +u

• We assume that E(u| x1, …xk )=0  OLS is unbiased and consistentconsistent.

• In order to test for violation of the homoskedasticityassumption, we want to test the null hypothesis:

Ho: Var(u| x1, …, xk )=σ27

2. Testing for Heteroskedasticity ‘cntd

• To test the null hypothesis above, we test whether expected value of u2 is related to one or more of the explanatory variablesvalue of u is related to one or more of the explanatory variables.

• If we reject Ho, then heteroskedasticity is a problem & needs to be solved.

• Two types heteroskedasticity tests:

A. Goldfeld‐Quandt Test for heteroskedasticity, p.382 

hi ’ l k d i iB. White’s General Heteroskedasticity Test, p.386

• Once we reject Ho of homoskedasticity, we should treat the heteroskedasticity problemheteroskedasticity problem

8

B. White heteroskedasticity test

• homoskedasticity assumption, Var(u| X)=σ2 , can be replacedwith weaker assumption that u2 is uncorrelated with:

All the independent variables (x )– All the independent variables (xj)

– Their squared terms (x2j) and

– Their cross‐products (xj xh for all h≠j)

• Under this weaker assumption, OLS standard errors and test statistics are asymptotically valid

• White heteroskedasticity test is motivated by this assumption• White heteroskedasticity test is motivated by this assumption. For e.g. for k=3,û2= δ0+ δ1x1+ δ2x2+ δ3x3+δ4x21  +δ5x22 + δ6x23+δ7x1x2 + δ8x1x3+ δ9x2x3 +v

• White test is F statistics for testing all δj, except δ0, are zero.

• Limitation: it consumes degrees of freedom (for k=3, we needed 9 gvariables)

9

Basic EconometricsBasic Econometrics

AutocorrelationAutocorrelation

Iris Wang

iris.wang@kau.se

Econometric problemsEconometric problems

Topics to be coveredTopics to be covered

Overview of autocorrelationOverview of autocorrelation

First‐order autocorrelation and the Durbin‐Watson testWatson test

Higher‐order autocorrelation and the Breusch‐G dfGodfrey test

Dealing with autocorrelation

Examples and practical illustrations

Autocorrelated series and autocorrelatedAutocorrelated series and autocorrelateddisturbances

Overview of autocorrelationWhat is meant by autocorrelation ?The error terms are not independent from observation to observation – utdepends on one or more past values of udepe ds o o e o o e pas a ues o uWhat are its consequences? The least squares estimators are no longer “efficient” (i.e. they don’t have the lowest variance). More seriously autocorrelation may be a symptom of 

d l i ifi timodel misspecificationHow can you detect the problem? Plot the residuals against time or their own lagged values, calculate the Durbin‐Watson statistic or use some other tests of autocorrelation such as the Breusch‐Godfrey (BG) testHow can you remedy the problem?Consider possible model re‐specification of the model: a different functional form,missing variables lags etc If all else fails you could correct for autocorrelationmissing variables, lags etc.  If all else fails you could correct for autocorrelation by using the Cochrane‐Orcutt procedure or Autoregressive Least Squares

First‐order autocorrelation

The sources of autocorrelation

The consequences of autocorrelationThe consequences of autocorrelation

Detecting autocorrelationDetecting autocorrelation

The Durbin‐Watson testThe Durbin Watson test

More on the Durbin‐Watson statisticMore on the Durbin Watson statistic

Using the Durbin‐Watson statisticUsing the Durbin Watson statistic

Durbin‐Watson critical valuesDurbin Watson critical values

The Breusch‐Godfrey (BG) testThe Breusch Godfrey (BG) test

The Breusch‐Godfrey test continuedThe Breusch Godfrey test continued

Dealing with autocorrelationDealing with autocorrelation

How should you deal with a problem of autocorrelation?y p

Consider possible re‐specification of the model:a different functional form,the inclusion of additional explanatory variables,the inclusion of lagged variables (independent and dependent) 

If all else fails you can correct for autocorrelation by using the Autoregressive Least Squaresg g q

Quick questions and answers

Question 1: 

What is the problem of autocorrelation?

Answer: 

Autocorrelation is the problem whereAutocorrelation is the problem where 

the disturbances in a regression model are 

not independent of one another 

from observation to observation 

(it is mainly a problem for models 

estimated using time series data)estimated using time series data)

Question 2: Is serial correlation the same as autocorrelation?autocorrelation?

Answer:Answer: Yes. Serially correlated disturbances or errors are the same as autocorrelatedonesones.

Question 3: Wh i b AR(1) ?What is meant by AR(1) errors?

Answer: This means that the errors or disturbances follow a first‐order d stu ba ces o o a st o deautoregressive pattern

+ut = ρut‐1 + εt

Question 4:Question 4: What is the best known test for AR(1) disturbances?

Answer: The Durbin‐Watson test. The nullThe Durbin Watson test. The null hypothesis of no autocorrelation ( i l i d d ) i H 0(serial independence) is H0 ρ=0

Question 5: What is the range of possibleWhat is the range of possible values for the DW statistic?

Answer:0≤ DW ≤ 4.   If there is no autocorrelation youIf there is no autocorrelation you would expect to get a DW stat of around 2.

Question 6: What are the three main limitations of the DW test?limitations of the DW test?

Answer: 1. It only tests for AR(1) errors2 It has regions where the test is2. It has regions where the test is inconclusive (between dL and dU) 3. The DW statistic is biased towards 2 in models with a lagged dependentin models with a lagged dependent variable.

Question 7: How do you test for higher order a tocorrelated errors?autocorrelated errors?

Answer: Using the Breusch‐Godfrey (BG) testtest

Question 9: How do I know what order of autocorrelation to test for?autocorrelation to test for?

Answer: With annual data a first order test isWith annual data a first order test is probably enough, with quarterly or 

thl d t h k f AR(4)monthly data check for AR(4) or AR(12) errors if you have enough data. If in doubt repeat the test for a number of different maximum lagsnumber of different maximum lags.

Question 10: What should I do if my model exhibitsWhat should I do if my model exhibits autocorrelation?

Answer: On the first instance try model re‐On the first instance try model respecification (additional lagged values f i bl l t f ti fof variables or a log transformation of 

some series). If this doesn’t deal with the problem use Autoregressive Least Squares rather than OLS estimationSquares rather than OLS estimation.