ottimizzazione multi obiettivo e vincolata applicata ad un modello di regressione lineare multipla...

Ottimizzazione multi obiettivo e vincolata applicata ad un

modello di regressione lineare multipla

Studio dell’effetto congiunto che variabili macro e

microeconomiche esercitano sui rendimenti azionari

ing. Mattia Ciprian (DipEne)

dott. Giulia Nogherotto (DETA)

dott. Massimiliano Kaucic (DETA)

Lo studio prende l’avvio dalla volontà di costruire un modello di regressione lineare multifattoriale per lo studio dell’indice MSCI Europe in relazione all’andamento di alcune variabili di tipo macroeconomico e microeconomico nel tempoL’indagine si concentra in un primo momento sullo studio dell’indice settoriale Energy del MSCI Europe

Il lavoro che presentiamo si pone l’obiettivo di ottimizzare il procedimento di determinazione del modello più che di valutare le singole variabili considerate nella regressione

Questo costituirà lo step successivo dell’analisi

Il metodo econometrico, usato per la costruzione di modellieconometrici, può essere classificato in tre fasi: specificazione del modello, stima dei parametri e test• nella prima fase di specificazione del modello un ruolo importante lo svolgono le ipotesi che si fanno su come è fatto il processo statistico che ha generato i dati. La teoria economica suggerisce l’elenco delle variabili di interesse del problema che si intende affrontare e la direzione di causalità

• un metodo largamente utilizzato per la stima del modello parametrico è quello dei minimi quadrati ordinari (OLS ordinary least squares)

• le ipotesi di specificazione formano l’oggetto dei test

Trieste, 7 Febbraio 2005

Complex Systems in Economics 4

Il modello

Il modello di regressione lineare multipla utilizzato assume la seguente forma generale:

ttt xy

Insieme delle osservazioni della variabile dipendente

Insieme delle osservazioni delle variabili (macro e micro) considerate moltiplicate i coefficienti di

regressione

Componente di disturbo



Definizione del problemaUna volta effettuata la stima dei coefficienti, utilizzando un metodo dei minimi quadrati, è necessario verificare la misura in cui le variabili macroeconomiche e microeconomiche risultano statisticamente significative nello spiegare i rendimenti dell’indice azionario. A questo scopo sono state calcolate due serie di test:

• test di significatività dei parametri della regressione

• test di scorretta specificazione del modello



Nel primo gruppo di test si distinguono

- test che interessano l’intera regressione (Es: R2, test F)

- test legati alle singole variabili esplicative (Es: t-test)

I secondi sono test che hanno a che vedere con le scelte di specificazione del modello e si concentrano sull’analisi dei residui della regressione

Test di significatività dei parametri

R quadro corretto

Fornisce una misura sintetica della bontà della regressione ovvero della misura in cui la variabile dipendente è spiegata dalle variabili esplicative piuttosto che dai termini di errore

11

12

2

pnn

SQESQR

R adj

SQE = somma quadrati erroreSQR = somma quadrati regressionen = numero di osservazionip = numero variabili indipendenti



Test F

F = statistica test F avente una distribuzione F con p e n – p – 1

gradi di libertà )1/(

/

pnSQEpSQR

F

Sotto l’ipotesi nulla di assenza di relazione lineare tra la variabile dipendente e le variabili esplicative tale statistica assume valore inferiore al valore critico individuato sulle tavole

Se p-value < α (solitamente 0,05) allora l’apporto del modello di regressione alla spiegazione della variabilità della variabile dipendente è significativo.



Criterio di Schwartz

Questa statistica (Information criterion) permette di indirizzarsi verso una regressione con il numero migliore di ritardi (scostamenti temporali tra le serie storiche)

Si sceglie la regressione con il valore più basso del test

nknlAIC /2/2 l = funzione di logverosimiglianza



T-test sulle singole variabili

bk

k

Sb

t p = numero di variabili esplicativebk= inclinazione di Y rispetto alla variabile k tenendo costanti le altre variabiliSbk = errore standard del coefficiente di regressione bk t = statistica test con distribuzione t con n – p – 1 gradi di libertà.

Sotto l’ipotesi nulla di assenza di relazione lineare tra la singola variabile indipendente e la variabile dipendente tale statistica assume valore inferiore al valore critico delle tavole (p-value < livello di significatività scelto)



Test sulle assunzioni di base del modello di regressione lineare

Ipotesi sui residui

• Il valore atteso dell’errore è nullo• La varianza degli errori è costante

(omoschedasticità)• Gli errori non sono correlati tra di loro nel

tempo (incorrelazione seriale dei disturbi)• Gli errori assumono una distribuzione normale

Test di scorretta specificazione



Ipotesi nulla: assenza di eteroschedasticità

Test LM ARCH

Il test mira a verificare se i residui della regressione seguono o meno un modello ARCH il quale per definizione è caratterizzato da eteroschedasticità condizionale

Test di White

Si basa su una regressione ausiliaria dove i quadrati dei residui sono la variabile dipendente mentre tra le variabili esplicative sono incluse le variabili della regressione originaria, i residui standardizzati e i loro rispettivi quadrati



Test Durbin Watson

2

21

ˆ

)ˆˆ(

t

tt

DW

t̂ = valore dei residui in ciascun

periodo

In caso di assenza di correlazione seriale dei residui di primo ordine la statistica assume un valore prossimo a 2

Ipotesi nulla: assenza di correlazione seriale dei residui



Ipotesi nulla: normalità dei residui

Test di Jarque Bera

22 )3(

41

6KS

TJB

S = indice di asimmetria

K = indice di Kurtosi

S deve essere prossimo a 0

K deve essere prossimo a 3

Sotto l’ipotesi di normalità la statistica JB si distribuisce come una Chi quadro con 2 gradi di libertà

Il test JB deve avere probabilità alta per accettare l’ipotesi nulla



Approccio

• Classico:– Tuning dei dati con correzioni successive di un

operatore esperto;• 1 settimana di lavoro “a mano” continuato• rischio di non raggiungere la soluzione ottima

• Proposto:– Metodo autonomo ed automatico di ricerca

operativa;• Realizzazione algoritmi statistici (MatLab®) e

ottimizzazione vincolata (modeFRONTIER®)



Complessità del problema

1. Alta variabilità del modello;2. Alto numero di variabili (L & P);3. Alto numero di combinazioni

possibili (34 variabili = 2.7345e+037

combinazioni);4. Soluzioni inattese.



Obiettivi e VincoliConstraints:

1. P-value < 0.05 (equivalente a T-test >2-3);

2. Omoschedasticità (Arch LM test su residui);

3. Nessuna correlazione seriale (Ljung-Box Q-statistic su

residui);

4. Normalità dei disturbi (Jarque-Bera test su residui);Objectives:

• |Durbin-Watson| 2.0;

• R2 1.0;

• Max “F-statistic”;

• Min “Schwartz criterion”;



Elaborazione con MATLABVARIABLE =

-89.39330035283315 29.28174450645721 -3.05286798514071 0.00296344763259

7.15362111261956 2.62051774852393 2.72985028117021 0.00759294072889

0.88752314222490 1.12088889969602 0.79180295430314 0.43051240108602

1.29767688899965 1.84901533701817 0.70182051117670 0.48456280119687

-3.45283082863135 1.68512599764740 -2.04900454532886 0.04330971021216

3.29910540012864 0.40909669820450 8.06436574679821 0.00000000000265

0.12896559962647 1.11016733375858 0.11616771247434 0.90777282593419

0.17903257073845 0.18939333279196 0.94529500114509 0.34698438184647

0.74223279975027 0.25427124298342 2.91905915526065 0.00441370564728

Adj_R_squared = 0.93457117572405

SE_of_regression = 5.02793003404184

sum_squared_resid = 2.325767399304235e+003

LogLikelihood = -3.017153748060340e+002

Durbin_Watson_stat = 2.10077128035871

Mean_dependent_var = 1.004370297029703e+002

SD_dependent_var = 19.65643105828494

AIC = 6.15277969912939

SC = 6.38581024023405

F_statistic = 1.795472966361125e+002

Prob_F_statistic = 0

C'è eteroschedasticità!

Non c'è correlazione seriale!

C'è la normalità dei disturbi!

Constraint p-value = 4



Main Diagram (mF)

Lags

Presences

Statistics

DOE (+MOGA)

Objectives Constraint

s



Pre-processing(Reduced Factorial 2048)



Correlazione degli Obiettivi



Scatter Chart: F-Statistic vs. Schwartz

Criterion



Rottura dei Vincoli



P-value vs. Num. Serie Storiche



Revisione Obiettivi e VincoliConstraints:

1. P-value < 0.05;

2. Omoschedasticità (Arch LM test su residui);

3. Nessuna correlazione seriale (Ljung-Box Q-statistic su

residui);

4. Normalità dei disturbi (Jarque-Bera test su residui);

Objectives:

1. |Durbin-Watson| 2.0;

2. R2 1.0;

3. Max “F-statistic”;

4. Min “Schwartz criterion”;

|2-DurbinWatson| < 0.1

R2 > 0.92

F-statistic > 200

Serie Storiche utilizzate 10



Ricerca del DOE iniziale



Ottimizzazione

Dopo circa 15.000 calcoli complessivi equivalenti a 4 ore effettive di lavoro (0,92 s / calcolo AMD 2200+

512 Mb RAM) si è ritenuta conclusa l’ottimizzazione.



Storia degli obiettivi (feasible)



Durbin-Watson History Chart



F-Statistic History Chart



R2 Adjusted History Chart



Schwarz Criterion History Chart



4D Bubble Chart

|DW-2|

F-Stat

Diameter: R2 Adj

Color: Design ID



Scatter Chart: F-Statistic vs. Schwartz

Criterion



Vincoli rotti nel corso dell’ottimizzazione



Parallel Chart

|DW-2| R2 F-stat Schwarz n. Serie



Un esempio di regressione:elaborazione manuale

Riportiamo i risultati parziali ottenuti da un operatore intenzionato a costruire “a mano” con l’uso del programma E-views un modello di regressione

Il tempo impiegato è stato di parecchie giornate

La finestra che segue è quella di output di E-views e contiene le determinazioni per i coefficienti di regressione e i risultati di alcuni test



Dependent Variable: Y

Method: Least Squares

Date: 09/15/04 Time: 14:56

Sample(adjusted): 1995:03 2003:11

Included observations: 105 after adjusting endpoints

Variable Coefficient Std. Error t-Statistic Prob.

C 0.352252 0.080518 4.374809 0.0000

A5(-1) -4.672518 0.818599 -5.707943 0.0000

A6(-1) 3.976680 0.815423 4.876833 0.0000

A10(-1) -3.921346 0.527958 -7.427385 0.0000

A11(-1) 1.929414 0.613754 3.143629 0.0022

A12 1.940204 0.190056 10.20861 0.0000

A14 -0.308445 0.075848 -4.066613 0.0001

A16 -0.298675 0.108295 -2.757981 0.0070

A18(1) 2.028787 0.281547 7.205867 0.0000

A23(-1) 6.262742 0.925704 6.765385 0.0000

A27(-1) -3.923107 0.822130 -4.771880 0.0000

R-squared 0.690991 Mean dependent var -0.021301

Adjusted R-squared 0.658118 S.D. dependent var 1.009837

S.E. of regression 0.590459 Akaike info criterion 1.883025

Sum squared resid 32.77233 Schwarz criterion 2.161059

Log likelihood -87.85882 F-statistic 21.01982

Durbin-Watson stat 1.463535 Prob(F-statistic) 0.000000



Residui

0

2

4

6

8

10

12

-1.0 -0.5 0.0 0.5 1.0 1.5

Series: ResidualsSample 1995:03 2003:11Observations 105

Mean 1.58E-15Median -0.005875Maximum 1.477394Minimum -1.286199Std. Dev. 0.561354Skewness 0.095080Kurtosis 2.698769

Jarque-Bera 0.555191Probability 0.757603

Series: residuals

Observations: 105

Mean: 1,58E -15

Median: -0,005875

Maximum: 1,477394

Minimum: -1,286199

Skewness: 0,095080

Kurtosis: 2,698769

Jarque-Bera: 0,555191

Probability: 0,757603



I valori evidenziati ci interessano per valutare la bontà della regressione

Mentre la prima finestra di output ci mostra risultati abbastanza buoni, i test sui residui (Test LM ARCH, Test di White) determinano il il rifiuto dell’ipotesi nullarifiuto dell’ipotesi nulla e dunque dimostrano la non bontà del modellonon bontà del modello

Anche il test di normalità non restituisce un test di normalità non restituisce un esito positivoesito positivo



Un esempio di regressione:elaborazione automatizzata

Ecco invece quanto ottenuto inserendo in E-views le variabili e i lags suggeriti dal meccanismo di ottimizzazione

Abbiamo selezionato, come esempio, un modello con 5 variabili e scostamenti temporali sia positivi che negativi



Dependent Variable: PREZZO


Date: 12/09/04 Time: 17:53




C -105.0189 8.340479 -12.59148 0.0000

VAR1(-1) 6.234941 2.121948 2.938310 0.0041

VAR2(3) 3.497535 1.087860 3.215059 0.0018

VAR6(-1) 3.229388 0.384265 8.404068 0.0000

VAR13(3) 2.970584 0.549070 5.410213 0.0000

VAR18(-3) 0.703792 0.151006 4.660695 0.0000

R-squared 0.939245 Mean dependent var 100.0481

Adjusted R-squared 0.936081 S.D. dependent var 19.94939





Finestra di output di E-views



0

5

10

15

20

-15 -10 -5 0 5 10

Series: ResidualsSample 1995:04 2003:09Observations 102

Mean 2.03E-14Median -0.639384Maximum 11.43806Minimum -14.66099Std. Dev. 4.917220Skewness -0.195544Kurtosis 3.176297

Jarque-Bera 0.782128Probability 0.676337

Residui



ARCH Test:

F-statistic 0.198504 Probability 0.976414

Obs*R-squared 1.267732 Probability 0.973407

Test Equation:

Dependent Variable: RESID^2


Date: 12/10/04 Time: 15:47




C 23.46564 7.430890 3.157850 0.0022

RESID^2(-1) 0.007833 0.106151 0.073792 0.9413

RESID^2(-2) 0.000571 0.105896 0.005393 0.9957

RESID^2(-3) -0.060903 0.105626 -0.576593 0.5657

RESID^2(-4) 0.069567 0.105734 0.657945 0.5123

RESID^2(-5) 0.066208 0.106125 0.623864 0.5343

RESID^2(-6) -0.020720 0.106354 -0.194824 0.8460

R-squared 0.013206 Mean dependent var 25.02322

Adjusted R-squared -0.053320 S.D. dependent var 36.29199







I risultati ottenuti dall’elaborazione con il programma E-views dimostrano come la scelta delle variabili e dei lags suggerita dal processo di ottimizzazione conduca alla determinazione di un ottimo modello di regressione secondo i vincoli imposti dall’operatore



Thanks to:

• Estecohttp://www.esteco.com/

• Eu-Rahttp://www.eu-ra.com/

• Università degli Studi di Triestehttp://www.units.it/

http://www.esteco.com/





http://www.eu-ra.com/







http://www.units.it/





Ottimizzazione multi obiettivo e vincolata applicata ad un

modello di regressione lineare multipla

Studio dell’effetto congiunto che variabili macro e

microeconomiche esercitano sui rendimenti azionari

ing. Mattia Ciprian (DipEne)

dott. Giulia Nogherotto (DETA)

dott. Massimiliano Kaucic (DETA)

ottimizzazione multi obiettivo e vincolata applicata ad un modello di regressione lineare multipla...

Documents