partie 3. value-at-risk et backtesting

Plan de la Partie IIIntroductionDénitions

Tests de couverture non conditionnelleTests de couverture conditionnelle

Une évaluation des procédures de backtesting

Partie 3. Value-at-Risk et BacktestingBacktesting

Christophe Hurlin, Université dOrléans, LaboratoiredEconomie dOrléans (UMR CNRS 6221)

Master Econométrie et Statistique Appliquée (ESA), Université dOrléans

Septembre 2008

Christophe Hurlin Backtesting




Value-at-Risk et backtesting

"Disclosure of quantitative measures of market risk,such as value-at-risk, is enlighening only whneaccompanied by a thorough discussion of how the riskmeasures were calculated and how they related to actualperformance" Alan Greenspan (1996), cited in Jorion(2007)





Plan du Chapitre

1 Introduction1 Quest ce que le backtesting ?2 Pourquoi et pour qui mettre en place des procédures debacktesting ?

3 Comment tester la validité dune prévision de VaR ?

2 Dénitions1 Violation (hit) de la VaR2 Couverture non conditionnelle3 Indépendance des violations4 Couverture conditionnelle

3 Tests de couverture non conditionnelle1 Test de Kupiec (1995)2 Pratique réglementaire : Bâle II





Plan du Chapitre

4. Tests dindependance et de couverture conditionnelle

1 Les di¤érentes stratégies de test2 Les tests LR : Christo¤ersen (1998)3 Les tests de durée : Christo¤ersen et Pelletier (2004), Haas(2007) et Candelon, Colletaz, Hurlin et Tokpavi (2008)

4 Les tests de lhypothèse de di¤érence de martingale :Berkowitz et al. (2005) et Hurlin et Tokpavi (2007)

5 Les tests fondés sur un modèle de régression des hits : Engleet Manganelli (2004), Patton (2002)

6 Les tests de type Density Forecast : Crnkovic et Drachman(1997), Diebold et al. (1998), Berkowitz (2001)

5. Une évaluation des procédures de backtesting

6. Conclusion





Quest ce que le backtesting ?Pourquoi mettre en oeuvre le Backtesting ?Comment tester la validité dune prévision de VaR ?

Introduction

IntroductionQuest ce que le backtesting ?






IntroductionQuest ce que le backtesting ?

Il nexiste pas de dénition précise du backtesting, la plus généraleétant celle proposée par Jorion (2007)

DenitionLe backtesting est un ensemble de procedures statistiques dont lebut est de vérier que les pertes réelles observées ex-post sont enadéquation avec pertes prévues. Cela implique de comparersystématiquement lhistorique des prévisions de Value-at-Risk auxrendements observés du portefeuille (Jorion, 2007, page 139).






Introduction

IntroductionPourquoi mettre en oeuvre le backtesting ?






IntroductionPourquoi mettre en oeuvre le Backtesting ?

Pourquoi et pour qui mettre en oeuvre une procédure debacktesting ?

1 Aspects réglementaires (Bâle II)2 Intérêt pour les Risk Managers3 Grande diversité des modèles de prévisions de la VaR







1. Aspects réglementaires

Les institutions nancières sont réglementairementcontraintes de mettre en oeuvre une validation de leursmodèles internes de VaR

Les réglementations prudentielles dénies dans le cadre desaccords de Bâle laissent la liberté aux institutions nancièresde développer leur propre modèle interne dévaluation desrisques et de calcul de la Value at Risk (VaR).En contrepartie, les réglementations prudentielles imposentune évaluation de ces modèles de VaR par des procéduresde Backtesting.







1. Aspects réglementaires (suite)

Remarque Dans cette perspective, les procédures dévaluationdes modèles de VaR doivent donc être de typemodel free.

Denition (Test model free)

Un test de validation est dit de type model free si ses propriétés(distribution, statistique de test) ne dépendent pas du modèle quia permis de générer les prévisions de la VaR. Ce type de test peutdonc être appliqué de la même façon à nimporte quelle prévisionde VaR provenant de nimporte quel modèle.







1. Aspects réglementaires (suite)

Le choix des techniques de validation devient alors unproblème essentiel de la politique de transparence et degestion des risques des institutions nancières.

Comment certier (sur le plan réglementaire) la validité etla précision dune mesure de risque comme la VaR, issuegénéralement dun modèle relativement compliqué et surlequel il peut être di¢ cile, voir non souhaitable, decommuniquer pour une banque ?







2. Intérêt pour les Risk Managers

Les utilisateurs de la VaR et plus généralement les RiskManagers ont besoin dévaluer les prévisions de VaR en dehorsdes normes réglementaires imposées par Bâle II

Mise en place de procédures de backtesting internes àlinstitution nancière dans le cadre générale du contrôleinterne des risquesMise en place de procédures de backtesting lors de laconstruction des modèles de prévision de la VaR







3. De la grande diversité des méthodes de prévision de laVaR

Il existe de très nombreuses méthodes (paramétriques, nonparamétriques ou semi-paramétriques) de calcul et deprévision de la VaR.

Or, la pratique montre que ces di¤érents modèlesconduisent généralement à des estimations trèsdi¤érentes de la VaR, et donc du risque, pour un mêmeportefeuille.







Example (Beder, T. (1995), VaR: Seductive but Dangerous,Financial Analysts Journal, 51, 5, pp. 12-24.)

Beder (1995) en utilisant huit mesures assez communes de VaRrespectivement basées sur le croisement de trois critères (type demodélisation retenue pour la rentabilité du portefeuille, à savoirSimulation Historique ou Monte Carlo, Hypothèse concernant lescorrélations entre les actifs composant le portefeuille et la périodede détention) met en évidence de grandes di¤érences entre lesvaleurs prévues de la VaR.







Example (Candelon, B, Colletaz, G, Hurlin C. et Tokpavi. (2008),Backtesting Value-at-Risk: A GMM duration-based test,Working Paper.)

Les auteurs appliquent trois méthodes de calcul de la VaR à 5%aux rendements quotidiens du Nasdaq : méthode HS (approchenon paramétrique), modèle GARCH sous Student (approcheparamétrique) et le CAViaR (approche semi-paramétrique). Ilsconsidèrent une estimation glissante (rolling) des paramètres de cestrois modèles sur une fenêtre de 250 observations et calculent pourchaque modèle estimé la prévision à lhorizon dune période de laVaR. Sur le graphique suivant est reportée la séquence de 250prévisions obtenues pour la période du 22 Juin 2005 au 20 Juin2006 ainsi que les rendements observés.






Figure: Historical Returns and 5% VaR Forecasts. Nasdaq

0 50 100 150 200 2500.03

0.02

0.01

0

0.01

0.02

0.03Nasdad

ReturnsGARCHt(d) 5% VaRHistorical Simulation 5% VaRCAViaR 5%







3. De la grande diversité des méthodes de prévision de laVaR

Dès lors le backtesting doit permettre de déterminer la (oules) méthodes les plus appropriées pour prévoir la VaR

Distinction entre test de validation de prévision / test decomparaison de prévision







Denition (test de validation)

Un test de validation dune prévision est un test dont lhypothèsenulle est revient à postuler que la prévision est issue du DGP desdonnées.

Denition (test de comparaison)

Un test de comparaison permet de comparer des prévisions issuesde modèles potentiellement tous mal spéciés et de déteminer quelest le "moins mauvais" modèle au regard dune certaine norme oudun modèle de référence.







Remarque la plupart des tests de backtesting sont aujourdhuides tests de validation, mais certains tests decomparaison de densités de prévisions peuvent êtreappliqués dans le cas du backtesting (Corrandi etSwansson, 2005; Bao, Lee et Saltoglu, 2004).

Bao Y., Lee, T.H et Saltoglu B. (2004), "A test fordensity forecast comparison with applications to riskmanagement", Working Paper.

Corradi V. et Swansson N.R. (2005), "A Test forComparing Multiple Misspecied Conditional Distributions", àparaître dans Econometric Theory.






Introduction

IntroductionComment tester la validité dune prévision de VaR ?







Traditionnellement, la validité de la prévision dunegrandeur économique est évaluée en comparant saréalisation ex-post à la valeur prédite ex-ante.La comparaison des di¤érents modèles de prévision se faitalors via lutilisation dun critère fondé sur cet écart entrevaleur prédite et valeur réalisée (ou dune fonction deperte) comme par exemple le critère de la Mean Squared Error(MSE) ou les critères dinformation standards (AIC, BIC etc.).







Si la réalisation ex-post de la variable dintérêt estinobservable, lexercice dévaluation nécessite alors dutiliserun proxy.

Example

lévaluation des modèles de volatilité où la volatilité journalièreex-post est approximée par la volatilité réalisée, dénie comme lasomme des carrés des rentabilités intra-day (Andersen et al., 2003).

Or la réalisation ex-post de la VaR nest pas observableet à ce jour aucune variable proxy satisfaisante na étéproposée.







Cest pourquoi lévaluation de la VaR est généralement fondéesur des tests statistiques (et non de simples critères) des deuxprincipales hypothèses que le processus associé aux violationsde la VaR anticipée doit satisfaire, à savoir lhypothèse decouverture non conditionnelle et lhypothèsedindépendance.





Violations de la VaRCouverture non conditionnelleIndépendance des violationsCouverture conditionnelle

Déntions

Dénitions






DénitionsPlan de la section

Nous allons à présent poser un certain nombre de dénitions :

1 Vilolations (hit) de la VaR2 Couverture non conditionnelle3 Indépendance des violations4 Couverture conditionnelle






Dénitions

DénitionsViolations de la VaR






Dénitions

On note rt la rentabilité dun actif ou dun portefeuille dactifsà la date t.

La valeur ex-ante de la VaR pour un taux de couverture deα%, notée VaR t jt1(α), anticipée conditionnellement à unensemble dinformations, noté Ωt1, disponible à la datet 1 est dénie par la relation suivante :

Pr[rt < VaR t jt1(α)] = α






Dénitions

Denition

On appelle violation (ou hit, ou exception) une situation danslaquelle à la date t la perte observée excède la VaR anticipée

DenitionOn appelle hit function, ou hit variable, la variable indicatriceIt (α) associée à lobservation ex-post dune violation de la VaR àα% à la date t.

It (α) =

(1 si rt < VaR t jt1(α)

0 sinon






Dénitions

Example

Reprenons lexemple du Nasdaq sur la période Août 2005 - Août2006 et calculons les hits associés aux prévisions out-of-sample àune période des VaR-HS, GARCH Student et CAViaR. Souce :Candelon, Colletaz, Hurlin et Tokpvai (2008).

Candelon, B, Colletaz, G, Hurlin C. et Tokpavi. (2008),Backtesting Value-at-Risk: A GMM duration-based test,Working Paper.






Figure: Historical Returns and 5% VaR Forecasts. Nasdaq (June2005-2006)

0 50 100 150 200 2500.03

0.02

0.01

0

0.01

0.02

0.03Nasdad

ReturnsGARCHt(d) 5% VaRHistorical Simulation 5% VaRCAViaR 5%






Figure: 5%VaR Violations. Nasdaq (June 2005 - June 2006, T =250)

0 50 100 150 200 2500

0.5

1Hits: GARCHt(d) 5%VaR

0 50 100 150 200 2500

0.5

1Hits: HS 5%VaR

0 50 100 150 200 2500

0.5

1Hits: CAViaR 5%VaR






Dénitions

Remarque En dautres termes, la hit function masquelinformation liée à lampleur de la perte au delà de laVaR dénie par :

excess lossest (α) =

(rt VaR t jt1(α) si rt < VaR t jt1(α)

0 sinon

Example

Reprenons lexemple du Nasdaq sur la période Août 2005 - Août2006 et calculons les pertes en excès pour la VaR HS et le CAViaR.






0 50 100 150 200 2500.03

0.02

0.01

0

0.01

0.02

0.03Nasdad

ReturnsCAViaR 5%

0 50 100 150 200 2507

6

5

4

3

2

1

0x 103 Excess Losses: CAViaR 5%VaR






Dénitions

Comment tester la validité de la prévision dune VaR à partirdune séquence de violations fItgTt=1 ou de pertes en excèsIt

rt VaR t jt1(α)

Tt=1?

Christoffersen, P. F. (1998), Evaluating IntervalForecasts, International Economic Review, 39, pp. 841-862.






Dénitions

Theorem

Christo¤ersen (1998) quune prévision de VaR est valide si etseulement si la séquence des violations fItgTt=1 satisfait les deuxhypothèses suivantes :- Lhypothèse de couverture non conditionnelle (unconditionalcoverage, UC)- Lhypothèse dindépendance (independence, IND)






Dénitions

DénitionsCouverture non conditionnelle






Dénitions

Denition (couverture non conditionnelle)Lhypothèse de couverture non conditionnelle est satisfaitelorsque la probabilité que se réalise ex-post une perte en excès parrapport à la VaR anticipée ex-ante est précisément égale au tauxde couverture α :

Pr [It (α) = 1] = E [It (α)] = α

Example

pour une VaR à 1% utilisée comme mesure de référence sur 500périodes, lespérance du nombre de violations doit être égale à 5.Si le nombre de violations est signicativement supérieur ouinférieur à 5, la mesure de VaR est non valide.






Dénitions

Corollary

Sous lhypothèse de couverture non conditionnelle, la variablebinaire It (α) suit une distribution de Bernoulli de probabilité égaleà α :

It (α) B (p)






Dénitions

DenitionSi la probabilité de violation est signicativement inférieure au tauxde couverture nominal α cela traduit une surestimation de la VaRet donc du risque, conduisant par conséquent à peu de violations.La VaR est dite conservative (risque de second ordre)

Pr [It (α) = 1] = E [It (α)] < α






Dénitions

DenitionSi la probabilité de violation est signicativement supérieure autaux de couverture nominal α cela traduit une sous-estimation dela VaR et donc du risque (risque de premier ordre).

Pr [It (α) = 1] = E [It (α)] > α (1)






Dénitions

Example

Berkowitz et OBrien (2002) considèrent les VaR issues desmodèles internes de six grands banques commerciales américainesde Janvier 1988 à Mars 2000, ainsi que la VaR déduite dune formeréduite de type ARMA-GARCH. Pour chaque VaR ils reportent lespertes en excès et mettent en évidence le conservatisme des VaRproduites par ces six banques.

Berkowitz, J., and O-brien J. (2002), How Accurateare the Value-at-Risk Models at Commercial Banks, Journalof Finance, 57, pp. 1093-1111.






Dénitions

DénitionsIndépendance des Violations






Dénitions

Denition (indépendance des violations)Lhypothèse dindépendance des violations est satisfaitelorsque les violations de la VaR observées à deux dates di¤érentespour un même taux de couverture doivent être indépendammentdistribuées. Formellement, la variable It (α) associée à la violation àla date t de la VaR pour un taux de couverture à α%, estindépendante de la variable Itk (α), 8k 6= 0.

Corollary

Sous lhypothèse dindépendance, il nexiste pas de cluster deviolations






Dénitions

La propriété dindépendance des violations est une propriétéessentielle car toute mesure de risque doit sajusterautomatiquement et sans retard à toute nouvelle informationentraînant une évolution nouvelle dans la dynamique de larentabilité de lactif.

Une modélisation qui ne prend pas en compte cet aspect,risque dengendrer des violations successives se présentant encluster. Des pertes extrêmes peuvent alors succéder à despertes extrêmes (faillite).

Aussi, aucune forme de dépendance ne doit donc exister dansla séquence des violations et cela quels que soient les taux decouverture considérés.






Dénitions

Example

Berkowitz et OBrien (2002) montrent que les modèles de VaRutilisés par six grandes banques commerciales américaines nonseulement tendent à être très conservateurs au niveau du risque,mais en outre conduisent à des clusters de violations.






Dénitions

"We evaluate the VaR forecasts in several ways.First, the null hypothesis of 99 percent coverage rate istested. Two important ndings are that, unconditionally,the VaR estimates tend to be conservative relative to the99th percentile of [the distribution of prot and loss].However at times, losses can substantially exceed theVaR, and such events tend to be clustered. This suggeststhat the banks models, besides a tendency towardconservatism, have di¢ culty forecasting changes in thevolatility of prot and loss. (Berkowitz and OBrien,2002, page 1094)






Dénitions

Remarque ces deux propriétés (UC et IND) de la VaR sontindépendantes lune de lautre. Dès lors, si unemesure de VaR ne satisfait pas à lune ou lautre deces deux hypothèses, elle doit être considérée commenon valide (Christo¤ersen, 1998).






Dénitions

DénitionsCouverture conditionnelle






Dénitions

Denition (couverture conditionnelle)Lhypothèse de couverture conditionnelle est satisfaite lorsquela probabilité conditionnelle à linformation disponible en t 1 quese réalise ex-post une perte en excès par rapport à la VaR estprécisément égale au taux de couverture α :

Pr [ It (α) = 1jΩt1] = E [ It (α)jΩt1] = α

où Ωt1 désigne lensemble dinformation utilisé pour prévoir laVaR.






Dénitions

Corollary

Sous lhypothèse de couverture conditionnelle, le processuscentré associé aux violations de la VaR vérie les propriétés dunedi¤érence de martingale :

E [ It (α) α j Ωt1] = 0

Corollary

Lhypothèse de couverture conditionnelle implique lhypothèsede couverture non conditionnelle et lhypothèse dindépendance.






Dénitions

Comment tester ces trois hypothèses ?Lectures :

Campbell, S. D. (2007), "A Review of Backtesting andBacktesting Procedures", Journal of Risk, Vol 9, Number 2, p.1-19.

Hurlin C. et Tokpavi S. (2008), Une Evaluation desProcédures de Backtesting : Tout va pour le Mieux dans leMeilleur des Mondes", Finance, vol 29(1), pp.53-80.

Jorion P..(2001), Value-at-Risk: The New Benchmark forManaging Financial Risk, McGraw-Hill.





Test de Kupiec (1995)La pratique réglementaire : Bâle II

Tests de couverture non conditionnelle









1 Test de Kupiec (1995)2 La pratique réglementaire : Bâle II







Tests de couverture non conditionnelleTest de Kupiec (1995)






Tests de couverture non conditionnelleTest de Kupiec

Idée du test de Kupiec (1995)

Soit VaR t jt1(α) la valeur prévue de la VaR pour un taux decouverture de α% et soit It (α) le processus de violationassocié.

On considère une séquence de T prévisions successives de laVaR, soit N le nombre de violations associées :

N =T

∑t=1It (α)

Le rapport N/T dénit la fréquence empirique des violations(failure rate)







Sous lhypothèse de couverture non conditionnelle (UC), onsait que le failure rate constitue un estimateur convergent dutaux de couverture

NT

p!T!∞

α

Si lon suppose que les variables It (α) sont i .i .d ., alors souslhypothèse UC le nombre total de violations N suit une loiBinomiale

N B (T , p)avec E (N) = pT et V (N) = p (1 p)T .







Si T est su¢ sament important, on peut approximer la loiBinomiale par une loi Normale et sous lhypohèse dUC il vient

Z =N pTpp (1 p)T

N (0, 1)

Il est possible de tester lhypothèse dUC directement à partirde cette relation sous la forme :

H0 : E (It ) = α

H1 : E (It ) 6= α







Example (Jorion, 2007, page 144)

Jorion considère le rapport annuel de la banque JP Morgan de1998 qui précise que le modèle total de violations associées aumodèle interne de VaR à 5% sétablissait à 20 pour 252observations. La réalisation de la statistique Z est alors égale à :

z =20 0.05 252p0.05 0.95 252

= 2.14

Pour un niveau de risque de première espèce de 5%, on rejettelhypothèse nulle dUC H0 : E (It ) = 0.05 puisque la valeur absoluede cette réalisation jz j est supérieure au fractile dune loi normale,i.e. 1.96.







Kupiec (1995) ne travaille pas directement à partir de lastatistique z , mais propose un test de ratio devraisemblance (Likelihood Ratio, LR test)

Kupiec, P.. (1995), Techniques for Verifying the Accuracyof Risk Measurement Models, Journal of Derivatives, 3, pp.73-84.







Denition (test de Kupiec, 1995)

Pour un taux de couverture de la VaR à α%, le test de couverturenon conditionnelle de Kupiec (1995) admet pour hypothèse nulle

H0 : E (It ) = α

où It désigne la violation associée à la VaR à une date t. Sous H0,la statistique de ratio de vraisemblance associée vérie

LRUC = 2 lnh(1 α)TN pN

i+ 2 ln

"1 N

T

TN(N)N

#L!

T!∞χ2 (1)







Example

Considérons lexemple proposé par Jorion (2007) pour le cas de laBanque JP Morgan.

LRUC = 4.57 (2)

Pour un risque de première espèce de 5%, on rejette lhypothèsenulle dUC la valeur de la statistique LR excède la valeur du fractileà 95% dune loi χ2 (1), i.e. 3.84.







Jorion (2007) donne des ordres de grandeurs de la zone de nonrejet (pour un risque de première espèce de 5%) de lhypothèsedUC au sens du test de Kupiec (1995)

T = 252, α = 1%, il y a non rejet si et seulement si N < 7

T = 252, α = 5%, il y a non rejet si et seulement si6 < N < 20









Example

Berkowitz et OBrien (2002) appliquent di¤érents tests debakctesting aux VaR issues des modèles internes de six grandsbanques commerciales américaines de Janvier 1988 à Mars 2000.

Berkowitz, J., and O-brien J. (2002), How Accurateare the Value-at-Risk Models at Commercial Banks, Journalof Finance, 57, pp. 1093-1111.







Tests de couverture non conditionnelleLa pratique réglementaire






Tests de couverture non conditionnelleLa pratique réglementaire : Bâle II

La pratique réglementaire : Bâle II

Dénition des zones de pénalité verte, jaune et rouge

Voir Jorion (2007), pages 148-149





Les stratégies de testLes tests LRLes tests de duréeLes tests de lhypothèse de di¤érence de martingaleLes tests fondés sur un modèle de régression des hitsLes tests de type Density Forecast

Tests de couverture conditionnelle







Tests de couverture conditionnellePlan de la section

Nous allons à présent nous intéresser aux tests dindépendance etde plus généralement de couverture conditionnelle

1 Les di¤érentes stratégies de test2 Les tests LR : Christo¤ersen (1998)3 Les tests de durée : Christo¤ersen et Pelletier (2004), Haas(2007) et Candelon, Colletaz, Hurlin et Tokpavi (2008)

4 Les tests de lhypothèse de di¤érence de martingale :Berkowitz et al. (2005) et Hurlin et Tokpavi (2007)

5 Les tests fondés sur un modèle de régression des hits : Engleet Manganelli (2004), Patton (2002)

6 Les tests de type Density Forecast : Crnkovic et Drachman(1997), Diebold et al. (1998), Berkowitz (2001)







Tests de couverture conditionnelleLes stratégies de test






Tests de couverture conditionnelleLes di¤érentes stratégies de test

Il existe deux grandes classes de tests de le¢ cience conditionnelle1 La première catégorie regroupe lensemble des tests établispour un taux de couverture donnée. Ces tests fondésnotamment sur lévaluation de loccurrence dune violation dela VaR à α% correspondent à une approche dite EventProbability Forecast Evaluation.

2 La seconde catégorie regroupe tous les tests qui vérient defaçon jointe la propriété de¢ cience conditionnelle pourlensemble des taux de couverture possibles et qui ne selimitent plus à létude dune VaR pour un taux xéarbitrairement. Il sagit alors dévaluer de façon complète ladensité de probabilité des P&L. Ces tests correspondent à uneapproche de type Density Forecast Evaluation.







Au sein de la classe des tests de type Event Probability ForecastEvaluation on distingue trois grandes stratégies de tests :

1 Certains tests sont fondés sur une modélisation de typechaîne de Markov à deux états : Christo¤ersen (1998)

2 Certains tests sont fondés sur létude de la distribution desdurées entre deux violations : Christo¤ersen et Pelletier(2004), Haas (2007) et Candelon, Colletaz, Hurlin et Tokpavi(2008)







3. Dautres testent directement les implications de lhypothèsede di¤érence de martingale : Berkowitz et al. (2005) etHurlin et Tokpavi (2007)

4. Enn certains tests sont fondés sur un modèle de regressiondes hits : Engle et Manganelli (2004), Patton (2002)







Tests de couverture conditionnelleLes tests LR : Christo¤ersen (1998)






Tests de couverture conditionnelleTests LR : Christo¤ersen (1998)

Tests LR : Christo¤ersen (1998)

Idée du test : Christo¤ersen (1998) suppose que, sous lhypothèsealternative de non e¢ cience de la VaR, le processus des violationsIt (α) est modélisé par une chaîne de Markov. Les hypothèses UC,IND et CC correspondent alors à des restrictions sur les paramètresqui peuvent être testés grâce à de simples statistiques de type LR

Christoffersen, P. F.. (1998), Evaluating intervalforecasts, International Economic Review 39, p. 841-862.







Christo¤ersen (1998) suppose que le processus des violations It (α)peut être modélisé par une chaîne de Markov admettant pourmatrice des probabilités de transition la matrice suivante :

Π =

π00 π01π10 π11

πij = Pr [ It (α) = j j It1 (α) = i ]

DenitionLhypothèse nulle de¢ cience conditionnelle est dénie par légalité

H0,CC : Π = Πα =

1 α α1 α α







Quel que soit létat du système en t 1, la probabilitédobserver à la date t une violation est égale au taux decouverture conditionnelle

πt = Pr [It (α) = 1] = α

De plus, la probabilité dobserver une violation à la date t estindépendante de létat en t 1.Une simple statistique de rapport de vraisemblance permetalors de tester lhypothèse nulle de¢ cience conditionnelle.







Denition (Christo¤ersen, 1998)

Sous HCC , la statistique de rapport de vraisemblance LRCC vérie :

LRCC = 2nln L [Πα, I1 (α) , ., IT (α)] ln L

h bΠ, I1 (α) , ., IT (α)ioL!

T!∞χ2 (2)

où bΠ désigne lestimateur du MV de la matrice de transition souslhypothèse alternative et où ln L [.] désigne la log-vraisemblancedes violations It (α) associées à une matrice de transition Π.








Par dénition

L [Π, I1 (α) , .., IT (α)] = (1 π01)n00πn0101 (1 π11)

n10πn1111

où nij désigne le nombre de fois où lon observe It (α) = j sachantIt1 (α) = i .







Il est en outre possible de distinguer suivant que line¢ cienceest dûe au non respect de lhypothèse IND et / ou CC


Sous lhypothèse IND, la matrice de transition est dénie par :

H0,IND : Π = Ππ =

1 π π1 π π

où la probabilité π nest pas nécessairement égale au taux decouverture non conditionnelle α.








La statistique LRIND associée à la seule hypothèse nulledindépendance des violations est dénie par :

LRIND = 2nln L

h bΠπ, I1 (α) , ., IT (α)i ln L

h bΠ, I1 (α) , ., IT (α)ioL!

T!∞χ2 (1)

où bΠπ désigne lestimateur du maximum de vraisemblance de lamatrice de transition sous lhypothèse dindépendance.







Remarque On vérie que par dénion des statistiques LR

LRCC = LRUC + LRIND







Example

Berkowitz et OBrien (2002) appliquent les tests de Christo¤ersen(1998) aux VaR issues des modèles internes de six grands banquescommerciales américaines de Janvier 1988 à Mars 2000 :







Ces tests faciles à mettre en uvre, apparaissent toutefois assezréducteur pour deux raisons essentielles.

1 Tout dabord, lindépendance est testée contre une forme trèsparticulière de non indépendance qui ne prend pas en comptenotamment des dépendances dordre supérieur à 1.

2 De plus, lutilisation dune chaîne de Markov ne permet pas demesurer le rôle dautres variables que la seule séquence desviolations passées It (α) dans une possible dépendance desviolations.







Tests de couverture conditionnelleLes tests de durée







Les Tests de durée

Une approche alternative des tests de validation de la VaRrepose sur la modélisation de la durée entre deux violationssuccessives.Sous lhypothèse de CC la durée entre deux violationssuccessives, notée Di , admet une loi géométrique ("sansmémoire") avec une probabilité de succés égale à α :

H0,CC : Di geometric (α)

fDi (d ; α) = (1 α)d1 α d 2 N







Cette approche permet déviter le problème de la spécicationde la forme de la dépendance des violations, mais pose leproblème similaire qui consiste à postuler une forme dedépendance pour les durées.

Plusieurs tests ont été proposés







Berkowitz, J, Christoffersen P.F. et Pelletier(2005), "Evaluating Value-at-Risk Models with Desk-LevelData", North Carolina State University, Department ofEconomics, Working Paper 010.

Candelon, B, Colletaz, G, Hurlin C. et Tokpavi.(2008), Backtesting Value-at-Risk: A GMM duration-basedtest, Working Paper.

Christoffersen, P. F., et D. Pelletier. (2004),Backtesting Value-at-Risk: A Duration-BasedApproach,Journal of Financial Econometrics 2, 1, p. 84-108.

Haas, M. (2005), "Improved duration-based backtesting ofValue-at-Risk", Journal of Risk, 8(2), pp. 17-36.






Tests de couverture conditionnelleLes tests de durée : Christo¤ersen et Pelletier (2004)

Sous lhypothèse nulle de CC, Christo¤ersen et Pelletier(2004) supposent que la durée Di suit une loi exponentielle(approximation continue de la loi géométrique) deparamètre α et de densité :

f (d ; α) = α exp (αd)

Sous lhypothèse alternative, Christo¤ersen et Pelletiersupposent que la durée suit une loi de Weibull de paramètredéchelle b, de paramètre de centrage a et de densité égale à :

g (d ; b, a) = ab b db1 exph (ad)b

iChristophe Hurlin Backtesting






Rappel Si le paramètre déchelle b est égal à 1, la loi deWeibull se ramène à une loi exponentielle etE (d) = 1/a où a paramètre de centrage a







Denition (Berkowitz, Christo¤ersen et Pelletier, 2005)

Le test de lhypothèse de¢ cience conditionnelle se ramène au testjoint des hypothèses

H0,CC : b = 1 a = α

Une mise en oeuvre possible du test consiste à construire unestatistique LRT dénie par :

LRdureeCC

= 2 (llnc llc ) L!T!∞

χ2 (2)

où llc et llnc désignent les log-vraisemblances respectives obtenuespour la loi exponentielle et la loi de Weibull.







Denition (Christo¤ersen et Pelletier, 2004)

Le test de lhypothèse dindépendance proposé par Christo¤ersenet Pelletier (2004) se ramène au test de lhypothèse

H0,IND : b = 1

Une mise en oeuvre possible du test consiste à construire unestatistique LRT dénie par :

LRdureeIND = 2 (ll1 ll0) L!T!∞

χ2 (1)

où ll0c et ll1 désignent les log-vraisemblances obtenues sousdistribution de Weibull et sous les contraintes H0 et H1







Extensions :

1 Haas (2007) construit un test LR similaire directement àpartir dune loi gémétrique contre une distribution de Weibulldiscrète

2 Dans Candelon, Colletaz , Hurlin et Tokpavi (2008) nousproposons une démarche di¤érente, fondée sur un test GMM,qui permet de ne pas spécier de distribution souslalternative.







Example (Candelon, Colletaz, Hurlin et Tokpavi, 2008)

Considérons les rendements quotidiens sur le Nasdaq sur la périodeAoût 2005 - Août 2006 et calculons les hits associés aux prévisionsout-of-sample à une période des VaR-HS, GARCH Student etCAViaR. Appliquons alors les tests de durée de type LR (Berkowitzet al. .2005) et le test GMM proposé par Candelon, B, Colletaz, G,Hurlin C. et Tokpavi. (2008), pour chaque VaR.






Figure: 5%VaR Violations. Nasdaq (June 2005 - June 2006, T =250)

0 50 100 150 200 2500

0.5

1Hits: GARCHt(d) 5%VaR

0 50 100 150 200 2500

0.5

1Hits: HS 5%VaR

0 50 100 150 200 2500

0.5

1Hits: CAViaR 5%VaR







Tests de couverture conditionnelleLes tests de lhypothèse de di¤érence de martingale







Les Tests de lhypothèse de di¤érence de martingale

On sait que sous lhypthèse nulle de coverture conditionnelle,on a:

E [ It (α) α j Ωt1] = 0

Une solution consiste alors à tester soit directementlhypothèse de di¤érence de martingale, soit une implicationde celle-ci.







Rappel la propriété de di¤érence de martingale implique ene¤et que 8Ztk 2 Ωt1,

E [(It (α) α) Ztk ] = 0

et quen particulier si Itk (β) 2 Ωt1, alors

E f[It (α) α] [Itk (β) β]g = 0, 8 (α, β) 8k 6= 0







Références de tests de lhypothèse de di¤érence demartingale


Hurlin C. and Tokpavi, S. (2007), BacktestingValue-at-Risk Accuracy: A Simple and Powerful New Test,Journal of Risk, Vol 9, 2, p. 19-37






Tests de couverture conditionnelleLes tests de lhypothèse de di¤érence de martingale : Berkowitz et al. (2005)

Lobjectif de Berkowitz et al. (2005) est de proposer uneapproche uniée dévaluation de la VaR.

Ils partent du constat que les hypothèses de couverture nonconditionnelle et dindépendance ne sont que des implicationsde lhypothèse de di¤érence de martingale du processus

Hit (α) = It (α) α







Dans cette perspective, plusieurs tests de lhypothèse dedi¤érence de martingale peuvent être mobilisés pour tester lavalidité des modèles de VaR pour un taux de couverture α(Durlauf, 1991)

Les auteurs retiennent en particulier les tests fondés surlexamen de la densité spectrale de Hit(α), mais aussi le testde Ljung-Box univarié permettant de tester labsencedautocorrélation dans la séquence Hit (α).







Denition

Berkowitz et al. (2005) proposent un test de Ljung-Box sur leprocessus centré des hits, Hit (α) = It (α) α. La statistiqueassociée au test de nullité des K premières auto-corrélations duprocessus de violations sécrit :

LB(K ) = T (T + 2)K

∑i=1

br2iT i

L!T!∞

χ2 (K )

où bri désigne lautocorrélation empirique dordre i du processusHit (α) .







Les simulations de Monte Carlo e¤ectuées par les auteursmontrent que ce test possède de bonnes propriétés à distancenie dès lors que K > 1 (en loccurrence K = 5 dans leurssimulations). Ce constat met en exergue le caractère restrictifdu test de Christo¤ersen (1998) qui ne prend en compte quelauto-corrélation dordre 1 dans la séquence des indicatrices.






Tests de couverture conditionnelleLes tests de lhypothèse de di¤érence de martingale : Hurlin et Tokapvi. (2007)

Hurlin et Tokpavi (2007)

Dans Hurlin et Tokpavi (2007), nous proposons uneextension aux cas multivarié permettant daugmentersensiblement la puissance du test.

Lidée étant de tester la non corrélation des hits pourdi¤érents niveaux de couverture







Lhypothèse de di¤érence de martingale telle que formulée parBerkowitz et al. (2005),

E [Hitt (α) j Ωt1] = 0

implique en particulier (propriété despérance itérée) que pourdes taux de couverture α et β di¤érents :

E [Hitt (α)Hittk (α)] = 0 8k 2 N?

E [Hitt (α)Hittk (β)] = 0 8k 2 N?, 8(α, β)







Soit Θ = fθ1, .., θmg un ensemble discret de m taux decouverture di¤érents, compris entre 0 et 1 strictement.Soit Hitt = [Hitt (θ1) : Hitt (θ2) : ... : Hitt (θm)]

0le vecteur de

dimension (m, 1) regroupant les séquences de violationsassociées aux m di¤érents taux de couverture, à la date t,θ1, ..., θm .

Denition (Hurlin et Tokpavi, 2007)

Lhypothèse de CC pour le processus vectoriel Hitt implique que :

H0 : E [Hitt (θi )Hittk (θj )0] = 0

(m,m)

8k = 1, ...,K , 8(θi , θj ) 2 ΘChristophe Hurlin Backtesting






Denition (Hurlin et Tokpavi, 2007)

Soit Ck la matrice de covariance empirique associée au vecteurHitt :

Ck = (cijk ) =T

∑t=k+1

Hitt Hit 0tk 8k 2 N

On pose Rk = DCkD où D est la matrice diagonale ayant pouréléments les écarts types associés aux processus univariés Hitt (θi )dénis par

pcii0, pour i = 1, ...,m. Sous lhypothèse nulle :

Qm(K ) = TK

∑k=1

vecRk

0 R01 R0

1 vecRk

L!T!∞

χ2Km2







Example (Grigoletto et Lisi, 2006 )

Grigoletto et Lisi (2006) proposent une méthode de prévision de laVaR fondée sur la un modèle GARCHDSK permettant demodéliser non plus seulement la variance conditionnelle, mais aussiles moments supérieurs (skewness et kurtosis). Ils comparent leursprévisions de VaR aux prévisions de VaR issues de modèles GARCHsous normal, GARH sous Student et au modèle Risk Metric. Pource faire, ils utisent la statistique Qm(K ) calculée à partir de deuxtaux de couverture α = 0.01 et α = 0.05.

Grigoletto M. and Lisi F. (2006), "Value-at-Risk prediction byhigher moment dynamics", Working paper, Department ofStatistical Sciences, University of Padua, Italy







Tests de couverture conditionnelleLes tests fondés sur un modèle de régression






Tests de couverture conditionnelleLes tests fondés sur un modèle de régression des hits

Les tests fondés sur un modèle de régression des hits

Idée : considérer un modèle paramétrique sur le processus de hit Itde sorte à ramener les tests de backtesting à de simples testsparamétriques

Engle, R. F., and Manganelli, S. (2004), CAViaR:Conditional Autoregressive Value-at-Risk by RegressionQuantiles, Journal of Business and Economic Statistics, 22,pp. 367-381.

Patton, A. J. (2002), Application of Copula Theory inFinancial Econometrics, Ph,D. Dissertation






Tests de couverture conditionnelleLes tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004)

Engle et Manganelli (2004) proposent dutiliser un modèlede régression linéaire liant les violations courantes auxviolations passées an de tester lhypothèse de¢ cienceconditionnelle.

Soit Hit (α) = It (α) α, le processus de violations centré surα associé à It (α) :

Hitt (α) =

(1 α si rt < VaR t jt1(α)

α sinon







Denition (Engle et Manganelli, 2004)

Engle et Manganelli (2004) considèrent le modèle de régressionlinéaire :

Hitt (α) = δ+K

∑k=1

βkHittk (α) +K

∑k=1

γk ghHittk (α) , ztk

i+ εt

où les innovations εt satisfont :

εt =

1 α avec une probabilité αα avec une probabilité 1 α

et où g(.) désigne une fonction des violations passées et devariables ztk 2 Ωt1.








Le test de lhypothèse nulle de CC revient à tester dans le modèlede regression linéaire précédent lhypothèse jointe :

H0 : δ = βk = γk = 0, 8k = 1, ..,K

Les violations courantes de la VaR sont non corrélées auxviolations passées dès lors que βk = γk = 0 (implication delhypothèse dindépendance)lhypothèse de couverture non conditionnelle est satisfaite dèslors que la constante δ est nulle.

E [Hitt (α)] = E (εt ) = 0 => Pr [It (α) = 1] = E [It (α)] = α







Sur le plan technique, puisque sous lhypothèse nulle lesrégresseurs ne sont pas correlés avec la variable dépendante, ilest possible dinvoquer un thèorème central limite pourdémontrer la normalité asymptotique de lestimateur desMCO.

Engle et Manganelli déduisent un test simple de lhypothèsede nullité simultanée des coe¢ cients du modèle.








Soit Ψ = (δ β1 ..βK γ1 ..γK )0 le vecteur des 2K + 1 paramètres

du modèle de régression et Z la matrice des variables explicatives,la statistique de Wald, notée DQCC , associée au test delhypothèse de¢ cience conditionnelle vérie :

DQCC =bΨ0Z 0Z bΨα (1 α)

L!T!∞

χ2 (2K + 1)







De la même façon que pour le test de Christo¤ersen, on peutdécomposer ce test en ne testant par exemple que lhypothèsedindépendance des violations.


On peut ainsi construire une statistique DQIND associée au test delhypothèse dindépendance H0 : βk = γk = 0 qui vérie :

DQIND =bΨ0R 0 hR (Z 0Z )1 R 0i1 R bΨ

α (1 α)L!

T!∞χ2 (2K )

où R = [0 : I2K ] est une matrice de dimension (2K , 2K + 1) telleque RΨ = β, avec β = (β1 ..βK γ1 ..γK )

0 .







Example

Dionne, Duchesne et Pacurar (2005) proposent une méthodeoriginale pour calculer et prévoir la VaR sur données de hautefréquence (Intraday Value at Risk, IVaR). Pour valider cette IVaR,ils ont recours à des tests de Kupiec (1995) et des tests dEngle etManganelli (2004). Dans ces derniers ils posent K = 5 et neconsidèrent que lIVaR passée comme variable explicative :

Hitt (α) = δ+5

∑k=1

βkHittk (α) +5

∑k=1

γk VaRtk (α) + εt

Dionne G., Duchesne P., Pacurar M . (2005),"Intraday Value at Risk (IVaR) Using Tick-by-Tick Data withApplication to the Toronto Stock Exchange", Working Paper,HEC Montreal






Tests de couverture conditionnelleLes tests fondés sur un modèle de régression des hits : Patton (2002)

Test LR et Modèle Logit : Patton (2002)

Un extension naturelle du test de Engle et Manganelli (2004)consiste tout simplement à considérer un modèledichotomique (probit ou logit) liant les violationscourantes aux violations passées.En e¤et, il est admis que le modèle de régression linéaire nestpas le modèle le plus adapté lorsque, comme cest le cas ici, lavariable dépendante est une variable dichotomique du fait desproblèmes dhétéroscédasticité (Gourieroux, 2000).







Denition (Patton, 2002)

Patton (2002) considère un modèle logit liant la probabilité deviolation à la date t à un ensemble de variables explicatives Zt(incluant éventuellement les violations passées de la VaR). Laprobabilité doccurrence dune violation πt satisfait :

πt = Pr [It (α) = 1] = Λ

βZt ln1 α

α

où Λ (ω) = eω/ (1+ eω)

Patton, A. J. (2002), Application of Copula Theory inFinancial Econometrics, Ph,D. Dissertation







Le test de lhypothèse de¢ cience conditionnelle se ramènealors au test de lhypothèse de nullité du vecteur β.dans lemodèle

πt = Pr [It (α) = 1] = Λ

βZt ln1 α

α

Sous lhypothèse H0 : β = 0, les variables caractéristiques delensemble de linformation disponible nont pas dinuencesur la probabilité doccurrence dune violation, qui est alorségale au taux de couverture α.







Denition (Patton, 2002)

Dans le modèle logit, le test de lhypothèse CC H0 : β = 0 peutêtre mené à partir dune simple statistique de ratio devraisemblance, notée LRlogit , telle que :

LRLogitCC = 2 fln L [α, I1 (α) , .., IT (α)] ln L [bπ, I1 (α) , .., IT (α)]gL!

T!∞χ2 (dim(Z ))

où bπ est la probabilité estimée à partir du modèle logit et où :

ln L [π, I1 (α) , .., IT (α)] =T

∑t=1It (α) ln(π)+ [(1 It (α)] ln(1π)]







De la même façon, un test de lhypothèse dindépendanceconsiste à tester la même hypothèse nulle H0 : β = 0 maiscette fois dans un modèle logit où la constante nest pluségale à une transformée de α.

πt = Pr [It (α) = 1] = Λ [βZt + c ]

La forme de la statistique LR associée au test dindépendanceest alors similaire à celle du test de¢ cience conditionnelle.






Tests de couverture conditionnelleLes tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004) -Patton (2002)

Example (Berkowitz, Christo¤ersen et Pelletier, 2005)

Berkowitz et al. (2005) appliquent plusieurs tests de backtesting àun jeu de quatre distributions de P&L associés à quatre desksdune même banque. Parmi ces tests il utilisent le test dEngle etManganelli (quils nomment CAViaR) en considérant le modèlesuivant :

Hitt (α) = δ+ β1Hitt1 (α) + γ1 VaRt1 (α) + εt






Tests de couverture conditionnelleLes tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004) -Patton (2002)

Example (suite)

Plutôt que dutiliser la statistique DQ, ils supposent que εt a unedistribution logistique et testent la nullité des coe¢ cients dans unmodèle logit en adoptant une statistique de Patton (2002)

πt = Pr [It (α) = 1]

= Λ

β1Hitt1 (α) + γ1 VaRt1 (α) ln1 α

α







Tests de couverture conditionnelleLes tests de type Density Forecast







Les tests précédents sintéressaient à le¢ cience conditionnellepour un taux de couverture nominale α donné. Or, lapropriété de¢ cience conditionnelle doit être valide pournimporte quel taux de couverture.Si un modèle de calcul de VaR conduit à des violationsindépendantes pour un taux de couverture à 1%, mais faitapparaître des clusters de violations pour un taux decouverture de 5%, il ne peut pas être considéré comme valide.

Ce raisonnement, poussé à lextrême, conduit alors à testerle¢ cience conditionnelle pour tous les taux de couverturepossibles compris entre zéro et un : cest le principe delapproche Density Forecast Approach







Quelques tests de cette littérature :

Berkowitz, J. (2001), Testing Density Forecasts WithApplications to Risk Management, Journal of Business andEconomic Statistics, 19, pp. 465-474.

Crnkovic, C., and Drachman, J. (1997), QualityControl in VaR: Understanding and Applying Value-at-Risk,London, Risk Publications.

Diebold, F. X., Gunther, T. A. and Tay, A. S.(1998), Evaluating Density Forecasts, InternationalEconomic Review, 39, pp. 863-883.






Une evaluation des procédures deBacktesting





Une évaluation des procédures de backtestingDoit-on croire au backtesting ?

Doit-on croire au backtesting

La question centrale est la suivante : les procéduresactuelles de backtesting sont elles ables ?Nécessité dévaluer les procédures de backtestingRemplissent elles clairement leurs objectifs ?






Remarque La plupart des tests de backtesting sont des tests devalidation (et non des tests de comparaison)dont lhypothèse nulle sécrit sous la forme :

H0 : le modèle de prévision de VaR est valide

au sens de la couverture non conditionnelle, delindépendance ou de la couverture conditionnelle.






Dans un test de validation, les notions de risque de premièreespèce et de puissance sinterprètent ainsi

DenitionLe risque de première espèce associé à un test de backtestingcorrespond à la probabilité de rejeter la validité dune prévision deVaR (et donc dun modèle) alors que la prévision est valide

Fact

DenitionLa puissance associée à un test de backtesting correspond à laprobabilité de rejeter la validité dune prévision de VaR (et doncdun modèle) alors que cette prévision est e¤ectivement non valide






Quel est sont les principaux problèmes des procédures debacktesting ?

1 Le nombre de violations (ou de durées entre lesviolations) est très faible pour des échantillons de tailleréaliste. Exemple : pour un année de rendements quotidiens(T = 250) et un taux de couverture de 1%, on ne disose enmoyenne que 2.5 violations.

2 Il existe des distorsions de taille à distance nie.3 La puissance des tests fondés sur une distributionasymptotique est généralement très faible






DenitionLes tests des procédures de backtesting sont généralement très peupuissants pour des tailles déchantillons réalistes. Cela signie queces procédures ont tendance à souvent ne pas rejetter la validité demodèles fournissant des prévisions pourtant e¤ectivement nonvalides.






Example (Hurlin et Tokpavi, 2007)

Dans Hurlin et Tokpavi (2007), nous reportons les résultats dedi¤érents exercices de simulation de puissance. En particulier onconsidère le cas où le vrai DGP des rendements correspond à unmodèle GARCH et que lon applique à tort une méthode HS pourcalculer la VaR générant ainsi des clusters de violations. Pourchaque simulation de VaR et de violation, on applique les tests LR(Christo¤ersen, 1998), DQ (Engle et Manganelli, 2004) et QK(Hurlin and Tokpavi, 2007). A partir de 10 000 simulations, oncalcule les fréquences de rejet de lhypothèse nulle de CC enutilisant une technique de test garantissant que la taille e¤ectivedu test corresponde e¤ectivement au seuil nominal de 10%(Dufour, 2006)






Example (Berkowitz, Christo¤ersen et Pelletier, 2005)

Berkowitz et al. (2005) appliquent plusieurs tests de backtesting àun jeu de quatre distributions de pertes et prot (P&L) associés àquatre desks dune même banque. Ils proposent ensuite une exrcicede puissance en simulant des séries de rendements suivant unprocessus ajusté sur les données historiques. Ils comparent lesperformances des tests DQ, Ljung-Box, Markov, KS et CVM







Autre façon de mettre en évidence les failles des procédurede backtesting

1 Dans Hurlin et Tokpavi (Finance, 2008), nous proposons unedémarche originale visant à évaluer la capacité des tests usuelsde backtesting à discriminer di¤érentes prévisions de Value atRisk (VaR) ne fournissant pas la même évaluation ex-ante durisque.

2 Nos résultats montrent que, pour un même actif, ces testsconduisent très souvent à ne pas rejeter la validité, ausens de la couverture conditionnelle, de la plupart des sixprévisions de VaR étudiées, même si ces dernières sontsensiblement di¤érentes.

3 Autrement dit, toute prévision de VaR a de fortes chancesdêtre validée par ce type de procédure.Christophe Hurlin Backtesting




Fin de la Partie 3.


partie 3. value-at-risk et backtesting

Documents