impact of information approximations on experimental ...bb/pode/pode2012_slides/tmielke.pdfexample 2...

25
Design in Mixed Effects Models T. Mielke Fisher- Information Model Information and Design Information Approximations Example 1 Optimal Designs Example 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed Effects Models Tobias Mielke PODE 2012 22.03.2012

Upload: others

Post on 27-Sep-2020

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Impact of Information Approximationson Experimental Designs in

Nonlinear Mixed Effects Models

Tobias Mielke

PODE 201222.03.2012

Page 2: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Mixed Effects Models

0 4 8 12 16 20 24

0.0

0.2

0.4

0.6

0.8

Time x

Con

cent

ratio

n

●

●

●

●

●

●

Ξ·(Ξ²i, x)=eΞ²i1(eβˆ’xΞ²i2 βˆ’ eβˆ’xΞ²i3)

β€’ Similar functions for different individuals

β€’ Every individual has its own individual parameters

β€’ Vectors of individual parameters are realizations ofrandom vectors

β†’ Mixed Effects Models1/23

Page 3: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Mixed Effects Models

Two-stage-model: N individuals with each m observations

β€’ 1. stage (intra-individual variation):

Yij = Ξ·(Ξ²i , xij) + Ξ΅ij , j = 1, ...,m, Ξ΅ij ∼ N (0, Οƒ2)

- Experimental settings xij ∈ X .

- Known response function Ξ·.

β€’ 2. stage (inter-individual variation):

Ξ²i ∼ Np(Ξ², Οƒ2D), i = 1, ...,N, Ξ² ∈ Rp

- Ξ²i and Ξ΅ij are assumed to be independent.

- Variance parameters Οƒ2 and D assumed to be known.

2/23

Page 4: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Mixed Effects ModelsIndividual observation vector:

Yi = Ξ·(Ξ²i , ΞΎi) + Ξ΅i ,

- m - number of observations,

- ξi = (xi1, ..., xim) ∈ Xm - experimental settings,

- Ξ·(Ξ²i , ΞΎi) := (Ξ·(Ξ²i , xi1), ...,Ξ·(Ξ²i , xim))T .

Design matrix:

FΞ²,i :=

(βˆ‚Ξ·(Ξ²i , ΞΎi)

βˆ‚Ξ²Ti|Ξ²i=Ξ²

).

Two possible cases:

1.) Ξ·(Ξ²i , ΞΎi) linear in Ξ²i or

2.) Ξ·(Ξ²i , ΞΎi) nonlinear in Ξ²i .

3/23

Page 5: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

EstimationFor Ξ· nonlinear in Ξ²i :β€’ No closed form of the probability density fYi (yi):

fYi (yi) :=

∫Rp

fYi |Ξ²i=Ξ²i(yi)fΞ²i (Ξ²i)dΞ²i .

β€’ Covariance of estimators in the literature:

Cov(Ξ²Μ‚) β‰ˆ Οƒ2

(Nβˆ‘

i=1

F TΞ²Μ‚i ,i

Vβˆ’1Ξ²Μ‚i ,i

FΞ²Μ‚i ,i

)βˆ’1

for big m.

β€’ Fisher information of interest for small m:

M(ΞΎi) = E(βˆ‚ log(fYi (yi))

βˆ‚Ξ²

βˆ‚ log(fYi (yi))

βˆ‚Ξ²T

).

4/23

Page 6: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Information and Designβ€’ Population designs:

ΞΆ =

(ξ1 ... ξkω1 ... ωk

)with

kβˆ‘i=1

Ο‰i = 1,

100Γ— Ο‰i% observed with settings ΞΎi ∈ Xm.β€’ Population information:

Mpop(ΞΆ) :=kβˆ‘

i=1

Ο‰iM(ΞΎi).

β€’ For N individuals and population designs ΞΆ holds:√

N(Ξ²Μ‚ML βˆ’ Ξ²)Lβˆ’β†’ Np

(0,Mpop(ΞΆ)βˆ’1

), (N β†’βˆž).

β€’ Aim: Minimization of the asymptotic covariance

β†’ D-optimality: Ξ¦D(ΞΆ) := βˆ’ log detMpop(ΞΆ).

5/23

Page 7: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Fisher InformationRemember:

Yi = Ξ·(Ξ²i , ΞΎi) + Ξ΅i , Ξ²i ∼ Np(Ξ², Οƒ2D), Ξ΅i ∼ Nm(0, Οƒ2Im)

log-Likelihood function:

l(Ξ²; yi) := log(

∫Rp

fYi |Ξ²i=Ξ²i(yi)fΞ²i (Ξ²i)dΞ²i), and

βˆ‚l(Ξ²; yi)

βˆ‚Ξ²=

1Οƒ2 Dβˆ’1(E(Ξ²i |Yi = yi)βˆ’ Ξ²),

such that for M(ΞΎi) follows:

M(ΞΎi) = E(βˆ‚l(Ξ²; Yi)

βˆ‚Ξ²

βˆ‚l(Ξ²; Yi)

βˆ‚Ξ²T

)=

1Οƒ4 Dβˆ’1Cov(E(Ξ²i |Yi))Dβˆ’1

=1Οƒ2 Dβˆ’1 βˆ’ 1

Οƒ4 Dβˆ’1E(Cov(Ξ²i |Yi))Dβˆ’1

6/23

Page 8: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Fisher InformationOtherwise:

Yi = Ξ·(Ξ² + bi , ΞΎi) + Ξ΅i , bi ∼ Np(0, Οƒ2D), Ξ΅i ∼ Nm(0, Οƒ2Im)

log-Likelihood function:

l(Ξ²; yi) := log(

∫Rp

fYi |bi=bi(yi)fbi (bi)dbi), and

βˆ‚l(Ξ²; yi)

βˆ‚Ξ²=

1Οƒ2 E

(F TΞ²+bi

[yi βˆ’ Ξ·(Ξ² + bi)]|Yi = yi

),

such that for M(ΞΎi) follows:

M(ΞΎi) = E(βˆ‚l(Ξ²; Yi)

βˆ‚Ξ²

βˆ‚l(Ξ²; Yi)

βˆ‚Ξ²T

)=

1Οƒ4 Cov(E(F T

Ξ²+bi[yi βˆ’ Ξ·(Ξ² + bi)]|Yi))

=1Οƒ2 E(F T

Ξ²+biFΞ²+bi )βˆ’ ...

7/23

Page 9: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Fisher Information

Summarizing:

Yi = Ξ·(Ξ²i , ΞΎi) + Ξ΅i , Ξ²i ∼ Np(Ξ², Οƒ2D), Ξ΅i ∼ Nm(0, Οƒ2Im)

β‡’ M(ΞΎi) ≀ min{ 1Οƒ2 Dβˆ’1,

1Οƒ2 E(F T

Ξ²iFΞ²i )}

with respect to the Loewner partial ordering.

Specially for Cov(Ξ²i) = τσ2D:

M(ΞΎi)β†’ 1Οƒ2 F T

Ξ² FΞ² for Ο„ β†’ 0,

M(ΞΎi)β†’ 0 for Ο„ β†’βˆž,

M(ΞΎi)β†’ 0 for Οƒ2 β†’βˆž.

8/23

Page 10: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Information ApproximationsCompeting approaches in the literature:

β€’ Linearization of the model in some Ξ²0 ∈ Rp:

Yi β‰ˆ Ξ·(Ξ²0, ΞΎi) + FΞ²0(Ξ² βˆ’ Ξ²0) + FΞ²0(Ξ²i βˆ’ Ξ²) + Ξ΅i

Yiapp.∼ Nm

(Ξ·(Ξ²0, ΞΎi) + FΞ²0(Ξ² βˆ’ Ξ²0), Οƒ2VΞ²0

)β†’ Linear mixed effects model.

β€’ Linearization of the model in Ξ² ∈ Rp:

Yi β‰ˆ Ξ·(Ξ², ΞΎi) + FΞ²(Ξ²i βˆ’ Ξ²) + Ξ΅i

Yiapp.∼ Nm

(Ξ·(Ξ², ΞΎi), Οƒ

2VΞ²)

β†’ Heteroscedastic nonlinear normal model.

9/23

Page 11: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Information Approximations

Calculation of the Fisher information:

Assumption: linearized model is the true model.β€’ Linear Mixed Effects information with Ξ²0 = Ξ²

[Retout et al.(2001), Schmelter(2007)]:

M1(ΞΎi ;Ξ²) :=1Οƒ2 F T

Ξ² Vβˆ’1Ξ² FΞ²

β€’ Nonlinear Heteroscedastic information

[Retout et al.(2003)]:

M2(ΞΎi ;Ξ²) :=1Οƒ2 F T

Ξ² Vβˆ’1Ξ² FΞ² +

12

SΞ²,

where SΞ² β‰₯ 0.

10/23

Page 12: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Information ApproximationsRemember:

Yi = Ξ·(Ξ²i , ΞΎi) + Ξ΅i , Ξ²i ∼ Np(Ξ², Οƒ2D), Ξ΅i ∼ Nm(0, Οƒ2Im)

log-Likelihood function:

l(Ξ²; yi) := log(

∫Rp

fYi |Ξ²i=Ξ²i(yi)fΞ²i (Ξ²i)dΞ²i), and

βˆ‚l(Ξ²; yi)

βˆ‚Ξ²=

1Οƒ2 Dβˆ’1(E(Ξ²i |Yi = yi)βˆ’ Ξ²),

such that for M(ΞΎi) follows:

M(ΞΎi) = E(βˆ‚l(Ξ²; Yi)

βˆ‚Ξ²

βˆ‚l(Ξ²; Yi)

βˆ‚Ξ²T

)=

1Οƒ2 Dβˆ’1 βˆ’ 1

Οƒ4 Dβˆ’1E(Cov(Ξ²i |Yi))Dβˆ’1

β†’ Approximation of conditional moments!11/23

Page 13: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Information Approximationsβ€’ Approximation of conditional density:

Ξ²i |Yi=yi

app.∼ Np(Β΅(yi , Ξ²Μ‚i , Ξ²), Οƒ2Mβˆ’1Ξ²Μ‚i

) and

E(Ξ²i |Yi = yi) β‰ˆ Β΅(yi , Ξ²Μ‚i , Ξ²),

Cov(Ξ²i |Yi = yi) β‰ˆ Οƒ2(

F TΞ²Μ‚i

FΞ²Μ‚i+ Dβˆ’1

)βˆ’1.

β€’ Conditional expectation in Ξ²Μ‚i = Ξ²:

M(ΞΎi) =1Οƒ4 Dβˆ’1Cov(E(Ξ²i |Yi))Dβˆ’1

β‰ˆ 1Οƒ4 F T

Ξ² Vβˆ’1Ξ² Cov(Yi)Vβˆ’1

Ξ² FΞ² =: M3(ΞΎi ;Ξ²).

β€’ Conditional variance in Ξ²Μ‚i = Ξ²i :

M(ΞΎi) β‰ˆ1Οƒ2 E(F T

Ξ²iVβˆ’1Ξ²i

FΞ²i ) =: M4(ΞΎi ;Ξ²).12/23

Page 14: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Information ApproximationsAlternative motivation of M4(ΞΎi ;Ξ²):

β€’ Linearization of the model in some estimate Ξ²Μ‚i ∈ Rp:

Yi β‰ˆ Ξ·(Ξ²Μ‚i , ΞΎi) + FΞ²Μ‚i

(Ξ² βˆ’ Ξ²Μ‚i) + FΞ²Μ‚i

(Ξ²i βˆ’ Ξ²) + Ξ΅i

Yiapp.∼ Nm

(Ξ·(Ξ²Μ‚i , ΞΎi) + F

Ξ²Μ‚i(Ξ² βˆ’ Ξ²Μ‚i), Οƒ

2VΞ²Μ‚i

)β†’ Linear mixed effects model

β†’ Individual i provides Information:1Οƒ2 F T

Ξ²Μ‚iVΞ²Μ‚i

FΞ²Μ‚i

β€’ Population provides the information:

M4(ΞΎi ;Ξ²) :=1Οƒ2 E(F T

Ξ²Μ‚iVβˆ’1Ξ²Μ‚i

FΞ²Μ‚i

)

with according distribution of Ξ²Μ‚i .β€’ Example given by Two-Stage and LB-Estimators.

13/23

Page 15: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Information ApproximationsOther possible approximation:

β€’ Unbiased estimator for Ξ² provided by:

Nβˆ‘i=1

(yi βˆ’ E(Yi))T Cov(Yi)βˆ’1 (yi βˆ’ E(Yi))β†’ min

Ξ²

β€’ Quasi-Information:

M5(ΞΎi ;Ξ²) :=βˆ‚E(Yi)

T

βˆ‚Ξ²Cov(Yi)

βˆ’1βˆ‚E(Yi)

βˆ‚Ξ²T

β€’ Known:

M5(ΞΎi ;Ξ²) ≀M(ΞΎi).

14/23

Page 16: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Example 1

Observations as

Yi = exp(Ξ²i) + Ξ΅i , Ξ²i ∼ N (Ξ²,d), Ξ΅i ∼ N (0, Οƒ2)

β€’ Closed form approximations for:M1, M2, M3 and M5.

β€’ Approximation of M4 using Monte-Carlo.

β€’ Comparison with a simulated Fisher information for

- 1250 values of d and given Οƒ2 = 1

- 1250 values of Οƒ2 and given d = 1

- 10000 observations per setting d , Οƒ2 ∈ R+.

15/23

Page 17: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Example 1Yi = exp(βi) + Ρi , βi ∼ N (β,d = ρd

1βˆ’Οd), Ξ΅i ∼ N (0,1)

●●●●●●●●●

●●●●●

●

●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●

●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●

●

●●

●●●●

●

●●●●●●●●●●●●●●●●●●

●●●

●●●●●

●●●

●

●●●●●

●●●●

●●●●●●●●

●

●

●

●●●●●●●●

●

●●●●●

●●●

●●●

●

●

●●●●

●●●●●●

●●

●

●

●

●

●●●●

●

●●●

●

●●●

●

●

●

●●●●

●●●

●●●

●●●●

●

●●

●●●

●

●

●

●

●●●●

●●

●

●●

●●●●●

●●●

●●

●●●●●

●

●

●

●

●●●

●

●●●●

●

●●●●●●

●

●

●●●●●

●●

●

●●●●

●

●

●●●●

●

●

●●●

●●●●●●

●

●●●●

●●

●

●

●●●●●●●●●●

●●

●

●

●

●

●

●

●●

●

●●●

●●●

●

●

●

●●

●

●

●

●

●●

●

●

●

●●

●

●●

●

●●●

●

●

●

●

●●

●

●●●●●

●●

●

●●

●●

●●

●

●

●

●

●

●●

●●

●

●

●●

●

●

●

●

●

●

●●

●

●

●

●

●

●●●●●

●●●

●●

●●

●

●●

●

●

●

●

●●●

●

●●

●

●●

●

●●

●

●

●

●

●●●●

●●●

●●

●

●

●

●●

●

●

●●

●

●

●●

●●

●●

●●●

●●

●●●●

●

●●●●●●

●

●

●●

●

●●

●

●●

●

●

●

●

●

●

●●●

●

●●

●●

●

●

●●●

●●

●●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●●

●

●●

●

●●

●●

●

●

●●

●

●

●

●

●

●●

●●

●●

●●

●●●

●

●●

●●

●●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●●●●●●

●●

●●

●

●●●

●

●●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●

●

●●

●●

●

●

●●

●

●●●

●●

●

●

●

●

●

●●

●

●●●●

●

●

●●●

●●●●

●

●●●

●●

●

●

●

●

●

●

●

●●●

●●●●●●

●●●●

●

●●

●

●●●●

●

●●●●

●

●●●●●●●

●●●

●

●

●

●●●

●

●

●

●●●

●

●●●

●●

●

●

●

●

●

●

●●

●

●

●●

●

●

●●●

●●

●

●

●

●

●

●●

●

●

●

●●●

●

●

●●

●

●●

●

●

●●●

●●

●

●●●

●

●

●●●●●

●●

●

●●●●●●●●●

●●●

●

●●●

●●●●

●

●●●●●●●●●●●

●

●●●●●●

●

●●●●

●●●●

●●

●

●

●●

●

●●●●

●

●

●●●●●

●●●●

●●●●●●●●●●●●●

●●●●●●●

●●●●

●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

0.0 0.2 0.4 0.6 0.8 1.0

0.00

0.02

0.04

0.06

0.08

0.10

ρd, Οƒ = 1

Info

rmat

ion

Ξ²=βˆ’

2

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●

●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●

●●●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●

●●●

●●●●●●●●●

●●●

●●●●●●●●●●●●●●●

●

●●●●●

●●●●●●●●●

●●●●●

●●●●●●●●●

●●

●

●●●●

●●●

●

●●●●

●●●●●●●●●●●●●●

●●●●●

●

●

●●●●●●●●

●●●●

●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●

●

●●●●●●●●●●●

●●●●●●

●

●

●●●●●●●●

●

●●

●

●●●

●

●●●

●

●●●●

●●

●

●

●●●●●●

●

●●●

●●●●●●●

●

●

●

●●●●●●●●

●

●●●●

●

●

●

●

●●●

●●●

●

●●

●●●●●

●

●●●●●

●

●

●

●●

●●●●●●●●●

●●●

●

●

●●●●

●

●

●

●

●

●

●

●●●●●

●

●●●●

●

●

●

●●●●●●●●

●●

●●

●●●

●●●

●●●

●

●●

●●●●●

●

●●●

●

●

●

●

●

●

●●

●

●

●

●●●●●●●●

●●●

●●

●●

●●●●●

●

●●●●

●

●●●●

●

●●●

●

●●

●

●

●●

●

●

●●

●●●●

●

●

●

●

●●●

●

●

●

●

●

●●●●●●

●●●●

●●

●

●

●

●

●●

●

●●

●

●

●●●●

●●●

●

●

●

●●

●

●●

●●

●

●

●●

●

●

●

●

●

●

●

●

●●

●●●●●●●●●●

●

●●●●●●

●

●

●

●

●●●●●●

●

●●

●●●

●●

●●

●●

●

●

●

●

●

●●

●

●

●

●●

●

●●●●

●

●

●

●●

●

●●

●●

●●

●

●●●●

●

●

●●

●

●

●

●●●

●

●

●

●

●●

●

●●

●

●

●

●●

●●

●●●●

●

●●●

●

●●●●

●

●

●

●

●

●

●

●

●

●

●●●

●

●●

●

●●●●

●●●●●

●●●●●

●

●●

●

●

●

●

●

●●●●

●

●

●

●●

●

●

●

●

●●●

●

●

●

●

●

●

●●

●

●●●●●●

●

●●●●

●●

●●●●●

●●●●●●

●●●●●

●

●●●

●

●

●

●

●●●

●

●●

●

●●●

●

●●

●●●

●

●●

●●●

●●

●●

●●

●●

●

●●●●

●

●●

●

●

●

●●

●●●●●●

●

●●●●

●

●

●

●

●●

●

●

●

●●●

●

●●●●●

●●●

●

●

●

●

●●

●

●●

●

●

●

●●●●

●●●

●

●●

●

●

●

●

●●●●

●

●

●

●●

●

●●●●

●

●●●

●●●●

●

●●

●

●●

●

●●●

●●●●●●

●

●

●●

●●

●

●

●

●●

●

●●

●

●

●●

●

●●●

●

●●●●

●

●●●●●●●●●

●

●

●●●●

●●●●●●●●●●●●

●●●

●

●

●

●●●

●●

●●●●●●

●●●●●●●●●

●

●●

●●●●●

●●●●

●

●

●●

●●●●●●●●●●●●●●●●●

●●●●●●●

●●

●●●●●●●

●●

●●●●●●●

●●●

●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●

●●●●●●●●

●●●●●●●●

●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●

●●●●●●●●

●●

●●●●●●●

●●●

●●

●●

●

●●

●

●●●●●●●●

●

●

●●

●

●●●●●●

●●

●

●

●●

●

●●

●

●

●●

●

●●

●

●

●

●●●●

●●●●

●●

●●●

●●●

●

●●

●

●●

●

●

●●●●●

●

●●

●●●

●

●

●●●

●●●

●

●●●

●●

●●

●

●

●●

●

●●●●●●●●●●●●

●

●●

●

●●

●

●●

●

●●●●●

●

●●

●●●●●●●●●●

●

●

●

●●

●

●

●

●

●●

●●

●

●

●●●●

●

●

●●

●●●●●●●●●●●●●●●●

●●●

●●

●

●

●

●

●●●●●

●●●

●

●

●●

●●●●●●

●●●●●

●

●●

●●

●●●

●●

●

●

●

●

●●

●

●●●

●

●

●●

●●●

●

●

●●●

●

●

●

●

●

●

●

●

●●●

●

●

●●

●●

●●●●●

●

●

●●●●●●

●

●

●●●●

●

●

●●

●●●

●

●

●

●●

●

●

●

●

●

●●●

●●

●

●

●

●●

●●

●●

●

●

●

●

●●

●

●●●

●

●

●●

●●

●

●●

●

●●●●

●

●

●

●

●

●●

●●

●●

●

●

●

●

●

●

●

●

●

●●

●●

●

●

●●

●

●

●●

●

●●●

●

●●●

●

●

●

●

●

●

●●●●

●

●

●

●●

●●●

●

●

●●

●

●●

●

●

●

●●●

●

●

●●

●●

●●

●●●

●

●

●●

●

●

●

●

●

●

●

●

●●●●

●

●

●●●●

●●●●●

●●●

●

●●

●

●●●●

●

●

●●●

●●

●

●

●

●

●

●●

●

●

●

●●●

●

●●●

●

●

●

●

●

●●●●

●

●●

●

●

●●

●

●

●

●

●●

●

●

●

●

●●

●●

●

●●

●●

●●●

●●

●

●

●

●

●

●

●●●

●

●

●●●

●

●●

●

●

●●

●

●●

●

●

●

●

●●●

●

●●

●●●●●

●

●●

●

●

●●

●●

●

●●●

●

●●●

●

●

●●●

●

●

●

●

●

●●

●

●

●●●●●●●

●●

●●

●

●●

●

●

●

●

●●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●

●●

●

●

●

●

●

●

●●●

●

●●●

●

●

●

●●●●

●●●

●

●

●

●

●

●●

●

●

●●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●●●●●●●●●●●

●●●

●

●●

●●

●●

●

●

●●●●●

●●

●●

●

●

●●●

●

●●

●

●●

●●●●

●

●●

●

●

●

●

●●

●

●

●

●

●●●

●

●●

●

●●

●●●●

●

●●●

●●●●

●

●

●

●●●

●

●

●

●●●●

●

●

●●●●●

●

●

●

●

●●

●

●●

●●

●

●

●

●●

●●

●

●

●●

●

●●●

●

●

●●●●

●●

●●●●●

●

●

●

●

●

●

●

●●

●

●●

●

●●●

●●●●

●

●

●

●●●●●●

●

●●●●

●

●

●

●

●

●●●●●●●

●

●

●●●●●

●●●●●●●●●●

●

●

●

●

●●

●●

●●●●●●●●

●

●●

●●●●

●

●●●●

●●

●

●●●●

●

●●

●●

●

●●●●●●●●

●●

●●●●

●

●

●

●●●●●●●●●●

●●●●●●●●●●●●

●●●

●

●●●●●●●

●

●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

0.0 0.2 0.4 0.6 0.8 1.0

0.00

0.05

0.10

0.15

0.20

0.25

ρd, Οƒ = 1

Info

rmat

ion

Ξ²=βˆ’

1

●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●

●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●

●●●

●●●●●●●

●

●●●●●

●●●●

●

●●

●●●●●●●

●●●

●●

●●●

●

●●●●●●●●●●●

●●●●

●●●

●●●●

●

●●

●●●

●●●

●

●●●●

●●

●

●

●●●

●

●●●●●

●

●●●●

●

●

●●

●●●●●●●

●●

●

●

●●●

●

●

●

●

●

●

●●

●●●●●●

●●

●

●●

●

●

●

●●●

●●

●●●●●●

●●●

●

●

●●

●●●●●●

●●

●●

●●●●●●

●

●●

●

●●●

●

●●

●●

●

●●

●●●●●

●

●●●

●

●

●

●●

●

●●

●●●●

●

●●●●

●●

●●●●●

●●

●●●●

●

●●●

●

●

●

●●

●

●

●●●●

●

●

●●

●●

●●

●

●

●●

●●●●●

●

●●

●●●

●

●●●●●

●

●●●●

●

●

●●

●●

●●●●

●●

●●●●●

●●

●●

●

●

●

●

●

●

●

●●

●

●

●

●

●●●

●

●●●

●●

●●●

●

●●

●

●

●

●

●●

●

●

●●●●●●

●

●●●●●●

●

●●●●

●●

●

●●●

●

●

●●●

●●

●

●●●●

●

●●●●●

●●●●●●●●●●●●●●●

●●●

●

●●

●

●●

●●●●●

●

●

●

●

●

●●

●●

●

●

●●

●

●●●●

●

●●

●

●●●

●●

●●●●●

●

●●●

●

●

●●

●●●

●

●●●

●

●

●

●

●●

●●●●

●

●●

●

●●●●

●

●

●●●●●●●

●●●●●●●

●●●●

●●●●●

●

●

●●●●●

●

●

●

●●

●

●

●●●

●

●

●●●●

●●●●●●●●

●

●●●●●

●

●●●

●

●

●●●●

●●●●●●●●●

●

●●●●●

●●

●

●

●●●●●

●●●●

●

●

●●●

●

●

●

●

●

●

●●●●

●

●●

●●●●●●

●●●●

●

●●●●●●●

●●

●●●

●●

●●

●●

●●●

●●

●

●

●●●●●●●

●

●●

●●●●●●●●●

●●●●●●

●●●●

●●●

●

●●

●●●●●●

●

●●●

●●

●

●●●●

●●●●●●

●●

●●●●●●●●●●●●●●●●

●

●●●●●●

●●

●●●

●

●●●●●●

●

●●●

●●●●●●●●●●●●●●●

●●●

●●●●●●●●●●●●

●●●●●

●●●●●●●●●●●●●

●●●

●●●●●●●●

●●●●

●●●

●●

●●●●●●●●●●●●●●

●

●●●●●●

●●●●

●●●●

●●

●●●

●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●

●

●●●

●●●

●

●

●●

●

●

●●

●

●

●●

●●

●

●●

●●●

●

●●●●

●●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●●

●

●●●●

●

●

●●●●

●●

●

●

●●

●

●●●

●

●●

●

●

●●●●●●●

●

●●

●

●●

●

●

●

●

●

●●●●

●

●●●●●

●

●●

●

●●●●●●

●

●●

●

●

●●●●

●

●

●

●●

●

●

●

●●

●●

●

●

●

●●

●●●

●

●

●

●

●●

●

●●

●●

●●

●

●●

●

●

●●

●

●

●

●

●●

●

●

●

●

●●

●●●●●●●

●●●●●

●

●●●

●●

●

●●

●

●

●●●

●

●

●

●●●●●

●

●

●

●●

●

●

●●

●

●

●

●

●●●

●●

●

●

●●●●

●●●●

●

●●●

●●●

●

●

●

●●●

●

●●

●●●●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●●

●

●

●●

●

●

●

●●

●

●●●

●

●●

●●

●

●●●

●

●

●

●

●

●●

●

●

●

●●●

●

●

●●

●

●●

●

●●●

●●●●●●

●

●●

●

●●

●●●●●●●●●

●

●

●

●●●

●

●●●

●

●

●●

●●

●

●

●

●

●

●

●●●●

●●●●●●●

●

●

●

●●●

●

●●●●

●●●●

●

●

●

●

●

●

●●●

●

●●●

●●

●

●

●●●●●●●●●●●

●

●

●

●●●

●●●●●

●

●●●●●●●

●

●

●●●●●●●●●●●●●●

●

●●●

●

●●●●●●●●

●●●●●●●●●

●●

●●●●●●●

●●●●●●

●●●●●●●●

●●●●●●●●●●●●

●●●

●●●●●●

●

●●

●●●●●●●●●●

●

●●●

●●●●●●●●●●●●●

●●●●

●

●

●●●●●

●●●●●●●●

●

●

●●●●●●

●

●●●

●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●

●

●●●●●●●●●●●●●

●●●●

●●

●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

ρd, Οƒ = 1

Info

rmat

ion

Ξ²=0

●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●

●

●●

●●●●●●●●●

●●●●●

●●

●●●●●●●●●●

●●●●●

●●●●●●●●●●●●●●●●

●

●●●●

●

●

●●●●●●●●

●●●●●

●●●●

●●●●●●

●●●●

●●●●●●●●●●

●

●

●●

●●

●●●●●●●

●

●●●●●●●●●●●●●●●

●●

●●●●●

●

●

●

●

●●●●●●●●●●●●●●●●●●●

●●●●

●

●●●●

●●

●

●●●●●●●●

●●●●●●●●●●

●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●

●

●●●●●●

●

●

●●●●●●●●●●●●

●●●●

●●●●●●●●●●●

●●●●●●●●

●

●●

●

●●●●●●●●

●●●

●

●●●●●●●●●●●

●●

●●●●●

●●●

●●●●●●

●

●●

●

●●●●

●●●●

●

●●

●

●●●●●●●

●●●●●●●●

●

●●●●●

●

●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●

●

●●●●

●●●●●●●

●

●●●●●●

●●●●●

●●●

●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●

●●●

●●●●●●

●●●●●

●●●●●●●●●●

●●●●●●●

●

●●

●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●

●●●●●●●

●●●●●●●●

●●

●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●

●●

●●

●

●●●

●

●

●

●

●●

●●

●

●●

●

●●●

●

●●●

●

●●

●

●

●

●

●●●

●●

●●

●

●

●

●

●●●

●●

●

●●●●

●●

●●

●●●●●●

●

●●

●●

●●●●●●

●

●●●●●●

●●

●●●●

●●●

●

●

●

●●

●●

●●●●●●●●●

●●●●●●●

●●

●●●●●

●

●●●●●●●●●

●●●

●●●●●●

●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

0.0 0.2 0.4 0.6 0.8 1.0

02

46

8ρd, Οƒ = 1

Info

rmat

ion

Ξ²=1

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

β€’ Red: Simulated Fisher information; Dark-blue: M4β€’ M1: solid, M2: dashed, M3: Light-blue, M5: green

16/23

Page 18: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Example 1Yi = exp(Ξ²i) + Ξ΅i , Ξ²i ∼ N (Ξ²,1), Ξ΅i ∼ N (0, Οƒ2 = ρσ

1βˆ’ΟΟƒ )

●

●

●

●●●●●●

●●

●●●●●●●●

●●●●●●

●●

●●●●●

●●●

●●●●●●●●●●●●●●●●

●●●●●●

●●●●●

●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●

●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●

●●●●●●●●●●

●●

●●●●●●

●●●

●●●●●●●●●●●

●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

ρσ, d = 1

Info

rmat

ion

Ξ²=βˆ’

2

●

●

●

●

●

●

●

●

●

●

●

●●

●●

●

●

●●

●

●●●●●●●●●

●●●●●●●

●●●●

●●●

●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●

●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●

●

●

●●●●●●●●

●

●●

●●●●●

●●●●●●

●●

●

●●

●●

●●●●●●

●●●●●●●

●

●

●●●●

●●●●●●●●

●●●●●

●●●●●●●●●●●●●●●●

●

●

●

●●●

●

●

●

●●●●●●●●●●●●

●●●●●

●●●●●●

●●●●●●

●●●●●●●●●●●

●

●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●

●

●●●●●●●●●●●

●●

●●●●●●●●

●

●

●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●

●

●

●

●●●●●

●

●●●●●●

●

●●

●

●●●●●●●●●●●●●●

●●●●●●●

●

●●●●●●●●●●●●

●

●

●●●●●●●

●●●●

●●

●

●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●

●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●

●

●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●

●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●

●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●

●

●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

ρσ, d = 1

Info

rmat

ion

Ξ²=βˆ’

1

●

●

●

●

●●

●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●

●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●●●●

●●●

●●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●

●●●●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●

●

●●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●

●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●

●●

●

●

●

●●

●

●●●●●●●●●●

●●

●●●●●

●●

●●●●●●●●●●●●●●●

●●●●

●

●●●●●●

●●●●●●

●

●●●

●●●●●●●●●●

●

●

●

●●●●

●●

●●●●●

●

●●●●●●

●

●

●

●●

●●●●●●

●●●●●●

●●●

●●●

●

●●●●●●●●●●●●●●●●

●●●●●●

●

●●●●●●●

●●●

●●

●●●●●●●●●

●●●●●●●●

●●●●●●●●

●●●●

●●●●●●●●●●●●●●●●

●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●

●●

●

●●●●●●●●

●

●

●●●

●●●

●●●●●●●

●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●

●●●●●●●

●●●

●●●●

●●●●●●

●●

●●●●

●●●●●

●●●

●●

●●●●

●●●●●●●●

●●●●●●

●●●●●●●

●●●●●●

●●●●

●●●●

●●●●●

●●

●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●

●

●●●●

●●

●

●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●●●●●

●●●●●

●●●●●●

●●

●●

●●●●●

●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●

●

●

●●●●●●

●●●●●●●

●

●●●●●●●

●●

●

●●●●●●●●●●●●

●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●

●●●●●●

●

●●●

●●●●●●●●●

●

●●●●●●●●●●●●●●●●●

●

●●●●●●●●

●●●

●●●●●●

●●●●●●

●●●●●●●●●

●

●●●

●

●●●●●●●

●●●●●●●●●●

●

●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●

●●●●●●●●●●●●●●●●●●

●●●●●

●●

●●●●●●

●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●

●●

●

●●●●●●●●●●●●●●●●●

●●●

●●●●●●●

●●●

●

●●●●●●●●●●●●●●●●●●

●

●●●●

●

●●●●●●

●

●

●

●●●●●●

●

●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

ρσ, d = 1

Info

rmat

ion

Ξ²=0

●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●

●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●

●●●●●●●●●●●

●●●●●●

●●●

●●●●●●●●●

●●●●●

●●●●●●●●●●●●

●●●●●●●●

●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●

●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●

●

●●●●●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●

●

●●●

●●●●●●●●

●●●●

●●

●●●●●●●●●●●

●●●●●●●

●●

●

●

●●●●●

●●●●

●●

●●●●●●●

●

●●●

●●●●●●●

●

●●●●●●

●●●●●●●●●

●

●●●●●●●●

●●●●●●●

●

●●●●●

●

●

●●

●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●

●

●●●●●●●●●●●●●●

●

●●●

●

●●●●●●●●●●●●●●

●

●●●●●●

●

●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●

●●●

●●●●●●●

●●●●

●●●

●●●●●●●

●●●●●●●●●

●●●●●●●

●●●●●●●●

●

●●

●

●●●●

●●●●

●

●

●●●●

●

●

●●●●

●

●●

●●●●●●●

●●●●

●

●●●

●●●●

●

●

●●●●●●●●●●●●●●●●

●

●●●●●●●●●

●

●●●

●●●●●●●●●●●●●

●●●●

●

●●●●●

●

●

●

●●●●●

●●

●●●●●

●●●●●●●●●●●

●●●●●●●●●

●●

●

●●●●●●●●●●

●

●●

●●●●●●●●●●●●

●

●●●●●●●

●●

●●

●●

●●●●●●●●●

●●●

●

●

●●

●●●●●●●●●●●●●●●

●●

●●●●●●●●●●

●●●

●●●●●●●●

●

●●

●●●●●●●●●●

●

●

●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●

●

●●●●

●●●●●●

●●●●●

●●●●●●●

●●●

●●

●●●●●●●●●●●●

●

●●●●●●●●●●●●●

●

●●

●●

●●●

●●●●●●●●●●●●

●

●

●●●●●●●●●●●●●●●●●

●●

●●●●●●

●●●●●●●●●

●●●●

●

●

●

●

●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●

●●●●●●●

●

●●●●●●●

●●●●●●●●●●●●

●

●

●

●●●●●●●●●●●●●●●●●●

●

●●●

●●●●

●

●●●●●●●●●

●

●

●

●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●

●●●

●

●●●●●●●

●

●●

●

●●●●●●●●●●●

●●●

●

●●●●●●●●●●

●●●●●●●●●●●●●●●●

●

●●●●●

●

●●●●●●●●●●

●●●●

●

●●●

●

●●

●

●●●

●

●●●●●

●

●

●●●●●●●●●●●●●●●●●●●●

●

●●

●●

●

●●●●

●●

●●●

●

●●

●

●

●●

●●●●●●

●●●●●

●●●●●

●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●

●●●●●●●

●

●

●●●●●

●

●●●●●●●●●●

●

●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●

●●●

●●

●●

●

●●●●●●

●

●●●●●●●●

●

●●

●●●●●●●

●●●●

●

●●

●●●●●●

●●

●●●●●●●

●●●

●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●

●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●

●●●●●●●●●●●

●

●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

ρσ, d = 1In

form

atio

n Ξ²=

1

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●

●●●●●●

●●●●●●●●●●●

●●●●●

●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●

●●●●●●●●●

●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●

●

●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●

●●●●●

●●●●●●●●

●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●

●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●

●●●●●●●●●●●●●●●●●●

●●

●●●●●●●●●●●●●●●●●●●

●●●●●

●●●●●●●●

●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●

●●●

●●

●●

●

●

●

●

●

β€’ Red: Simulated Fisher information; Dark-blue: M4β€’ M1: solid, M2: dashed, M3: Light-blue, M5: green

17/23

Page 19: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Conclusions

In the example:β€’ M1: doesn’t work entirely wellβ€’ M2: limits for d β†’βˆž or Οƒ2 β†’ 0 don’t coincideβ€’ M3: diverges for d β†’βˆž.β€’ M4: no closed formβ€’ M5: limit for Οƒ2 β†’ 0 doesn’t coincide

β†’ Don’t trust any approximation!

Generally:β€’ mβ†’βˆž corresponds to Οƒ2 β†’ 0

β†’ Only M1 and M4 reliable

18/23

Page 20: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

One-Compartment-Model

0 4 8 12 16 20 24

0.0

0.2

0.4

0.6

0.8

Time x

Con

cent

ratio

n

●

●

●

●

●

●

Here: one observation per individual: m = 1β€’ Yi = Ξ·(Ξ²i , xi) + Ξ΅i and

β€’ Ξ·(Ξ²i , xi) := log (exp(Ξ²i1) [exp(βˆ’xiΞ²i2)βˆ’ exp(βˆ’xiΞ²i3)])

β€’ Experimental settings: ΞΎi = xi ∈ [0.1,24].

19/23

Page 21: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

0 4 8 12 16 20 242.

02.

53.

0Time x

Sen

sitiv

ity g

.ΞΆ

A design ΞΆ is D-optimal if and only if:gΞΆ(ΞΎ) := tr Mpop(ΞΆ)βˆ’1M(ΞΎ) ≀ p, βˆ€ΞΎ ∈ Xm.

M1-Information:

β†’ ΞΆ1 =

(0.10 4.18 24.000.33 0.33 0.33

), eff1(ΞΆ2) = 0.66

M2-Information:

β†’ ΞΆ2 =

(3.10 5.18 24.000.61 0.08 0.31

), eff2(ΞΆ1) = 0.55

β†’ Information matters!20/23

Page 22: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Example 2

●●●

●●●

●●

●●

●●

●

●

●

●●

●

●

●

●●●●●●●●●

●●●●●●

●●●●●●●● ●●●●●●●●

●●●●●●●

●●●●●●●●●

●●● ● ●●●●●

●●●

●●●●● ●

●●●●●

●●●● ●

●●●●●● ●

●●● ●●●

●●●●

●●●●

0 4 8 12 16 20 24

01

23

45

6

Time

MΞ²[

1,1]

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●

●●●

●●

●●

●●

●

●

●

●●

●

●

●

●●●●●●●●●

●●●●●●

●●●●●●●● ●●●●●●●●

●●●●●●●

●●●●●●●●●

●●● ● ●●●●●

●●●

●●●●● ●

●●●●●

●●●● ●

●●●●●● ●

●●● ●●●

●●●●

●●●●

●●

●●●●

●●●●

●●●●●●●

●●●

●●●

●●●

●

●

●

●●●

●●●●●

●

●●●●● ●

●●●●●

●●●●●●●

●●●●●●●●●●●

●●●

● ●●●●●

●●●●●●●

● ●●●

●●●●●●● ●

●●●●●● ●●

●●●●●

●●●●●

●●●

0 4 8 12 16 20 24

βˆ’0.

10βˆ’

0.05

0.00

0.05

0.10

0.15

Time

MΞ²[

1,2]

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●

●●●●

●●●●

●●●●●●●

●●●

●●●

●●●

●

●

●

●●●

●●●●●

●

●●●●● ●

●●●●●

●●●●●●●

●●●●●●●●●●●

●●●

● ●●●●●

●●●●●●●

● ●●●

●●●●●●● ●

●●●●●● ●●

●●●●●

●●●●●

●●●

●

●

●●●●●●

●●

●

●●

●

●

●

●

●

●

●

●●

●●●●●

●●

●●●

●

●●●●●

●●

●

●●

●●●●

●

●●●

●●●●●

●

●●

●●

●●●

●

●

●●●

●

●

●●●

●●

●

●●●●●

●● ●●●●●●

●●●● ●

●

●●

●●

●●●

●●●●●

●

●●●

●

●●●

0 4 8 12 16 20 24

βˆ’0.

030

βˆ’0.

020

βˆ’0.

010

0.00

00.

005

Time

MΞ²[

1,3]

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●

●●●

●●●●●

●●●●●●●●●●●●●●

●●●●●

●●●●

●

●●●●

●●●●●●●●●●●●●●●●●●

●●

●●●●●●●●●●●●●●

●

●●

●

●

●●●●●●●●●●●●

●●●●●

●●●●●●●●

●●●

●●

●●●●●●●

●●●

●●●

●●●●●●●●●●●

●●●●

●●●

●●●●

●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●

●

●

●●●●●●

●●

●

●●

●

●

●

●

●

●

●

●●

●●●●●

●●

●●●

●

●●●●●

●●

●

●●

●●●●

●

●●●

●●●●●

●

●●

●●

●●●

●

●

●●●

●

●

●●●

●●

●

●●●●●

●● ●●●●●●

●●●● ●

●

●●

●●

●●●

●●●●●

●

●●●

●

●●●

●●●●●●●●●●

●●

●

●

●●

●

●

●

●●

●●

●●

●●●●

●

●

●●●●●●●●●●●●

●●

●●

●●●

●●●

●●●●

●●●●●

●●●●●●●

●● ●●

●

●● ●●●●●●●● ●●●

●●●●●

●● ●●●●●

●● ●

●●● ●

●●●

●

●

●●●

●●

0 4 8 12 16 20 24

0.00

00.

005

0.01

00.

015

0.02

0

Time

MΞ²[

2,2]

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●

●●●●●●●●●●●

●

●●

●●

●●●

●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●

●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●

●●

●

●

●●

●

●

●

●●

●●

●●

●●●●

●

●

●●●●●●●●●●●●

●●

●●

●●●

●●●

●●●●

●●●●●

●●●●●●●

●● ●●

●

●● ●●●●●●●● ●●●

●●●●●

●● ●●●●●

●● ●

●●● ●

●●●

●

●

●●●

●●

●●●●

●●●

●●●

●●●●●●●●●

●●

●

●●●●

●

●

●●●●●

●●●●●

●●●●● ●

●●●●

●●●

●●●●●

●●●●●

●●●●

●●●

●●●

●●●●

●

●●●

●●●●

●●●

●●●●

●●●●

●●●●●●● ●

●●● ●●●

●●●●

●●●●

0 4 8 12 16 20 24

βˆ’0.

003

βˆ’0.

002

βˆ’0.

001

0.00

00.

001

0.00

2

Time

MΞ²[

2,3] ●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●

●●●

●●●

●●●●●●●●●

●●

●

●●●●

●

●

●●●●●

●●●●●

●●●●● ●

●●●●

●●●

●●●●●

●●●●●

●●●●

●●●

●●●

●●●●

●

●●●

●●●●

●●●

●●●●

●●●●

●●●●●●● ●

●●● ●●●

●●●●

●●●●

●

●

●

●

●

●

●

●

●●●

●●

●

●●

●

●●

●●

●●●●●●

●

●●●●

●

●●●●●

●●

●●●

●●●

●

●●●

●●●

●

●●

●

●●●●

●

●●●

●

●●

●

●

●

●●●

●●

●●

●●

●

●●●

●●

●●●

●

●

●●●

●

●

●

●

●

●●

●●

●●●●●

●

●●

●

●

●

●

●

0 4 8 12 16 20 24

0e+

002e

βˆ’04

4eβˆ’

046e

βˆ’04

8eβˆ’

04

Time

MΞ²[

3,3]

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●

●●●●●●●

●●●●●

●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●

●●●●●●●●●●●●●●●

●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●

●

●

●

●

●

●

●●●

●●

●

●●

●

●●

●●

●●●●●●

●

●●●●

●

●●●●●

●●

●●●

●●●

●

●●●

●●●

●

●●

●

●●●●

●

●●●

●

●●

●

●

●

●●●

●●

●●

●●

●

●●●

●●

●●●

●

●

●●●

●

●

●

●

●

●●

●●

●●●●●

●

●●

●

●

●

●

●

β€’ Red: Simulated Fisher information; Dark-blue: M4β€’ M1: solid, M2: dashed, M3: Light-blue, M5: green

21/23

Page 23: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

One-Compartment-ModelD-optimal Designs for the proposed approximations:

Mj ΞΆβˆ—j eff

M1

(0.10 4.18 24.000.33 0.33 0.33

)0.83

M2

(3.10 5.18 24.000.61 0.09 0.30

)0.88

M3

(0.10 3.28 4.47 24.000.21 0.20 0.28 0.31

)0.87

M4

(2.85 24.000.41 0.59

)0.95

M5

(0.10 4.47 22.200.32 0.35 0.33

)0.82

M

(2.32 6.40 24.000.61 0.01 0.38

)1.00

22/23

Page 24: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Conclusions/Outlook

β€’ Conclusions:

- No overall satisfying approximation

- Different information→ different design

- Compute designs and compare their efficiency!

β€’ Outlook:

- More insight needed on:

- approximations for M4 and M5

- appropriateness of sparse sampling designs

- Information for the variance parameters?

- Locally optimal designs

23/23

Page 25: Impact of Information Approximations on Experimental ...bb/PODE/PODE2012_Slides/TMielke.pdfExample 2 Impact of Information Approximations on Experimental Designs in Nonlinear Mixed

Design inMixed Effects

Models

T. Mielke

Fisher-InformationModel

Information andDesign

InformationApproximations

Example 1

OptimalDesignsExample 2

Thank you for your attention!